1980年十一届五中全会后，**副总理***的工作很不尽如人意，半年后，他突然对儿子陈明珠说：我不能再干了，你可以帮我写一份辞职报告，或者主动回家种地。 陈明珠不理解父亲的要求：他辞职怎么会有理由？ 如果人们不想要你，你就继续做下去。 **挥挥手告诉陈明珠：你替我写，让别人不要找我。 我周围的人都变了，这还意味着什么？ 你说我做不了我的工作，辞掉工作回家。
1980年2月23日，王东兴、吴德、**等同志辞去领导职务。 与这些干部的关系很好，不仅这些同志淡出了，就连支持他们的同志也处于有些微妙的境地。 **以为情况变动超出了他的预料，他越来越做不了，于是感叹“身边的人都变了”。 在***的坚持下，陈明珠为他准备了辞职信，主要是因为身体不好，文化不足。 最终，他于1980年9月辞去副总理职务。
**是一个不能闲着的人，他选择主动辞职，其实更多的是出于无奈。 **因为大寨的成就而闻名全国，但在70年代后期，大寨模式逐渐受到质疑，甚至有人指出增产数据中有水分，**需要承担领导责任。 不久前，他回到西阳县开会，私下里问了西阳县新任县委书记刘树刚你认为我的问题有多大？ 以后能不能回西阳县做全国人大副主任之类的工作？ 可以看出，**心里并不想“结束”。 但出于对***的考虑，他没有被允许回老家，而是在北京安排了住房。
辞职后，一些机关和单位不再有禁忌，客观上对推动农业改革也有一定的作用。 比如新华社、《人民》等主流**连续发表文章：“大寨走对立面”、“七战八战”给大寨造成了严重后果“、”西阳向大寨学习了“”伟大社会主义“的成败等等，这些文章让***感到愤怒和无助。 但他并没有否认工作上存在的问题，在向***等老朋友抱怨之后，他还是顾及改革的大局，选择接受批评。
1983年，经过三年的闲暇，***终于忍不住向组织申请，说自己年纪不大，想做一些具体的事情，希望能重新安排一下自己的工作。 小平同志曾被公正评价为“优秀基层农业干部”，因此组织不会拒绝他的应聘。 只是***的身体状况不太好，组织从实际考虑，让他当了东郊农场的“顾问”，有些工作要做，也不算太累。
这种安排让***非常满意，他说他“不想要领导职位，我是农民，务农是我的职责”。 晚年，**终于实现了他“田间劳作”的愿望。 不幸的是，1985年的一天，***突然晕倒在地上，经过全面检查，证实陈老已经到了肺癌晚期，日子不多了。 翌年3月，***病逝，家人按照他生前的指示，将他的骨灰安葬在山西省西阳市虎头山。