1959年7月2日，**决定在庐山召开政治局扩大会议，接到通知后，时任国防部长不愿去，因为刚出访回来，有事多做，副部长黄克诚提醒他：“这次会议是政治局扩大会议，由***主持， 你是政治局委员，怎么能不去！ ”
6月29日，**元帅和**元帅从北京出发，乘火车抵达武汉，然后换乘轮船，7月1日上午抵达庐山，7月2日，主持的政治局扩大会议正式开幕，会议开始时，宣读、 形势、任务、综合平衡、群众路线都摆出来供大家讨论。
会议开始时，大家的心情还是比较高涨的，**在开会的同时，利用闲暇时间参观了汉坡口、仙人洞等景区，直到7月14日，一切都变了。
**经过深思熟虑，他写了一封信《万字本》，他让随行参谋王成光，在7月15日将信交给了***的秘书高智，**还问高智，**你看过这封信吗，令人惊讶的是，16日，**下令将信印制并分发给大家， 上面还写着一个名字“**同志的意见书”。
7月23日，**亲自召开会议，带头批评***的意见，之后，**被错误批评，被免去军队职务，只保留了**委员和**政治局委员的职务。
1959年国庆前夕，**搬出中南海，搬到北京西北郊胶屯的五家园居住。
从1959年搬进五家园，到1965年离开五家园担任三线总司令，这6年是怎么度过的？
10月21日，**找到***与他交谈，说他可以学习一些马克思主义哲学和政治经济学。
于是，**来到了**党校，当时，彭震、**总办公室主任杨尚坤等人，并特意邀请了党校常委吴惠文、刘子正等人，彭震说：“彭老师来党校了，请带他去读书， 主要是学习一些哲学和政治经济学。 他经历过党的所有历史，他知道的比你多，在这方面你还是要向他学习的。 有些问题清理干净，你跟彭老师讨论学习，制定学习计划。 ”
彭震继续道：“不要一个人犯错，谁也不敢接近，他们都是同志，开诚布公地对待他们。 你帮彭先生学习，什么问题都可以开诚布公地谈。 ”
因为，**党校召开了一次特别会议，讨论如何帮助***读书学习。
在读书的同时，**还在吴家的花园里种了一些农作物，比如南瓜、茄子、辣椒等，不仅如此，他还和侍卫们一起开了一个池塘，养鱼养花。
此时，***已经没有参加国家核心会议的权利，但他非常关心国家的未来，曾问前来帮他学习的党校常委刘子征：“你相信一亩地能种出万斤粮食吗？ ”
刘子正说：“我以前在农村没见过，现在也没有亲眼见过，去年杨老（杨先真）在党校种的麦子，是我以前从未见过的丰收，一亩地才七百斤。 这是一个现实而可靠的产量。 ”
对于刘子正的说法，**选择确认自己在吴家的园子里开辟了两块地，然后种了小麦，为了让庄稼长得好，**每次都要非常小心地施肥浇水。
1960年，庄稼成熟了，按一亩地折算，只能收七百多斤，刘子正当时在党校，也种了一亩地，收割的时候还不到七百斤，他如实对***说：“好像一亩地是七百多斤， 哪个更可靠。 ”
从那以后，**在五家园居住期间，一直安心地学习政治经济学，此外，**虽然不在自己的位置上，但是他非常关心周围人的生活。
附近有什么需要的人，他会尽力去见他们，有人生病了，**让人自己开车去接医生，有已经去世的老人，**有时间，会去吊唁，很多孩子、年轻人都很敬佩，大家都亲切地叫他“彭爷爷”。
1961年，**给***写了一封信，请他到农村去调查研究，并请**允许他到湖南老家三个月了解农村情况，明年春天再去山西太行。
1961年10月30日，他离开北京，前往家乡湖南省湘潭县武士大队参加人民生产队（彭家卫子），在湖南农村呆了近两个月，他说：“农村的情况有所好转，但农民的生活仍然很艰苦， 没有足够的食物，有些东西也不容易买到。
这些情况后来被报告给**。
1965年，彭震找到***他代为***、***，任命他为西南三线建设委员会副总司令，**说：“我是共产党员，应该服从党的分配，但我犯了一个错误，我说的话没人听，我也是工业的门外汉， 我还是希望去农村调查。 ”
几天后，他说：“去西南，这是党的政策，如果有人不同意，请他和我谈谈。 我曾经积极反对***，现在我想真诚地支持他。 ”
对于***的话，**心里很是感动，当时***问他有没有话要说，大家都很期待***能说什么，但***什么也没说。
11月28日，**结束了在五家园的6年生活，乘火车前往成都。