南线自卫反击战后，广州军区司令员许世友受命调任军委常委。后来因身体原因无法继续工作，经中央批准后正式“下岗”。在说到晚年生活时，许将军用四个字来描述：“不够精神”，即“书没读够，仗没打够，田没种够。晚年的生活只希望可以多读书，平日里种种田，再别无他求。”晚年时期的许将军的确读了不少书，当然这离不开主席的教导。当初他在南京军区担任司令员时，从北京开会结束准备返回南京时，主席就给了他几本书，让他帮忙带到紫金山天文台。这几本书都是合译书，一共分为十册。主要讲的就是宇宙与天体运行的关系以及一些理论知识。主席在将这几本书放到许世友手中时，嘱咐他：你也要多读一些这类书籍，认真看一看，会有帮助的。主席嘱咐他的话他一直记得，后来也将这几本书全部认认真真看完，还写了读后感。晚年时期许世友最爱读的就是一些古典小说，《西游记》《三国演义》等他都一字不差，认认真真反复读过好几遍。他说：“主席说过，要想认真研读一本书，至少要读5遍，才能真正明白其精髓”。但许世友唯独不喜欢《红楼梦》，他觉得这本书写的都是一些“吊膀子”的事情，常看这些书，是会把思想看坏的。
但他的想法遭到了主席的反驳，主席说：“《红楼梦》是一部历史小说，所以你在研读的时候，读的并不是故事，而是过去的历史。要说这《红楼梦》还真是中国古典小说中最值得一看的。读一次你不会发现它的美，多读几次才能有所感悟。”主席停顿了一会儿说到：“你们爱打仗的人，不能只讲武，还是要多以文化为主。”许世友听完主席的这番教导后，表示：坚决照办！许世友一向都遵循一切以最高领导为主，主席的这番话也让他陷入了深思：的确，未来的战争就不会像以前的战争那样只使用武力了。比的更多的是国防经济实力仗与现代科学技术仗。不多学习一些文化知识，在战场上肯定是会吃亏的，尤其是对于指挥员来说，还怎么指挥现代化战争，更别说应对自如了。晚年时期的许世友，将之前主席以及身边人推荐给他的书全部重新研读了很多遍，文学名著，自然科学，社会科学、军事科学、人文地理、哲学宗教等等各类目的书他都有认真学习。
一些部下到他的住处去汇报工作，经常可以看到他手中握着一本书，要不就是一份报纸，读的津津有味。而且，许世友每一本书都会一字一句的品读，遇到有感触的句子就会将其记在一个笔记本上，并附上自己的读后感。许世友晚年时期除了读书以外，就是种田。“下岗”之后他就搬进了中山陵8号，这是一座西式二层楼房。楼下是客厅，厨房，书房。楼上弄了一个西餐厅，还有就是四间卧室，每一间卧室都带有洗水间。外边的小院种满了各种花花草草，草坪开阔，一共占地几十亩。这样的住所想想都让人觉得惬意。但许世友一进来就在院子东北角盖了一座上下两层的建筑物，他自称为“警卫楼”，上边可以观察墙外的动态，下面可以居住。
院子里的草坪全部被挖掉，许世友称要全部改为玉米，高粱、红薯、小麦的试验田以及菜园子，并修建了一排猪圈用来养猪，旁边原有的水面用来养鱼。原本高大上的庭院被他这么一修改，更像是一个“小村庄”。而许世友在自己的“小村庄”，每天都过得十分开心。每天早上起来第一件事就是和工作人员一起干农活，种地的种地，喂猪的喂猪，种菜的种菜，养鱼的养鱼，他主要负责养兔子。一天下来，每一项许司令都会亲自检查，而且十分严格。谁干的好，就提出表扬，谁干的不好，就提出批评。因为自己有菜园子，所以菜品基本不需要外出购买，而且许司令每年收菜后，都会腌上几大缸，生活过得怡然自得。
后来大儿子许光来到南京看望父亲，临走时给了许光一大袋地瓜，说自己种的，可以带回去给乡亲们尝尝。但许光说：“地瓜老家多得很，拿回去也没人吃，都喂猪了。”许世友便拿出一大罐腌菜来，说这也是自己种，自己腌的，带回去尝尝吧。许司令从始至终都保持着农民一贯的生活习性，不爱穿新衣服，衣服哪里破了就补一补继续穿，也从不穿皮鞋，要不就是布鞋，要不就是用布条编的草鞋，他说这样不会伤脚。不讲究穿，也不讲究吃。1952年彭老总来做视察作用，工作人员请示许世友是否要改变一下接待工作。许世友坚决的说道：“不管谁来，都不变，就是那老一套。”许世友与彭老总一起吃饭，桌上只摆了四道菜，红烧豆腐，清炒黄豆芽，炖狗肉，青椒土豆丝。彭老总开玩笑道：“我来，你才给四个菜吃啊？”许世友也哈哈一笑，说：“不是我小气，主要我不爱浪费，也见不得摆谱。”
衣食不讲究，住也从简。客厅的除了沙发就是一个电视，会客室摆放的沙发和客厅一样，都是十分老式的。电视也常常出现故障，一会儿能看一会儿不能看。不能看的时候许司令就用力拍一拍，一会儿就又能看了。卧室除了一张木板床，就只有一个办公桌。因为子女们都在外地工作，所以很少回家。许司令白天读书种田，晚上就一个人看电视，也不一定看，但到想睡觉的时候才会关掉。平时的出行工具就是北京212吉普车，军区想给他换一辆好一点的，他说“我不是高级人，不换”，还说“车子颠一颠挺好的，也是一种运动，还能多吃几口饭。”
1985年10月22日，许世友将军因病逝世，享年80岁。一个热爱历史的自由码字人。以有限的文字，写无限可能。穿越时间长河，愿与你一起寻求历史真相，感悟社会本真。
