以"三造共和”在北洋时代留下大名的段祺瑞，曾三度下野，退居天津。
1917年5月23日，因“府院之争“，北洋政府大总统黎元洪下令免去段祺瑞国务总理的职务，段祺瑞离京退居天津，并通电表示拒不承认黎元洪命令，此后他在位于意大利租界二马路20号的寓所内，蛰伏了两个月。
1917年年7月14日，段祺瑞先怂恿张勋进京复辟，驱逐黎元洪，再反戈一击终结张勋复辟的闹剧，此一出风云大戏唱罢，“北洋之虎”不仅赢得了再造共和的美名，而且实现了重返京城权力之巅的春秋大梦。
然而，段祺瑞执掌的北洋皖系却有些外强中干，在1920年7月爆发的直皖战争中，直系曹锟、吴佩孚只用了五天时间，便彻底击溃了不可一世的“北洋之虎”。
虎落平阳下，段祺瑞只得再次退居天津，并在随后的三年多时间里不问政事，只信佛、吃素、下围棋。
但二度退居天津时的段祺瑞并没有真正地将风云放下，所以当奉系张作霖联合冯玉祥在第二次直奉战争中，将直系曹锟、吴佩孚击败后，他又“审时度势”地接受了张作霖、冯玉祥的推举，返京出任了北洋时代独此一例的“临时执政”。
只是，这“临时执政”终究是傀儡，迎来的也只能是昙花一现的虚假辉煌。
1926年，因为在京城制造了“三一八”惨案，61岁的段祺瑞带着一生中最大的一个污点惨淡下台，并从此告别了他纵横几十年的北洋大舞台。
第三次退居天津后，段祺瑞每天专心吃斋念佛，下午下围棋，晚上打麻将，再无半点风云野心。
然而，在段祺瑞终得悠闲晚年的同时，他的境遇却很是寒酸。
据说，1926年6月黎元洪曾将段祺瑞告上法庭，原因竟是段祺瑞无力偿还7万大洋的欠款。
经济拮据下，为了节省开支，那一时期，段祺瑞改掉了从不管家的习惯，每月亲自过问家中的账目。由他亲自管理家中开支，那座由旧部提供的公馆规模缩小了，厨房里的伙夫也少了，当差打杂加上看门的，一共不过十来个人。原先太太小姐们每人屋里的三个四老妈子也被压缩成了一两个，除了继室，其他的姨太太也都一个个遣散了。
昔日的部下见段公馆已经到了无人站岗放哨的窘困境地，纷纷自愿前来，轮流充当门卫，顺便帮忙处理一些杂务，这才使得当时的段公馆没有沦落到“黄叶满阶无人扫”的地步。
由执掌权柄到下野隐居，境遇一落千丈，以致寒酸到此等地步，这不仅反映了段祺瑞清高刚正的性格，也映照出了他那六不操守——“不贪、不赌、不抽、不嫖、不喝、不占”，的确不是沽名钓誉。
“九一八事变”日本鲸吞东三省后，又企图控制华北地区，谋划组织华北傀儡政权。日本在京津地区物色合适人物，其中最重要的争取对象就是段祺瑞。在日本人看来，当年亲日的段祺瑞与日本政府有着一种特殊的关系，虽然他隐退后无权无势，但声望、招牌俱在，若能将他引出来在傀儡政府中挂名任职，其昔日北洋大头领的影响力将是十分巨大的。
面对日本人的威逼利诱，段祺瑞虽“困居愁城”，但对民族大义却拎得十分清楚。面对变节老部下王揖唐一次次地登门游说，段祺瑞坚决表态说：“我是中国人，绝不做汉奸傀儡，就是你自己也应好好想想，不要对不起祖先、父母和子孙后代，我决计到南方去，以后不要再来多说了。”
在这一坚守民族大义的表态下，1933年，68岁的段祺瑞不顾旧部阻挠，毅然选择南下，从而成全了那一份让后世称赞的暮年英明。
当时的《大中国周报》曾用这样的溢美之词论道：“段氏此行，不仅态度光明，予国人以好感；且以衰老之年，以国难为念，犹不畏跋涉艰难；尤使国人于表示敬意之外，亦知所以奋起也。”
1933年1月22日中午，段祺瑞抵达南京，国民政府通知南京少将以上军人，着军装过江至浦口车站迎接。
1月23日，段祺瑞主动提出要拜谒中山陵，此一“化昔日干戈为今日玉帛”的举动彰显了暮年段祺瑞的审时度势和睿智胸怀，拂去恩怨，力挺当局，以求从容安身。
南京方面原本希望段祺瑞能留居南京，但段祺瑞以探望在上海求学的小女儿段式荃为借口，于23日晚间即乘车离开了南京。
这是暮年段祺瑞的另一份明智，南京乃权力中心，是非之地，不远离，难以保有最后的尊严，更难以安度所剩不多的晚年。
段祺瑞到达上海后，先被安排在世界学社暂住，两个月后移住法租界霞飞路陈调元公馆。
这座花园式公馆建于1900年，后被晚清首富盛宣怀购得，故称为盛氏家宅。据说盛宣怀生前将这幢豪宅作为遗产传给了四儿子盛重颐。民国之后，袁世凯下令将这幢房子封存，到了1929年，国民政府又下令，称盛宣怀侵吞公款，证据确凿，应没收其遗产，并要其后裔具报。无奈之下，盛重颐只好将这幢别墅让给了曾担任安徽省主席的陈调元。
在这幢时间不长，但变迁足够沧桑的豪宅内，段祺瑞度过了他人生的最后三年时光。国民政府每月为段祺瑞提供两万元生活费。在当时，这是一笔不小的钱，但段祺瑞的最后余生依旧不能用足够富足来形容，因为他每月都要拿出一万元，分给那些追随他南下的旧时部属和亲眷。
在上海的生活安定下来后，段祺瑞除了公开表明自己的抗日立场，更用一生的风云心得始终在强调一点：“自强”。
在接受《申报》记者的采访时，段祺瑞曾说——
“我国唯有上下一心一德，努力自求，语云：求人不如求己。全国积极准备，合力应付，则虽有十日本，何足畏惧？”“爱国朝野一致，救国唯有自救耳。”
1936年10月中旬，段祺瑞在听到长城内外沦陷混乱的情况后，伤感良久，11月1日，胃溃疡顽疾复发，胃部大出血，急送宏恩医院延治，但终因抢救无效，血流不止，于2日晚上8时撒手人寰，享年七十二岁。
在弥留之际，段祺瑞留下了一份令国人深思的“八勿”亲笔遗嘱——
“勿因我见而轻启政争；勿空谈而不顾实践；勿兴不急之务而浪用民财；勿信过激之说而自摇邦本；讲外交者勿忘巩固国防；司教育者勿忘保存国粹；治家者勿弃固有之礼教；求学者勿鹜时尚之纷华。本此八勿，以应万有。所谓自力更生者在此，转弱为强者亦在此矣。”
除了留下了这一份遗嘱，临终前段祺瑞还对长子段宏业交代了一个遗愿，死后要归葬北方。
段祺瑞去世当晚，段家考虑到家势已经衰微，没有设立治丧委员会，只在本宅设了治丧处，仅家属及旧时好友帮忙办理了这场丧事。
由于段祺瑞信佛，5日上午，段家以僧衣、僧帽、僧鞋为他送了终。
然而，很多风云人物，身后的苍凉才是历史最沧桑的注脚。
1936年12月中旬，遵照段祺瑞的遗愿，其灵柩被运抵北平，暂厝卧佛寺。之后，段祺瑞旧属将段氏墓地勘定在香山宝胜寺的旧址，但段家长子段宏业却不赞成，执意要继续寻找理想的茔地。
哪里知道，这一延误竟延误出了段祺瑞身后的万般苍凉。
卢沟桥事变爆发后，日军强占卧佛寺并强令段家移除灵柩，这是日本人对段祺瑞当年南下抗日的报复。段宏业无奈，只好将灵柩匆匆从卧佛寺起出，然后草草掩埋在了北京西郊白石桥段家三叔的墓地南侧。
这一幕让段祺瑞生前的众多好友感叹不已，他们说：“没想到老头子轰轰烈烈一辈子，死后会没有一块葬身的地方。”
草草葬身荒野后，段家的苍凉并没有就此结束——
段祺瑞一生不仅未曾为段家建购一幢房子，连地皮也没有一块。在天津、在上海，段祺瑞都是借住别人的房子。在北平，段祺瑞名义上倒是有过两处房子。府学胡同的那幢房子是袁世凯赠送的，据说，这幢房子是袁世凯打牌赢了40万大洋，别人抵押给他的，等到袁世凯一死，原房主的儿子拿着房契来找段祺瑞，要收回房子。段祺瑞见人家有房契，二话没说，当天便带着一家老小给原房主腾了地方。
见此情景，段祺瑞的门生旧部看不下去，大家伙最终凑了40万大洋，在东直门内南门仓买下一块地，为段祺瑞盖了一幢公馆。
这是段祺瑞为段家留下的唯一房产。
日本人占领北平后，疯狂侵占北平原有的王公府邸大小公馆，因有报复段祺瑞之心，南门仓段公馆自然难逃魔掌。
段祺瑞旧属王楚卿曾具体描述过段家给日本人腾房子时的情景——段祺瑞六十大寿时装帧十分考究的《延庆录》全部被烧了，段祺瑞与北洋军政要人交通的信件全部被烧了，就连段家家谱也没能逃出厄运，大部分也被烧掉了。
烧完这些，段家的各种木器家具、古董珍玩，陆陆续续也被抬到公馆大门口一字排开，最终全部被贱卖掉了。
当时有人评价说，前有日本人强取硬夺，后有段家后人破罐子破摔，真不知道这是命运的残酷无情？还是段家后人不贤不孝，不敬祖宗？
说到段家后人，尤其是长子长孙，段祺瑞在九泉之下，恐怕真的难以瞑目。
段家长子段宏业，始终不成器，有一段时间，抹黑污蔑段祺瑞的情况很严重，但段宏业从未站出来为先父辩诬或者扬善。
倒是多年跟随段祺瑞的段家子侄段宏纲，从某种程度上继承了段祺瑞的秉性。有一年，他看到有记者在上海小报上讲段祺瑞有吸食鸦片的恶习，气得不行，大骂“混蛋！”完了硬是从茫茫人海中将写文章的记者找了出来，并且扬言，不还老爷子清白，誓不罢休。
段宏纲死的时候，段祺瑞已被视为“反动军阀”，坟墓也遭到了挖掘，但这位段家子侄却在临终时留下遗嘱，死后他要葬在老太爷脚底下。
也许是因为不贤不孝，段祺瑞长子长孙的最终命运都不好。
长子段宏业死在了1949年底，据说是被吓死的。
长孙段昌世在段祺瑞得势时，娶了前国务总理龚心湛的四女儿，后来又纳了日本女人山崎光子为妾。1949年后，一直未生育的龚家四小姐与段昌世离婚，并且揭发段昌世是汉奸，最终段昌世被枪毙，而揭发他的龚家四小姐后来精神也失常了，日本女人山崎也自尽身亡了——
短短几十年，真是一门荣华，转头成空！