奉军进入北京后，段祺瑞的政治能量终于丧失殆尽。1926年4月20日上午，他在外交总长胡惟德不知情的情况下，特任其兼署国务总理，摄行临时执政职权。当天下午，他乘坐专列离开北京，前往天津。
这是段祺瑞第三次到天津过寓公生活。他在天津没有房产，以前都是住旧部段芝贵或小舅子吴光新的宅弟，这次来津，开始是在日租界的寿街租了一间房子，但有一次他无意中将自己的姓“段”和寿待的“寿”联系了起来，觉得不太吉利。吴光新听说后，便劝他搬到自己位于日租界宫岛街的寓所。
吴光新的这座寓所建于1916年，外形奇特宏大，施工质量很高，可与日租界清逊帝溥仪所居住的张园相媲美。缺点是此处离日本天津驻屯军司令部比较近，经常有日本军政官员来访，段祺瑞不胜其烦，只好经常托病不见。
得知段祺瑞想找一个清净的住所，老部下魏宗瀚就把他接到了日租界须磨街自己的寓所。
下野后的段祺瑞自称“正道居士”，每天吃斋礼佛，十分虔诚，但他的须磨街住宅却并不显得门庭冷落——他的那些部下幕僚，如曾毓隽、章士钊等人全都不离不弃，一路从北京跟随到天津，而其它各路的说客和谋士也经常前来登门“劝道”。
这种情况下，就算老段真的像他表面宣布的那样只谈佛经不问政治，“政治”也会时不时地来光顾和过问他。问题是，此时的国内政局已经发生重大变化，他再也不可能成为政坛上的中心人物了。
甚至连段祺瑞本人都不会想到，他实际担负着最后一次挽救和整合北洋系的使命。在段祺瑞黯然下野和段记执政府“杯碎”之后，北洋各派继续相互削弱，使得整个北洋系更以加速度奔向自己的末路。
吴佩孚曾经是段祺瑞的头号劲敌，正是吴佩孚在直皖战争中对皖系的致命一击，造成了段祺瑞及皖系的一撅不振。不过后来吴佩孚终于领悟到了段祺瑞对于北洋系乃至于整个近代中国的重要意义，只那时候，他也成了被政坛抛弃的落魄寓公，而段祺瑞刚刚去世。
吴佩孚特请人代表他到段宅吊唁，并亲撰挽联。他告诉别人：“我对合肥（指段祺瑞）之丧，一度任秘书，一度任帖写（指挽联等均系吴本人自作自写），此为有生以来第一次，惟对段夫子一人而已。”
吴佩孚所写挽联的联文很长，道尽了他历经波折沧桑之后的感悟：“天下无公，未知有几人称帝，几人称王，奠国著奇功，大好河山归再造；时局至此，皆误在今日不知，明日不战，忧民成痼疾，中流砥柱失元勋。”
吴佩孚送的祭帐为“木坏山颓”。大匾上款为“芝泉夫子”，下款为“受业吴佩孚敬献”，四个大字乃“还我河山”。
那一刻，这位曾经书生意气并无比叛逆的秀才将军，成了最懂段祺瑞的人。
