1927年4月，日本田中义一上台后，向张作霖强索铁路权，逼张解决所谓“满蒙悬案”，从而激起了东北人民的反日怒潮。9月4日沈阳两万人示威游行，高呼“打倒田中内阁”。在全国反帝浪潮的冲击下，以及张作霖本人的民族意识，奉系政府未能满足日本在“满蒙”筑路、开矿、设厂、租地、移民等全部要求，并有所抵制，这为日本内阁所不能容忍，日本关东军则断定东北人民的反日游行系张作霖煽动所致，对他恨之入骨。
1928年4月5日，蒋介石为了扩大自己的地盘在徐州誓师，对以张作霖为首的北方旧军阀举行“第二次北伐”。4月9日，第一集团军发起全线进攻。4月30日，各路国民军对济南发起总攻。这天夜晚，张宗昌率残部弃城北逃。5月下旬，国民军已逼近京津地区。盘踞北京的“中华民国陆海军大元帅”张作霖见大势已去，在6月2日发出“出关通电”，宣布退出北京回东北。
这次张作霖回东北，日本提出了最后通牒，胁迫他同意日本的要求，张作霖却仗着自己手里还有几十万军队，不肯松口。于是，日本关东军决定在张作霖回东北的路上除掉这个眼中钉。当国民军迫近京、津之时，日本“惟恐战乱波及满洲”，一面增兵青岛，威胁南军北进;一面按其“东方会议”的决策，对张作霖施加压力，迫张及早离京。1928年5月18日，日本对交战双方发出警告，声称：“动乱行将波及京、津地方，而满洲地方亦有蒙其影响之虞。夫满蒙之治安维持，为帝国之所最重视，苟有紊乱该地之治安，......帝国政府为维持满洲治安计，不得不取适宜且有效之措置。”在这“警告”发出的前后，日本加紧了逼张的活动：既催张退回东北，又乘机向张勒索“满蒙”的权益。
1928年5月13日和15日，日本得寸进尺，要他“解决满蒙诸悬案”。据《时事新报》揭露：当时日本曾向张“提出条件十款，其苛毒不忍言”。有人回忆：芳泽曾屡次逼张，要他履行所谓的“密约”。为逼张作霖退回东北，5月17日晚，日使芳泽会见张作霖，与张谈至深夜。芳泽说：“大势已经如此，为使战乱不波及京、津，收拾军队撤回满洲以维持满洲治安，我想无论对中国国民还是对奉天派都是万全之策。”张作霖听后不悦，严词拒绝。芳泽继续追问说：“你们能打过北伐军吗？！”张作霖说：“若打不过他们，我们可以退回关外。”芳泽说：“恐怕未必回得去吧。”张作霖说：“关外是我们的家，愿意回去就回去，有什么不行呢？！”
芳泽见张作霖不上其圈套，就进一步采取威胁手段，从怀里掏出日本政府关于满洲问题警告南北双方的觉书。并向张作霖提出“满蒙权益”的要求，逼张作霖答应。不仅如此，他又向张作霖威胁说：“张宗昌的兵在济南杀死几十名日本侨民，你对此应负一切责任。”这一连串的威逼，使张勃然大怒，由座上猛地站起来，把手里的翡翠嘴旱烟袋猛力地向地下一摔，搕成两段，声色俱厉地冲着芳泽说：“此事(指张宗昌杀日侨事)一无报告，二无调查，叫我负责，岂有此理！......”他说完之后，就扔下芳泽，怒气冲冲地离开了客厅。三个多小时的会谈就这样结束了。
那时，张作霖本想“留在关内”，他对日本的逼迫行径“非常不满”。因而不但口头上拒绝了芳泽的“劝告”，而且于1928年5月25日发表书面声明，反对日本1928年5月18日的“警告”。日本见张作霖不听摆布，对他继续施加压力，警告他：如果不听劝告，失败后想回东北，“日军当解除其武装”。同时，日本关东军也“开赴沈阳、锦州、山海关等地，并将关东军司令部由旅顺迁至沈阳，在沈阳满铁借用地分设六大警备区，日侨也组织日勇千余，剑拔弩张”。在内外交迫下，张作霖不得不表示离京。在日本迫使张作霖退回东北的时候，奉系内部的“新派”，为便于和蒋、阎妥协，也劝张作霖离京。张作霖在答复中表示“东三省及京、津为中国领土，主权所在，不容漠视”，反对日本政府公然干涉中国内政。当时报刊报道说张作霖“有不得不出关的苦衷”：(一)张不离京，一切妥协和其他事均无从说起;(二)奉军新派人物，均极盼张速去，以望与党方合作“。同时，奉军在军事上节节失利，军心早已动摇。
张学良、杨宇霆等亦“力劝老将回奉”。5月30日，张作霖召集张作相、孙传芳、杨宇霆、张学良举行会议，决定下总退却令。6月1日下午，“邀外交团入府”，在怀仁堂与外交团告别。他在致词中，以极悲痛的语句，向各国使团表示他的“讨赤”立场。他说：“余为中国计世界计，始终矢志讨赤，至保护外侨生命财产，即余在满洲时......亦未尝一日忘怀，今后仍然请各位放心。”6月2日，张作霖发表了“出关通电”，说明自己到北京“本为救国而来，今救国志愿未偿，决不忍穷兵黩武。爰整饬所部退出京师。”张作霖虽通电“退出京师”，但决不甘心放弃既得的统治地位。在离京前(6月1日)，他命许兰州将“安国军大元帅”的印、旗、国务院的印信、外交部的重要档案全部运往关外，并下令“一切重要命令，仍须由大元帅盖印发表”，梦想“在关外庞然自大，一过其大元帅之瘾”，企图有朝一日卷土重来。
