曹锟贿选两年后，建立了海陆空三军的张作霖，筹得充足军费，以巨款接济浙江卢永祥和广东孙中山（六十万元大洋），以巨款（一百四十万元大洋）贿买冯玉祥倒戈。

江苏督军齐燮元为了夺取富裕的上海而向卢永祥开战，孙传芳则为了夺取浙江的地盘而从福建杀入，卢永祥腹背受敌，不得不通电下野。张作霖借口与卢永祥有联盟关系，向直系宣战，17万奉军分五路杀进关内。

在洛阳的吴佩孚虽然此时也有海陆空军，但直系内部四分五裂，洛阳新编练的部队尚未形成劲旅，几十万大军的军饷未有着落，加上曹锟贿选在全国舆论面前声名狼藉，所以极不愿在此时开战。但吴佩孚心存故主曹锟，难忘旧情，只得硬着头皮乘专车入京。在四照堂就任讨逆军总司令，并亲笔点将，六十名将官一一分配任务，分兵三路，对抗奉军。

吴佩孚因军饷无着，不得不滞留在北京筹款，听到前方九龙口失守的消息，匆匆赶到前线督战。在山海关前线，直奉两军主力杀得天昏地暗，血流成河。直军在死顶硬拚之际，天天盼着冯玉祥的西路军能得手，吴佩孚出京之后，冯玉祥判断吴佩孚无法迅速取胜，立即决定倒戈，全军连夜回师北京，在孙岳的接应之下，控制北京，软禁曹锟。

吴佩孚早知道冯玉祥不可靠，因此让他担任脱离主战场的西路，并且让胡景翼的部队监视他。吴佩孚出京督战时，选来选去，选中第十五混成旅旅长孙岳防守北京。吴佩孚万万没有想到，冯玉祥、胡景翼、孙岳已经秘密结成了准备倒戈的联盟。

在第2次直奉战争刚刚发动的时候，冯玉祥、王承斌、胡景翼、孙岳等人就设想了两种计划：一种是吴佩孚打胜了，他们就将自己的军队集中到榆关，阻止吴军再回来，同时逼迫曹锟任命吴为东三省的巡阅使，这是排吴不倒曹的计划；另一种是吴佩孚打败了，他们就回师北京，发动政变。这是曹、吴并倒的计划。

10月15日，王承斌和冯玉祥在古北口会面时，预见了战争形势的发展将不利于吴。19日，冯玉祥接到总部参谋长张方严的急电，催促冯部按预定作战方案迅速发起攻势，以策应榆关方向的作战，电文中有“大局转危为安在斯一举”的一句话。

同时，冯玉祥看到战情报告，得知直军在榆关之战中牺牲惨重，已势衰兵竭。在此情况下，冯玉祥认为回师北京的机会已经到来，便电令孙岳迅速将驻防大名的军队调回南苑，同时下令所属部队将后队改为前队，即刻回师北京。

冯军沿途割断电线，封锁消息，并以昼夜兼程70公里的行军速度，迅速杀回北京。10月22日晚9时，冯军第8旅旅长李鸣钟、第22旅旅长鹿钟麟两部率先开回北京。随后，陕军胡景翼师也开进通州，隔断了吴佩孚与京东方向的联系。

10月23日，陆军检阅使兼第11师师长冯玉祥、陕西陆军第1师师长胡景翼、大名镇守使兼第15混成旅旅长孙岳联名发出了呼吁和平的通电。在电文中，他们把直奉战争说成是吴、张两人的“私斗”，痛斥吴佩孚“凭战胜之余威，挟元首以自重，揽国柄以掌握，视疆吏若仆从，逞一人之忿，兴孤注之师……，业经电请大总统明令惩警以谢国人，停战言和用苏民困”。冯玉祥在此采用了倒吴而暂不倒曹的办法，还想利用曹锟这个傀垒总统来收束前方的军事，以制止吴佩孚的反抗行为。

    由于冯军秘密回师北京，曹锟在23日上午接到通电后才知道冯军回京。随后，孙岳率兵进宫，以保证“总统”的安全，同时，逼迫曹锟表态，给吴佩孚一个适当的名义让他体面下台。24日，内阁通过决议发表四道命令：一、停战言和；二、撤消讨逆军总司令等名义；三、解除吴佩孚的直鲁豫巡阅使及第3师师长等职；四、任命吴佩孚为青海垦务督办。

10月25日，公府卫队曹世杰旅(曹锟的子弟兵)被缴械，从此，曹锟便处于冯军的直接监视之下。同日，冯玉祥、王承斌、胡景翼、孙岳等人在北苑召开会议，决定组织中华民国国民军，冯玉祥为总司令兼第1军军长，胡、孙二人分任副司令兼第2、第3军军长。

另一方面，吴佩孚在榆关前线接到冯玉祥10月23日通电后，当时大吃一惊，但又疑心是张作霖捏造出来的假通电，以迷惑军心。24日，查明情况属实后，吴佩孚又寄希望胡景翼未必加入政变之事，即任胡为第3军总司令取代冯，并派张敬尧到通州传达命令结果，胡景翼把张敬尧扣留起来。

    25日，一切真相大白，吴佩孚才把前方作战任务交给张福来主持，自己率领第3、第26师各一部约8千余人乘车回救北京。26日，吴佩孚把司令部设在天津，军队到达杨村布防，对冯军采取守势，以待后援。

此时，吴佩孚唯一的希望就是调动齐燮元、孙传芳的军队由津浦路北上，调李济臣、萧耀南的军队由京汉线北进，两路夹击进攻北京。

北京政变后，津浦路成为直系军阀贯通南北的主要交通线，而山东督理郑士琦，是一个对直系怀有敌意的皖系军阀。在这种情况下，吴佩孚如果放弃榆关停止对奉系的战争，把全部兵力调到津浦路上来，就有可能控制这条交通要道，以便与山东、河南、江苏、浙江各省的直系力量连结起来，使自己战败后转入到一个进可以取、退可以守的机动地位。可是，吴佩孚没有考虑到这一点，仍把主力摆在榆关不动，自已仅抽调少数兵力回救北京。而此时，榆关直军因为北京发生政变而军心动摇，已不可能与声势方张的奉军相抗衡。

在此期间，由于北京政变后情况不明，各省直系军阀对吴佩孚还存有幻想。因此，在10月26、27日，萧耀南、齐燮元、孙传芳、马联甲、周荫人、杜锡圭、蔡成勋、杨树庄等人纷纷发出了助吴讨冯的通电。萧耀南派出陈嘉谟师、寇英杰旅；齐燮元派出陈调元师；孙传芳派出孟昭月、张允明两旅；马联甲派出田锦章旅等，分别由津浦、京汉两路北上拨吴。

但是，各省援直军尚未开动，冯玉祥、胡景翼的军队即已到廊坊，准备进攻天津。此时，在天津做寓公的张绍曾，看到吴佩孚的地位十分危险，便充当中间人，奔走于北京和天津之间，协调冯、吴言和。这种调停仍无效果。

10月28日，榆关战事发生急剧变化，由平泉、冷口入关的奉军张宗昌部，从翼侧占领滦州，截断了榆关直军的归路和榆关与天津之间的交通干线，因此，榆关的直军土崩瓦解一般从榆关溃败下来。31日，奉军占领了榆关和秦皇岛。缴获了直军枪枝3万余支，吴佩孚多年经营的直军主力至此也已基本瓦解。

11月2日，冯玉祥的军队由廊坊东进，占领了杨村和北仓，俘获了北京援吴的鲁军旅长潘鸿钧。吴的司令部由天津被迫移至军粮城。这时，奉军张宗昌、吴光新等部又南下攻占唐山、芦台。吴佩孚在军粮城也不敢久留，便打算由津浦路南下另找出路。在此期间，山东督理郑士琦突然宣布“武装中立”，派兵到沧州、马厂一带阻止吴佩孚率部假道通过山东。同时，郑士琦还派兵南下炸毁了韩庄铁路，以阻止江浙援吴军通过山东。

与此同时，阎锡山出兵石家庄，截断了京汉路的交通，豫、鄂等省的援吴军，也都被阻止不能前进。这时，吴佩孚所盼望的两路援军都落了空，自己南下津浦路又受阻。正在无路可走的时候，幸亏吴佩孚的幕僚刘永谦和华甲运输舰舰长为知己交，在最后关头拉着吴佩孚，率领幕僚及卫队，登上早准备好的华甲舰，浮海而去。

渤海舰队的“华甲”号运输舰, 原是“中国”号奥匈帝国商船，后由东北联合舰队改造为水上飞机母舰。此舰最多搭载8架水上飞机，型号为法国“施莱克”FBA-17和FBA-19，用于空中巡逻和轰炸任务；238人基础舰员，常备200支步枪和14艘汽艇；最多可舰载1000名左右士兵用于登陆作战。此舰可以说是中国乃至亚洲现代两栖攻击舰的最早的雏形之一。

奥匈帝国的“中国”号商船于1900年在英国纽卡斯尔劳沃克的威厄姆·查理森船厂建成，采用英国“奥尔登堡”型商船相似设计。奥匈皇储遇刺后引发的欧亚战火，导致许多海外德奥舰船无法安全回港，纷纷选择投靠第三国港口。1914年7月30日至1917年3月14日民国北京政府抗议德国无限制潜艇战，而宣布与德奥断交，已有3艘奥匈帝国商船和8艘德国商船滞留在中国港口，在此期间，以上商船因在协约国(主要是英国)的监督下无法离开回国，继而被民国政府扣船接管。为方便管理，民国海军为以上船只设定临时船名，其中，奥匈帝国的“中国(China)”号商船被命名为“华甲(Hwah Jah)”号。1917年8月14日，中国对德奥宣战。同年10月13日，以上船只被正式没收，由民国海军部管理。

1921年8月30日，“华甲”等9艘商船被海军部抵押借款，约期三年归还。此后“华甲”号被出租给美国政府用于美中远洋运输。1924年4月，由于以上大多数商船为补充军饷变现，海军租船处撤销，“华甲”号被拨给招商局用作海员训练船，同时担负交通部训练船。此后，“华甲”号在第二次直奉大战中编入渤海舰队，被当做运输舰使用。

吴佩孚在舰上召集文武幕僚20余人，检讨过去，并商议今后步骤。兵败之余，穷无所归，会上大家都不发一言，最后还是张其锽，执笔草拟了五条意见：

一、取消武力统一中国之政策。

二、改变御下态度，宽容政客要人，苟有主张之士，虽政敌亦应敬重之，尤不可加以斥骂。

三、放弃洛阳根据地，另行选择据点。

四、亲贤远佞，起用新人才。

五、筹款300万元为经费。

在这五点意见中，最重要的是第一点。在直皖战争前，吴佩孚反对段祺瑞的“武力统一”政策，倡导和平统一的时候，他就博得一般人的热烈同情和支持，而在第一次直奉战争获胜后，吴佩孚成了当时中国最大的武力统一主义者。在吴佩孚的直接策划与指挥下，战祸遍及于湖南、福建、浙江、四川、广东各省，他在势力范围扩大的同时，也将自己置于各方势力的共同讨伐之下，从而最终必将一败涂地。

吴佩孚看过之后，略加考虑后说：“很好。五项高见之中我可以采纳其四，就只另选根据地一点，我看大可不必，我们还是回洛阳去”

吴佩孚原打算在山东登岸，回到洛阳，然而山东督军郑士琦拒绝吴佩孚登陆。 11月12日吴佩孚一行乘“华甲”号由吴淞入长江，14日过南京，11月17日抵达汉口。吴佩孚一手提拔的湖北督军也不欢迎吴佩孚留在武汉。1924年11月19日吴佩孚黯然离开了武汉，弃“华甲”号运输舰而乘京汉火车经郑州径返洛阳。

后来，1928年，北伐军击败奉系军阀，张作霖遇刺，少帅张学良接管奉系军政。同年在张学良批准下租给张本政的政记轮船公司，改名“中华”号，次年开始商运。全面抗战爆发后，“中华”号被日军强征，用于军运，改名为“榆林丸”，1945年1月21日在台湾高雄被美军飞机轰炸沉没。

洛阳是吴佩孚的根据地，吴既然回到洛阳，反吴的人认为这是纵虎入山，非常不安。陕军第三十五师长憨玉琨联合山西军队发动偷袭洛阳，吴佩孚手下无可战之兵，不得不仓促离开洛阳，先到郑州，怎知在郑州还未落脚，又接确报，胡景翼部自北方开来，吴佩孚只好匆匆南下信阳，12月6日登上了河南湖北交界处的风景胜地鸡公山。吴佩孚上鸡公山后，鸡公山又变成全国注目的一个地方。

然而胡景翼认为河南已是自己的辖区，怎肯在卧榻之旁容一只老虎，他就任河南督军之后，立刻通知吴佩孚请他离开鸡公山。

12月28日吴佩孚带病下鸡公山，向湖北进发，可是萧耀南拒绝吴佩孚入境，破坏了路轨，吴佩孚被迫在广水下车。有道是墙倒众人推，吴佩孚入洛阳，上鸡公山下鸡公山，走遍了半个中国，茫茫大地竟无容身之所，昔日他被人歌颂，被人拥护，如今则被人驱逐，被人挡驾。在患难中才看得到知己。当他走投无路时时，湖南赵恒惕伸出了友谊之手，请他前往湖南。四川的杨森也派人来迎接他。

吴佩孚和赵恒惕，虽然立场敌对，政见不同，然而私交却毫不受影响。现在赵恒惕邀请吴佩孚假道湖北前往湖南，但是假道湖北也很困难，最后乘兵舰决川号和浚蜀号到湖北黄州住了下来。

冯玉祥的倒戈是段祺瑞牵的线，所以冯玉祥控制北京后不得不又把段祺瑞请出来。段祺瑞再次登台，组织执政府。1925年2月段祺瑞派王揖唐到了黄州做说客，想劝吴佩孚入京，为己所用。吴佩孚知他来意，不让他有开口的机会。段祺瑞见软来不行，就来硬的。他密令海军司令许建廷率领长江舰队八艘前往黄州，希望能一举捉住吴佩孚。

幸亏这一偷袭计划被前海军司令杜锡珪获知通知了吴佩孚，1925年3月1日午夜吴佩孚接到电报立即率领随从人员登上决川、浚蜀两舰，大风雨中启碇向湖南出发。吴佩孚于1925年3月4日安抵岳州，多亏赵恒惕雪中送炭，吴佩孚就暂时在岳州住下了。

以前张其锽在吴佩孚的幕府中仅是客串性质，由客串而正式加入吴佩孚的班底，不是在吴佩孚虎视洛阳，声望如日中天之日，而是在冯玉祥倒戈，吴佩孚由天津出海泛舟之时。从山海关兵败到暂栖黄州、岳阳，吴佩孚亡命奔波，无兵无权，是吴佩孚最困难的一段时期。这一年多的时间里张其锽一直在吴佩孚身边，协助他安排行止。

吴佩孚到达岳州，在决川舰上一住七个半月。在此期间，各省代表络绎不绝，无兵无权有无钱的吴佩孚，居然一跃成为十四省联军总司令，这真是一个奇迹。

由于奉军南侵，在吴佩孚的提议下，湖南、湖北、四川、贵州组成四省联防，“联防不谈政治，仅以保境安民为目的”。不久河南、山西、陕西也加入四省联防，使四省扩大到七省。皖奉结合，直系将领人人自危，深感还是需捧吴大帅出来。孙传芳为了夺回被奉军抢走的地盘，组织了苏、浙、闽、赣、皖五省联军，并与七省联防合流，推吴佩孚为盟主。这样一来，吴佩孚便成了十二省联军总司令。

奉军战线过长，孙传芳连连获胜，直系的声势一下子又超过了奉系。1925年10月21日，吴佩孚回到武汉，萧耀南前倨后恭，热情迎接。吴佩孚选汉口东北的查家墩为总司令部址，成立“讨贼联军总司令部”，任命张其锽为秘书长。联军的声势虽大，然而各人都有自己的算盘。张其锽于各路将帅之间，对外缔结盟约，对内调和将帅间的矛盾，在“苦心弥缝”之中，难免受人猜疑诽谤，张其锽却从不自我辨明。

吴佩孚“讨贼”的矛头可张可冯，没想到这时北方出了一件大事。冯玉祥勾引张作霖的新派将领、掌握精锐奉军的郭松龄，倒戈攻打张作霖。张作霖措手不及，险些彻底失败，虽然在日本人的协助下击溃了郭松龄，但也大伤元气。张作霖死里逃生，恨透了冯玉祥，于是频频向吴佩孚表示友好。奉系的山东张宗昌和直隶李景林接连派代表联络张其锽，把拥戴吴大帅的口号喊得震天响。一天吴佩孚和张其锽在查家墩司令部的露台上商量是否联张。看到张作霖元气大伤，想想还是冯玉祥可恨，吴佩孚轻轻地吐出一句话：“乘人之危非君子”

只此一句话，决定了吴佩孚联合张作霖，共同讨伐冯玉祥。冯玉祥的国民军在几路大军的夹击之下，渐渐支撑不住。冯玉祥为了保全实力，自己出国赴苏联，把部队交给张之江、李鸣钟。张之江和李鸣钟决定投靠吴佩孚，抵抗张作霖，向吴表示愿率部听命。消息传来，查家墩总部一片欢呼。国民军投诚，等于讨冯目的已经达到。利用国民军共同讨奉，岂不是稳操胜券。没想到吴佩孚说，“人无信不立”，不接受国民军的投诚。尽管张其锽等高级幕僚劝他，但他抱着“信义”的原则，不允许再提讨奉的话，继续进攻国民军。

当北中国风云变幻的时候，安定了三年的湖南也发生了政变。赵恒惕主政湖南期间，湘军编成了四个师，第一师师长贺耀祖，第二师师长刘铡，第三师师长叶开鑫，第四师师长唐生智(即后来日军南京大屠杀之前的南京保卫战的国军司令)，其中第四师的力量较强。湘省西南边区有一商埠，名叫洪江，凡驻扎洪江的部队一向被人视为肥缺。赵恒惕派叶开鑫部驻防洪江，使唐生智心存不满，向赵恒惕提出，要和叶开鑫换防洪江。赵恒惕本来以为凭自己的威信可以服人，却不料唐生智为人年青气盛，加上有小人挑拨离间，唐生智竟然翻脸，集中军队迫向长沙，赵恒惕认为他难以理喻，如果率兵相抗，必致湖南又遭战祸，于是决心退位离开。吴佩孚虽然愿意援助赵恒惕，但是赵恒惕为了避免同室操戈不愿向北洋军求援，悄悄地离湘到了上海。

唐生智在衡阳获知赵恒惕让他代理省长，立即率领湘军第四师的主力部队，浩浩荡荡开赴长沙，并向驻在岳州的叶开鑫师进攻，同时派人向吴佩孚表示友好。

当时吴佩孚下面有两派：一派主张联唐，承认唐生智的既成事实，让唐生智控制湖南，可以作为湖北的屏障；另一派则主张帮助赵恒惕，赶走唐生智。吴佩孚最痛恨犯上作乱的人，决定声援叶开鑫，联合进攻湖南。

张其锽劝吴佩孚放弃过问湖南的事，湖南的事让湖南人自己去了。张其锽屡次劝吴佩孚说：“唐生智虽然不足惧，可是他如果投靠了广东，其力量就不可侮，因此纵然打下了长沙，打到了衡阳，可是湘省的局部问题将演为南北问题，这是不可不重视的。” 张其锽看到了广东的革命军政府已扫平了陈炯明的叛乱，后方巩固，日益强大，不可为敌。

吴佩孚因为自己过去曾一再得意于湖南，听不进张其锽的意见。他忽略了自己这次东山再起，已无可战之将、可用之兵，更重要的是他看不到广州新生力量的壮大。1926年4月25日他委任叶开鑫为讨贼联军湖南总司令兼湖南省省长。张其锽是秘书长，掌管着吴佩孚的大印，所有的文书必须张其锽用印后才能生效。张其锽决定不迁就吴佩孚的命令，对叶开鑫的委任令送来盖印三次，都被张其锽拒绝。张其锽这时把行李都已卷好，只准备第二天就辞职而去（张其锽有一个习惯，他常常不睡在床上而喜欢靠在藤椅上睡觉）。没有想到由吴佩孚的夫人张佩兰出面，到了晚上命令嗣子吴道时（吴佩孚本人没有子女，吴道时是吴佩孚弟弟的儿子，过继给吴佩孚）来恳求张其锽，说吴佩孚已经答应了别人，如果再撤销这一任命，面子上实在过不去。吴道时跪在张其锽面前，张其锽不肯用印或是辞职，他就长跪不起。张其锽是个重情义的人，碍於情面，长叹一声只好继续留下。

然而，事态的发展果然如张其锽所料，吴佩孚既要北上讨伐冯玉祥，又要南下驱逐唐生智，正犯了南北两面作战的大忌。虽然叶开鑫军攻进长沙，唐生智退往衡州，但是广州国民政府决定出兵援唐，从广东、广西打进湖南。1926 年6月2日唐生智在衡州取消代理湖南省长的名义，正式加入了国民革命军，就任国民革命军第八军军长兼中路前敌总指挥。

湖南省局部之争促成了国民革命军提早北伐，吴佩孚于是走上了迅速失败的道路。

吴佩孚东山再起，虽然声势很大，但已是他事业生命的回光返照。他刚愎自用的性格越来越显现出来，听不进别人的劝告，在战略和用人上一误再误。他的精锐第三师在第二次直奉战争中全被打散，现在的军队数量虽多，战斗力却大不如前。第一仗打河南信阳，被国民军蒋世杰一个师死守了四十多天打不下来。吴佩孚不肯接受国民军的投诚后继续向北京进逼，结果把冯玉祥的国民军推到了国民革命军的阵营中。国民军退出北京，据险扼守南口，冯玉祥以从故宫中的文物珍宝拿出来卖掉换得的1400万元大洋做为军费，抵抗吴佩孚。这时唐生智在国民革命军的声援下连连告捷，南方的告急电报已连连发来，然而吴佩孚不肯把进攻国民军的指挥权交给奉军，自己在长辛店设立总司令部，命令全力进攻南口。1926年6月5日国民党中央正式任命蒋介石为北伐军总司令，誓师北伐。等到了7月9日，青天白日旗已飘扬在长沙城头，而吴佩孚却被拖死在南口前线。他咬紧牙关说：“南口一日不克，本总司令一日不能南下。”

7月27日北伐军总司令蒋介石率领10万大军进入湖南，决计展开第二期作战计划，以武汉为进军目标。等到8月14日直奉联军攻下南口，吴佩孚8月25日赶回武汉，北伐军已攻克了湖南全省，北洋军已一败涂地，不可收拾了。

吴佩孚一到武汉，立刻赴汀泗桥前线。险隘汀泗桥是武汉的屏障，双方必争之地。8月27日北伐军发起全线总攻，前仆后继，奋勇冲锋。吴佩孚命令不惜代价，全力死守。他组织了八个大刀执法队，凡有后退官兵，立斩不赦。然而大刀队也终于挡不住北伐军的猛烈攻势，溃兵如潮水般败下阵来。

9月4日北伐军开始进攻武汉三镇，汉阳和汉口接连失守。北洋军大势已去，吴佩孚退回河南。武昌孤城虽死守四十天，但也终于落入北伐军之手。由于北伐军将进攻矛头指向东南方的孙传芳，吴佩孚在洛阳才有了一段喘息的时间。此时吴佩孚已知国民革命军一定得势，抗争无益，于是对各方的拉拢反应冷淡，仅持观望态度达半年之久。

1927年4月，张作霖借口要南下与革命军决战，从背后杀到洛阳。吴佩孚于是移驻豫西的巩县，想避开战端。他喘息未定，冯玉祥部由陕西出动，奉冯双方有一触即发之势，因此奉军又向吴佩孚提出让防的要求，张学良请吴佩孚移居自己控制的郑州，吴佩孚当然不肯去自投罗网，所以继续不理不睬，不战不走。两次不理，奉军就不客气地来夺防了。吴佩孚手下的一点屡败之兵，无法对敌，于1927年5月16日匆忙地离开了巩县，经过嵩山，一路受尽了千辛万苦，来到南阳。南阳是于学忠的防区，虽然于学忠是吴佩孚一手提拔的，但于学忠的第八军派系杂乱，形势并不稳定。吴佩孚与手下商量了半天，最后他决定入川投奔杨森。

吴佩孚带领两团卫队离开南阳，当晚在河南邓县的田营宿营，襄阳镇守使张联升（系吴旧部）派人来联络，并商讨渡襄河问题，决定在老河口与樊城之间太平店渡河。由田营去太平店有两条路线，如果经太山庙是条大路，但远五里；经构林关，近五里。第二天（6月2日）早上出发，由于第一团先头部队走大路很平静，本队及第二团决定改走构林关小路。出发时张其锽所骑的马，忽然狂跳不肯向前。张其锽大怒，接连猛抽它数鞭才肯往前走。正午到构林关午餐后，地方乡绅纷纷拿着纸请吴佩孚题字，吴佩孚不忍心拒绝，于是一一为他们书写。等到午后2点，南冈方面忽然传来断续枪声，张其锽恐怕久等生变，带领秘书处人员先行出发探路。往前走了大约三里，地名灰店铺，遇到一片小树林，张其锽骑马走在最前面，突然从树林中射出子弹，张其锽中弹后急忙翻身下马，结果腰腹间又中弹，于是当场气绝身亡。吴佩孚担心前面有闪失，急催部队前进，果然发现惊人惨剧，张其锽已遇难身死。部队散开，遍地搜索，不见敌人踪迹。后听当地人士说，这是樊钟秀的一伙匪徒，误以为张其锽等人是商旅，想打劫财物，后见大队人马已到，于是四散逃去。吴佩孚见老友惨遭横祸，抱着尸体大哭一场，他请地方士绅代购棺木成殓，寄放在关帝庙内。

吴佩孚寄居四川四年多，1931年到甘肃调解回汉纠纷，九一八事变后寓居北平，再也不曾复出了。

据说张其锽曾经算出他自己在1927年有一大劫。那年初，吴佩孚在郑州曾派易克皋赴郾城与靳云鹗接洽，易克皋向张其锽告辞时，凄然说：“此别不知后会何时？”张其锽也凄然说：“也许没有后会之期了，我自己流年不利，玉帅也在坎坷中，我自己最安全的办法是回上海闭门著书十年，逃过劫数再说，但我又不能弃玉帅于危难！”张其锽已计划好，陪吴佩孚到四川，对他略加安顿后就回上海，没有想到还是在劫难逃。

张其锽和谭延闿在清末即已订交，亦亲如兄弟。张其锽任吴佩孚的秘书长时，谭延闿是国民党的重要领袖之一，两人立场虽然不同，但私交不受影响。张其锽遇难时，谭延闿正在汉口。由于国民党宁汉分裂，谭延闿风尘仆仆奔波于南京、徐州、郑州、汉口之间。等到张其锽的噩耗传至谭延闿耳中，已是6月下旬，他立即托国民军的方振武前往照料，并料理他身后事。直到9月1日灵柩才辗转运到上海，11月28日安葬于苏州的南乡七子山。张其锽的夫人聂其德得知噩耗悲痛欲绝，我的祖父瞿宣颖和祖母接到讣闻后立即从北京赶来上海，日夜劝慰姐姐聂其德。由于担心她想不开，每夜见她房里有响动，就赶紧过来探看。瞿宣颖为张其锽撰写了墓志铭，后来又编订校印了张其锽所著的两份遗稿“墨经通解”、“独志堂丛稿”。

吴佩孚与张其锽第一次见面时，两人还处于敌对立场，但经过一席长谈就结拜为兄弟，订为生死之交。这是因为两个人有很多的相似之处。两个人年轻时家境都不好，都是苦学成才的学子。张其锽考中了进士，吴佩孚考中秀才后虽然无法继续攻读功名，但国学的根基也是好的。张其锽的学问博而杂，不仅涉猎诸子百家，熟读《墨子》和《庄子》，而且又精研奇门遁甲、六壬，民国时代以奇门遁甲著名于时的，当首推张其锽了，以致有人传说张其锽能预知过去未来。吴佩孚投军前曾在北京崇文门外做过卖卦先生，一生热衷于研习易理之术，对其笃信不移，因此对于张的博学多才，精通术数更为敬重。吴佩孚和张其锽都是极重信义的人。吴佩孚经常自比关羽岳飞，曹锟当初提拔重用了吴佩孚，吴佩孚就始终对他忠诚，把他奉为领袖。尽管后来吴佩孚的声望超过了曹锟，也尽管后来曹锟成了吴佩孚的包袱，他始终不肯背叛曹锟。张其锽受到吴佩孚的敬重与信任，就尽心尽力地辅佐吴佩孚。当吴佩孚的事业蒸蒸日上时，他仅在吴佩孚的幕府中客串，接到吴佩孚的邀请就来到他的军中，事定之后又回到上海的家中。然而当吴佩孚全军覆没颠沛流亡后，直到遇难的两年多时间里，张其煌一直没有离开过吴佩孚。流亡期间，几次曾有亲近的人劝张其煌离开，张其煌都严词拒绝，说现在岂是我自己避难而离开玉帅的时候。吴佩孚和张其锽都是不爱财的人。吴佩孚宣告“四不主义”，其中一条就是不聚私财，也确实未敛私财。张其锽客串吴佩孚的幕府，完全是为了私谊，常年奔波在外，却没有钱寄回家中。张其锽遇难后，他的夫人也只能靠娘家提供生活费和培养五个年幼的孩子。

吴佩孚对部下向来不假辞色，虽手握重兵大将如冯玉祥、王承斌之流见到吴佩孚也只能笔挺地站着，他的老部下张福来升到了河南省督军，依然常被他骂得狗血喷头。吴佩孚唯独对张其锽极为敬重。吴佩孚对朋友则以老大哥自命，呼齐燮元为抚万老弟，孙传芳为馨远老弟，赵恒惕为炎午老弟，杨森为子惠老弟，独对于比自己小三岁的张其锽不称子武老弟而称呼张省长。吴佩孚如果对部下说：“去请省长来”，大家知道就是指的张其锽。吴佩孚每当有重大决策，一般都会听取张其锽的意见，然而对张其锽也并没有言听计从，早在两人订交之初，张其锽促成南北停战之后，更打算谋划南北方的统一，然而吴佩孚不能接受这样的方案，既然“言不能悉听”，张其锽不久即告辞而去了。吴佩孚在洛阳虎视天下期间，张其锽在广西省长任上特意写信给吴佩孚，劝他放弃武力统一的政策，提出启用新型人才，“以转移人心风气”等建议。吴佩孚听不进去，等到山海关兵败，在浮海南下时再采纳张其锽的五点意见，为时已经太晚。至于东山再起后，吴佩孚执意不肯听张其锽等幕僚的意见，把唐生智、冯玉祥等推到了广州革命军政府一边，更是他迅速失败的重要原因。