说来，吴俊升够得上是一员福将，从放牛娃到马贩子，再由剿匪猛将到平叛英杰，竟从来没有“掉过链子”。难怪他连连高升，而成为名震一方的洮辽镇守使。
谈到吴俊升的卓著武功，还得从剿匪开始。光绪五年(1879年)，吴俊升才17岁。为生计所迫，他放弃了贩马的营生，投奔了郑家屯(四平市所辖原双辽县县城)清兵捕盗营，成了高崇武的部下。开始，他只当一名伙夫，拿枪动炮的事根本轮不到他。有一次，营兵在院中遛马，眼看一匹“鹰膀子”烈马一蹶子把营兵刘大柱踢了个狗抢屎。又有几位营兵上前拉扯，“鹰膀子”就是桀骜不驯。这时，在一旁看热闹的吴俊升笑了笑大喊一声：“都闪开！”他一个箭步蹿上去，一搭手把鬃，便飞身骑了上去。“鹰膀子”哪里肯依，蹦得更加厉害。但是凭它怎样前扒后蹶，骑在它背上的吴俊升就像粘在它身上一样。吴俊升又大喊一声：“把鞭子递给我！”只见他一手抄住刘大柱扔过来的马鞭，“叭叭叭”就往“鹰膀子”的屁股上猛抽了三鞭子，“鹰膀子”疼痛难忍，再也顾不得蹦跳了，蹬开四蹄风驰电掣一般向院外奔去。
这一场景全被高崇武看到了，他没想到这个“大舌头”伙夫还有这么两下子，还真是个人才。其实，这对吴俊升来说只是小菜一碟儿，他在从小当牛倌的时候就把骑马的功夫练成了。
从此，吴俊升名声大起，当上了正牌儿的骑兵，而且不断立功受赏，一直升至后路巡防队统领官，以后，又在剿匪平叛中屡建大功。光绪末年(1908年)9月，张锡銮为奉天巡防营务处总办，在改编防军中发现后路巡防营统领瑞禄有罪，遂将其发配新疆，于是吴俊升得此肥缺，经副将候补一跃而成为后路巡防营统领。此后，吴俊升驰骋疆场打了许多漂亮仗。
1912年4月，内蒙古哲里木盟科尔沁右翼前旗扎萨克图郡王乌泰叛变，遣派葛根庙喇嘛锡勒图和该旗署的协理台吉诺庆额去库伦，向外蒙古的哲布尊丹巴表示“诚心归投”，并请求外蒙古反动的民族分裂主义分子给予援助。哲布尊丹巴则任命乌泰为进攻中华民国的第一路军总司令。
乌泰的叛国活动早为民国政府察觉，为加强防务，令吴俊升扼守洮辽一带，并拨陆军炮兵一队归其节制。袁世凯令赵尔巽督饬吴俊升所部征剿叛匪，不得有误。吴俊升率马、步十营及山炮一营，计3000余人，自郑家屯驰赴洮南与黑龙江省都督宋小濂派出的许兰洲所率巡防队对乌泰叛军形成夹击之势，决意将叛军击溃。赵尔巽以息事宁人为重，复令吴俊升派员前往该旗剀切晓谕，慑以兵威，晓以大义，劝阻起兵。乌泰已死心塌地要叛国独立，在沙俄与外蒙分裂分子的怂恿煽动之下，利用当地蒙民对“移民设治”政策和对地方官吏以及奸商的不满情绪，于8月22日在白庙发布《东蒙古独立宣言》，布告独立，公开举兵叛乱。此前，乌泰已与帝俄缔约，得大宗枪械，叛军的武器装备十分精良。乌泰求胜心切，指挥骑兵1000余人，分兵三路向洮南、开通(今通榆县)、突泉进犯，妄图一举攻陷洮南。并声称如果各旗都前来加盟，由俄国供给武器弹药，“兹宣告独立，与中国永绝。”科左后旗镇国公喜敏珠尔追随乌泰同时叛乱，并里应外合占领镇东县城，蒙匪一时得势，不可向迩。袁世凯急调大军讨伐，然而蒙匪骁将福胜、荣升、成德甚是勇悍，各路大军均未奏虏功，独吴俊升所部一战而挽回颓势。
原来吴俊升采纳了书记官董吉庆提出的剿抚并举之策，以分化瓦解裹胁者，孤立主要叛匪，收到奇效。8月25日，剿匪军到达信阳窝堡，26日克复镇东，击毙匪徒23名。28日追剿至洮南东南之特安堡，将荣升匪部击破，解除洮南之围。嗣后与吉林高凤城23镇会师，蒙匪始渐后退。
征剿蒙匪之役不但环境恶劣，装备更是落后，就连作战的军用地图也是空白。为此，吴俊升于1912年8月28日由洮南致电军备处请检发蒙吉地图。电称：“蒙边一带地极寥阔，我军向未经过，所有山川形势以及便于攻守各要隘均属茫然，难期致胜，请由贵处函致测量局，速将以前测绘的该处地图检发若干份从速寄来，以便考察攻守之地点。”
9月10日吴俊升乘胜追击蒙叛匪收复嘎喜喇嘛庙。13日在葛根庙再次大败乌泰。乌泰狗急跳墙亲自督队抵御，连战数日，并未逃脱灭顶之灾，吴率部追至该旗，于9月19日火烧乌泰王府。乌泰又逃到大王庙，吴俊升穷追不舍，尾随其后，跟踪追击，乌泰至急，从庙后破墙逃出，窜进索伦山遁匿免其一死。当时因为山路不熟，吴俊升未能乘胜往剿。此役前后共击毙叛匪500余名。
吴俊升在平叛乌泰匪乱胜利后，下令抚慰蒙众、释放随行蒙族男女老幼600余口，发回大车200余辆，并发给护照安业，对加速击败乌泰叛匪起到了重要作用。
吴俊升平乌泰叛乱之胜利，粉碎了沙俄分裂中国的图谋，维护了国家的统一和民族的团结。吴俊升因剿灭乌泰叛匪有功，于同年10月晋升陆军少将，授勋五位。
为了在中国制造分裂，日本帝国主义也早就策划过一次“满蒙独立”运动。失败后仍然贼心不死，时刻企图卷土重来。1915年12月，袁世凯复辟洪宪帝制之举遭到全国反对，一时陷入灭顶之灾，其统治摇摇欲坠。日人川岛速浪之流认为时机已到，再次唆使善耆等宗社党分子与内蒙上层民族分裂主义分子巴布扎布等勾结在一起，又一次拉起叛军，继续进行分裂中国的罪恶活动。
1916年1月，巴布扎布率百余人在康平县与吴俊升所部交战，巴布扎布手下三名匪首被擒杀。7月1日，巴布扎布叛匪在日本大尉青抑胜敏的指挥下，率“勤王复国军”3000余人，由呼伦贝尔盟喀尔喀河畔出发，向洮南方向窜扰。张作霖闻报，除令吴俊升派兵严防以免扰累外，还通电吉、黑两省也要出兵协剿。吴俊升接到电令后，亲率马、步、炮营往剿。吴到洮南后进行严密布防。他说：“巴匪现距洮境尚远，应派营兵并陆炮两尊，设在洮南堵卡以防该匪南窜。”又派炮二营营长率队在开通防守。
吴俊升侦知巴匪在洮南势力较大，军资充足，军械精良，非寻常党徒可比。而且巴匪还假冒宗社党名义行事，无知蒙人受其煽惑多相率附和，滋生扰乱，实感匪患猖獗。最近，往往有身着巡防军服的巴匪混入洮境，刺探军情，真伪莫辨。为此，粗中有细的吴俊升电请张作霖请求发军服徽章以示区别。
7月20日，吴俊升督队迎战巴布扎布叛匪，吴部举擒获匪徒数十名，马匹枪弹很多。7月23日，有巴匪千余名，突然窜至，来势甚猛，袭击距洮南西北200里的突泉县城。驻县城马七营出城防堵，因兵力不足而战败。巴匪闯入城内，环围县署内外开枪战斗，幸赖炮队并步二营赶到，开炮数发，才把匪徒打退，距城十余里对垒。24日，巴匪又占突泉。25日吴俊升率援军赶到，在突泉与巴匪展开激战。吴俊升亲自督队鏖战，阵亡连长一员，士兵多人，吴俊升本人也左臂负弹伤。
据神道碑载：“吴俊升在突泉之战，左臂中弹骨折，医者剪碎骨十余片，旁观者皆栗不敢睨视，老吴颜色不变，谈笑如常。”吴负伤后，张作霖立刻派白医官前往医治，以示关怀。
数日后，在吴俊升率部的猛击下，巴匪不支，退出县城，向郭家店方向逃窜。突泉克服后，巴匪仍有相当势力，有的匪部军装整齐，枪械坚利，并运来机关枪数挺，与吴部防地频频接触。匪逆十分狡猾，胜利则紧逼阵前，失利则朝遁夕至。吴部因地理不熟，饮食不便，士兵都喊到无有用武之地。故吴俊升电请张作霖令二十八师派出一旅，由开鲁等地堵截;通知热河都统姜桂题、黑龙江省毕桂芳督军各派精兵，由东北西北方向围剿，吴俊升则亲率大军由南包抄，使巴布扎布匪军四面受敌，以利一举全歼。巴布扎布所部叛匪，经吴俊升率部围剿数十日后，被击毙700余名，拿获200余名，剩余残匪四处逃散。
吴俊升不光在剿匪平叛中打过多次胜仗，在东北军内部发生裂痕时，他也总是站在张作霖一边，这对避免东北军分裂起到很大作用。1917年1月，专横跋扈的第二十七师五十三旅旅长汤玉麟，因与奉系文治派王永江有隙而同张作霖反目。冯德麟乘虚而入助汤闹事，里应外合反对张作霖。其间，吴俊升曾到汤玉麟处调停周旋，终不奏效。最后竟酿成汤玉麟辞职出走。冯德麟派人马接走汤玉麟与张作霖对着干，意在扩大事态。冯德麟曾以官禄策动吴俊升入伙，允诺事成后将其所部扩大编为第二十九师。吴俊升审时度势未为所动，却公开站在张作霖一边。在张作霖召开的二十七师全体营团长会议上，炮兵第二营营长阚朝玺首先发言，表示拥张惩汤，众人皆附和。这时吴俊升面见张作霖明确表态：“若是大帅想打，俊升带队打前敌，我去揍这个兔羔子去。”听了这话，张作霖非常高兴，说：“大哥，有你这句话兄弟就感激不尽了。”
冯德麟、汤玉麟失势后，张作霖为酬谢吴俊升，当然也为借机扩大自己的实力，想方设法运动中央，将后路巡防队、骑兵第二旅扩编为陆军第二十九师，擢升吴俊升为师长。
但陆军部就扩编陆军第二十九师一事复电张作霖，称“现在时势至艰，财力至绌，不得已对军事厉行裁汰，且当此收束之际，实难扩充师号之举，望勿免为其难，仍暂缓改编。”张作霖对此深为不满，于是先斩后奏，于6月26日“在改编二十九师之公文”中称：兹查洮辽镇守使兼奉天后路巡防队统领陆军中将吴俊升，有勇武娴韬略，堪以为暂编陆军第二十九师师长，由本督军委任该师长先行任职以便着手编练，并俟改编就绪再行咨部转呈任命。”张作霖所以强调扩编二十九师，实因洮辽镇守使吴俊升所部自民国成立以来，血战经年所向皆捷，迭奏虏功。从此，张作霖与吴俊升情同手足，再无二心。以至后来又从洮辽镇守使升至黑龙江省省长兼督军。
吴俊升除了武功卓著，他在地方也做了一些有益的事情。1913年至1922年，郑家屯附近的西辽河经常泛滥成灾，两岸人民深受其害。1922年秋，吴俊升亲自批款为郑家屯修建河堤，以防水患。
1921年，吴俊升与三夫人李助君回郑家屯家庙祭祖，三夫人了解到郑家屯许多贫苦家庭的子女无钱上学，便向吴俊升建议办一所贫民小学，吴俊升高兴地说：“好哇，助君有此善念，我一定支持。”于是，三夫人在万源栈烧锅的对面买了20间青砖房做为校舍(今辽河宾馆路南)，学校设6个班，聘请校长1人，雇用教职员10余人，薪金和学校一切经费开支均由吴府支付。因该校为三夫人李助君建议兴办，开始定名为“助君贫民小学校”。后来有人认为应宣扬大帅的功德，经校长向吴俊升建议，遂改名为兴权(吴俊升的家)小学。兴权小学办了五六年，招收了千余名学生。
在开办兴权小学之后，吴俊升在郑家屯还设一慈善机构“同善堂”。同善堂免费收容孤寡老人和无依无靠的孤儿，还有从火坑里逃出无家可归的妓女。有时一些要饭花子也住宿同善堂。每逢青黄不接季节，吴府便在同善堂支起大铁锅，架起席棚放大锅粥，以此来救济食不果腹的穷苦之人。
吴俊升还和郑家屯有钱大户集资开了一个发电工厂，用锅舵机发电，使郑家屯开始有了电灯照明。
北伐战争以后的1928年，张作霖在关内战场上节节失利，吴俊升主动请缨要入关助战，原拟4月29日到德州布防。后因张宗昌退出济南，张作霖不得不改变计划，任命吴俊升为东三省后方总司令坐镇东北。张作霖鉴于大势已去，决定停战息争退守关外。5月2日，吴俊升携张作霖眷属先行回奉。
济南陷落后，吴俊升在京曾对张作霖有所建议：与其在京，不如回奉闭关自守，以待来日。辽东虽小足以为王。当时因种种原因张作霖未能听吴俊升所劝。直到6月3日，张作霖才离京返奉。吴闻讯非常欣慰，欲赴山海关迎接张氏。专车到达山海关时，车站上只有几名日本守备队站岗，看不出异常的样子。此时，吴俊升已经由奉天赶到山海关车站，专程迎接张作霖。
车过山海关时开的饭，饭刚过后，吴俊升来到车厢内笑呵呵地说：“大元帅，辛苦了。”张作霖一见吴俊升非常高兴，两人就亲热地唠了起来。奉天留守官员吴俊升特地从奉天赶到山海关迎接张作霖，是为了迎合含恨而归的大元帅，是为了安慰被迫出关而内心有许多苦衷的盟弟张作霖。专车开出山海关，张作霖和吴俊升在车上抽烟，然后又打起了麻将，一路谈笑风生。
当专车到皇姑屯车站，奉天宪兵司令齐恩铭前来迎接。专车开出皇姑屯车站后，张作霖的秘书对张、吴二人说：“奉天快到了，请准备一下。”吴俊升被炸现场6月4日凌晨5点半钟，张作霖等乘坐的八号车厢行至皇姑屯——沈阳之间三洞桥时，轰隆一声巨响，七、八、九三节车厢火光冲天，浓烟滚滚，专车被日本关东军预先埋下的炸弹炸毁。桥帮被炸改形，桥上铁板被炸得飞出去很远，桥墩东头炸去一部，火车两辆已无车厢，光剩底盘。吴俊升在列车被炸时被车上落下来的铁架打中，左太阳穴撞伤，右额部有二寸左右的裂口，生命垂危。两名随从把他从车上抱下来，放到在附近巧遇的马车上便死了。闻讯赶来的张副官，仍然把吴俊升放到汽车上，拉回到沈阳小河沿的吴公馆。
6月26日，在奉天小河沿吴俊升的公馆里举行了规模盛大、隆重的追悼公祭仪式。奉系军阀张作相、汤玉鳞、杨宇霆、马龙潭、张景惠、常荫槐、张学良以及南京蒋介石派来的代表、日本关东军派来的特使都来了，分批进入灵堂，向吴大帅的灵行礼。吴俊升的尸体从6月4日被炸身亡直到10月10日下葬，整整停灵4个月零9天。
1929年，迁葬其故里——辽宁省昌图县兴隆沟二道河(发源于吉林省四平市东部半拉山门)畔的五龙岗，陵园占地20万平方米。后因战端，仙境般的陵园痍为平地，只剩下光秃秃的大坟。在吴俊升遇难地——沈阳皇姑屯三洞桥南西塔立一神道碑。碑身两面周围浮雕云龙纹饰，碑文由新城王树撰文，金州李西篆额并书，记述吴俊升生平。
