平定张氏兄弟以后，皇甫嵩以左车骑将军的名号兼任冀州牧，爵位由原来的都乡侯升为槐里侯，享受八千户的租税。在冀州牧任上，皇甫嵩考虑到朝廷与黄巾军的激烈战斗给当地造成了巨大损耗，奏请免除冀州百姓一年的田租，得到皇帝批准。百姓感念他的恩德，纷纷传唱这样的歌谣：“天下大乱兮市为墟，母不保子兮妻失夫，赖得皇甫兮复安居。”为官一任，能得到这样的美名，也算此生莫大的荣耀了。但在他人看来，皇甫嵩似乎可以走得更远一些。
曾做过信都县令的阎忠认为，经过黄巾军的折腾，刘家天下的实力已大不如前，况且朝廷内宦官当权，朝政混乱日甚一日，这正是改朝换代的绝好机会，而能够完成这桩大事的人选，非皇甫嵩莫属。他求见皇甫嵩，劝道：“将军的机会来了，一定要抓住啊！否则，一世英名将毁于一旦。”皇甫嵩不知是真聪明还是假糊涂，一脸茫然地问道：“此话怎讲？”阎忠说：“将军扫灭黄巾，功高震主，在冀州又深得百姓爱戴，皇帝怕是容不下您啊！即便皇帝不怀疑您，他身边的那群宦官哪个不嫉妒您，他们天天说您的坏话，皇帝要是哪天听信了，将军的处境肯定危险。”皇甫嵩说：“我为朝廷出生入死，对皇上忠心耿耿，我没有什么可担心的。”阎忠提醒道：“此言差矣！将军千万不要忘记韩信的前车之鉴，当年刘、项纷争之时，他倒向哪一方，哪一方就会胜，有人劝他顺势自立，三分天下至少可得其一，但他优柔寡断，没有抓住机会。结果呢？天下统一于刘姓后，因为处处受到压制，他又后悔跟着刘氏走了。可悔之晚矣，吕后一个妇人就能置他于死地。历史的教训不可不细细思量。”
除了指明皇甫嵩处境之险恶，阎忠还提出了改朝换代的基本策略。他建议皇甫嵩凭借自己在军民中建立的声望，以冀州为根据地，传檄天下，托名诛除宦官，进兵洛阳，夺取朝廷控制权。然后就可以假借天命，逼迫皇帝禅位给皇甫氏。但皇甫嵩似乎从未有过此种念头，闻听阎忠一席话，他感觉很恐怖，说道：“非常之事须待非常之势，建立新朝代，岂是平庸之人办得到的？我这几年能博得些微声名，不过是因为作战对象乃黄巾乌合之众而已，并不是自己的力量有多么强大。冀州百姓虽然对我印象不错，但我在此地时日不长，想让他们为我卖命，恐怕是不可能的。再说普天之下皆知当今皇帝姓刘，我若起事，在名份上就是叛逆，上天也不会保佑我的。我还是忠于朝廷，恪守臣子本分比较好。即便朝中有人陷害我，最多也就是解甲归田，我好歹还有战功和民望流传后世，这我就很满足了。你说的事，大逆不道，我听着就后怕。”皇甫嵩既然不愿背叛朝廷，阎忠的处境就很微妙了，他担心万一阴谋泄露，自己难免脑袋搬家，于是便离开了皇甫嵩。
在冀州仅仅呆了四个月，皇甫嵩又被派往关中镇压以边章、韩遂为首领的叛军。这支叛军来自金城郡(今甘肃、青海交界)，其中夹杂着不少羌人，战斗力较强。他们一路东进，日益迫近三辅地区。所谓三辅，是指西汉设立的拱卫都城长安的三个行政区，分别叫做京兆尹、左冯翊、右扶风，东汉沿用了这些行政设置。由于三辅是西汉皇帝陵墓所在地，而东汉开国之君刘秀又认为自己打败王莽是复兴了汉家天下，因此，一直很注意对西汉帝陵的维护。金城叛军逼近三辅，意味着皇家祖坟受到威胁。万一祖坟被掘，那对皇帝来说，将会是奇耻大辱。为守住三辅，维持朝廷的面子，皇帝便又想到了皇甫嵩。不过，关中战事进行得很不顺利，迟迟未能取得突破性战果。
前线困局持续的同时，皇甫嵩还面临着宫廷宦官赵忠、张让的陷害。起初征讨张氏兄弟时，皇甫嵩行军经过邺城，看到赵忠的私家宅院规模宏大，超越了礼制规定，便上奏朝廷，予以没收。而张让曾向皇甫嵩索要五千万钱，遭到拒绝。因此，两人对皇甫嵩恨之入骨。皇甫嵩在冀州时，由于是刚刚立下大功，并且很得民心，赵忠、张让一时还抓不到他的小辫子。待到他进入关中平叛，连续数月不能报捷，赵、张二人迅速意识到泄愤的机会来了，向汉灵帝抱怨说：“皇甫嵩显然不能胜任，已经几个月了，浪费了朝廷这么大财力，丝毫没有进展。这样的无能之辈，应当撤职查办！”灵帝听信了宦官的谗言，于185年7月命令皇甫嵩还朝，还免掉他的左车骑将军名号，降爵为都乡侯，所享受的租税也由原来的八千户减为两千户。
短短的九个月时间里，皇甫嵩由剿灭黄巾的首功之臣被贬为无能的将领。史书没有明确告诉我们，皇甫嵩究竟是怎样看待自己所遭遇的大起大落的，但际遇的转变如此剧烈，对任何人来说都难免要经受一次巨大的心理落差，皇甫嵩的心情想必也好不到哪里去。
