隋朝大名臣杨素在被杨广高高地供起来后，对人世已生无可恋，临死前拒绝吃药，并且说自己还要活着干什么，最终“坦然”赴死。杨素是杨广登上帝位的得力助手之一，无论是废黜太子杨勇，还是在平定杨谅造反的事上，他都兢兢业业，全心全意，死前说的那句话，总让人感觉到其中的无奈与伤心。
无独有偶，曾经杨广最亲信的张衡，在死前也说过类似的话，他说：“我为人作何等事，而望久活！”作了何等事？什么事？杨广能由次子挤走长子，当上太子，最后当上皇帝，这里面的许多事，不好明说。张衡说的何等事，内容丰富。他和杨素，知道的都太多了。当然得死，不过比杨素惨的是，最后他被朝廷监视，被小妾告发，以诽谤朝政的罪名自尽，他当然也不想自尽，但是皇帝的诏书可不容他辩解，张衡终于还是被使者杀掉了。
按照某些传言的思路，张衡不但该死，还死得太晚了。为什么这么说呢？因为有人说文帝是他亲手所杀，现在炀帝为报父仇，杀他也是因果报应。但这种说法有多少水分呢？
隋文帝死于公元604年，如果文帝果然是被张衡杀死的话，隋炀帝在登基前做的第一件事情应该是杀人灭口，但是张衡却在8年后即公元612年才被杀，不合情理。再看张衡的为人，这人虽然跟着杨广很多年，但基本上算是一个正人君子，他替皇帝办事，也会替百姓进谏，人不坏。
张衡一辈子做了不少虎事。
想当年北周武帝身披重孝，却和亲信跑去打猎。张衡免冠露发，抓住皇帝老儿的马，直言劝谏，他凭着超强的毅力，把皇帝拉回来了！换做一般人也就算了，这是人家家事，了不起的就走个程序，上个表，劝劝就行了，但是张衡竟然敢动手，他还拉马，这真是舍得一身剐，敢把皇帝拉下马啊。当然，周武帝很欣赏他，给了一笔奖赏，也算是对他不怕吓死人的胆气的肯定。
隋朝建立后，他一直跟在杨广身边。杨广做河北行台，他担任并州总管掾，杨广镇扬州，他又当他的总管掾。杨广身为次子，本是与皇位无望，但是太子杨勇为人太过率真，不善掩饰，因此很不得帝后欢心。为此，杨广要夺太子位，张衡出了不少建议。也许从大义上来讲，有些不妥，杨勇也并没犯一定要被废黜的错误。但是当天下大部分人都不看好他，尤其是主宰生死的皇帝都下决心时，太子被废已经是一种无法阻挡的趋势，做为杨广的亲近臣子，想些办法也是人之常情。没有杨广的争夺，也会有杨俊，杨秀的参与，皇权面前，都一样，就看谁的手段好一点了。杨广做了不少见不得人的事，但无疑，都不会瞒着杨素和张衡，甚至有些事情还是他们俩亲自去干的。
理所当然的，当杨广成为皇太子后，张衡也成了太子右庶子兼给事黄门侍郎，成为杨广最最贴心的亲信。
这个时候，杨广的的确确是把他当自己人。赏赐从来不少，甚至是破例要去张家。大业三年，杨广到榆林后，一回到太原就对张衡说要去张家看看。皇帝要驾临，这是张家十八辈子修来的福份，为此，张衡赶紧回河内老家，准备牛肉美酒，最高规格接待。为了能直通张家，杨广命人开辟出了一条90里长的笔直大路，直达目的地。在张家，他住了三天，甚至还动情地说是完成了当年的愿望，很开心。当年他随文帝到过太行山，却不得驻足停留，而今托张衡的福，他吃得好，睡得香，自然要赏赐他这个最贴心的伙伴。他大手一挥，田地三十顷，良马一匹，金带，缣采六百段，衣服一袭，御用食器一具，全都给了张衡。
面对如此厚礼，张衡自然是要全力推辞，所谓无功不受禄，皇帝的驾临，已经是张家之福，如果再收受大礼，难免会受到某些人的妒忌。他张衡已经如此得宠，如果还不知进退，那就不知道会是什么下场了。他的推辞，杨广也是料到了，他坚持要赏，什么叫“幸”，皇帝给的，就是这样，不能推。
都说伴君如伴虎，作皇帝的“伙伴”，有利益更有风险。炀帝是个爱热闹的人，也是个爱享受的人，为此，他除了四方巡游之外，当散财童子，还广建宫殿。汾阳宫老旧，已经与大隋的富有不配了。杨广把扩建的任务交给张衡，张衡随他多年，自然知道他的喜好，但是也不能一味随着他胡闹，在此之前，修北部防线，建各式大型宫殿，包括疏浚渠沟，征发民力太多，他想劝一劝。什么时候好呢？图纸一献上，再不说就晚了，于是他趁献图之机劝谏皇帝让他悠着点，少做这些事。隋炀帝很不爽，当着众臣的面说，张衡自以为自己功大。看起来这话只有半句，其实就是要向他动手的意思了。
虽然张衡是皇帝多年前的旧部，心腹，但是皇帝对他动了心，自然有一大批人等着向他泼污水。
