清官之难，难在身正。俗话说，“打铁还需自身硬”。如果只是张嘴大喊清廉，自己及家人却照贪不误，就无法约束部下，遏制贪腐。张伯行一生历任督抚要职，任所多在富庶繁华之地。但他生活简朴，衣服饮食，始终保持寒儒本色，不取属地民众一钱一物，有些做法，甚至到了不近人情的地步。
康熙四十六年，张伯行初任福建巡抚，当地官员按照老规矩，给他的官邸布置一新，锦绣帷幕，金银器皿，奢侈豪华，不仅没有获得赞许，反而受到严厉批评。张伯行认为如此奢靡的陈设，“吾生平未尝用此”。尤其是当他得知，这些华丽用品都是百姓分担承办，立即断然拒绝，下令归还百姓，只取前任官员旧物使用。
从福建调任江苏巡抚，从偏远之地来到繁华的大都会，人皆喜之。张伯行却深怀戒惧，如履薄冰。有了在福建的教训，这回他入境之前，就先行下令，禁止铺设官署。等他来到官邸，四壁徒然，仅小桌一张、床榻一副，尽管陈设简陋，他却恬然自得。有属官写诗赞叹道：“一架绳床供众同，坐虚使院仰清风。”他个人在江苏官署的日常用度，大多从河南老家带来，尽量不用公家钱物。无锡县令每日送来的惠山泉水，是他享受的最大馈赠。但当他得知，这些泉水全是科派百姓运送，就坚辞不受。
清代的官场，上下级之间馈送成风，行贿受贿、贪污腐败现象十分严重。张伯行对这类“潜规则”深恶痛绝。他初任江苏按察使时，依陋规要给总督、巡抚等上司馈送“见面礼”，大约需白银4000两。这几乎是他二十年的俸禄。不贪污从何而来？张伯行说，我做官不取民一钱，怎能置办这种陋规！他赠送上司和同僚的见面礼，只是家乡的土特产，不值几个钱。督抚大员心怀怨恨，皆谢绝不受，张伯行却我行我素，心怀坦荡。
张伯行出任过很多要职，尤其是做封疆大吏时，位高权重，其僚属门生等携礼拜谒，他都一律谢绝。在福建巡抚任上，张伯行写了一篇《禁止馈送檄》，张榜于官署、巡抚衙门外：“一丝一粒，我之名节;一厘一毫，民之脂膏。宽一分，民受赐不止一分;取一文，我为人不值一文。谁云交际之常，廉耻实伤;倘非不义之财，此物何来？本都院既冰蘖盟心，各司道亦激扬同志。务期苞苴永杜，庶几风化日隆。”这篇包含六个“一”的拒礼檄文，传颂甚广，被收入清代许多文集、笔记，人皆誉之为为政清廉的“金绳铁矩”。
张伯行为官两袖清风、廉名满天下。但清廉之外，他为官恪尽职守，能为百姓办实事、办好事，德才兼备，政绩卓著，使他真正成为一代名臣。
治理黄河水患，是张伯行走向仕途的起点。张伯行的家乡河南仪封县城(今河南兰考)，距黄河故道不足三里，常受洪水的威胁。康熙三十八年夏，黄河泛滥，洪水涌入城内，情势万分紧急。当时居家读书的张伯行当机立断，招募民工，筑堤截水，救仪封城于危难之中。河道总督张鹏翮视察他所修筑的河堤后，大为惊奇，向朝廷奏请张伯行参与治河。张伯行参与当地治河工程，先后督修黄河南岸河堤200余里，筹划水道，使蓄泄得宜，漕运畅通。因他尽心河务，勤敏办事，为人诚实，卓然有守，又被推荐去山东济宁道治理水患。到任后，他清理财库弊政，革除陈规陋习，每年为河库节省数万金不当开支，保证了治河工程的财政支持。他总是出现在治河的一线工地，亲自督理工程，终使水患消弭，重现沃土肥田。
民以食为天，官以民为本。这是中国传统的政治原则。张伯行为官，总把百姓的需求放在第一位。他到济宁上任时，当地正发生大饥荒。面对灾情严峻，他首先从河南家中运来粮米、赶制衣物，免费分发，以解灾民燃眉之急;然后一边申报朝廷，一边发放仓谷两万余石救济灾民。当地巡抚指责他擅动仓谷，张伯行争辩说：灾情重大，如不急加赈济，灾民性命不保，谁来承担这个责任？假如因擅动粮谷而问罪官员，恐怕以后官员们都以此为戒，只求自保，不顾百姓性命，流弊更为巨大。
张伯行这种为民造福的实干精神，在福建巡抚任内，表现得更为淋漓尽致。他赈济灾荒，平抑米价，设置社仓，储备荒年;广设学校，修建义塾，培养人才，刊刻书籍。同时，他整治属吏，奖廉惩贪，镇压豪强，打击恶吏，一时间官吏士民竞相奉法，社会秩序井然。又毁淫祠数百所，裁减僧尼，不到三年，福建民风淳朴，百姓安居乐业。这些政绩充分显示出张伯行的行政能力，受到了士民赞誉，称他“居官若父母，训士如良师”。
