耶律楚材于1190年7月24日生于燕京，是辽太祖耶律阿保机的九世孙，金朝尚书右丞耶律履之子。耶律楚材两岁时，父亲去世，跟随母亲生活，受到母亲影响。耶律楚材生于燕京，并且耶律家世代受汉文化影响，因此，耶律楚材的汉文化底蕴也十分深厚，并且信仰儒家文化，以儒家思想来治理天下。耶律楚材以自己的才智辅助了两代君主，深受帝王信任。
元史《耶律楚材传》中对耶律楚材进行了详细的介绍。首先总的介绍了耶律楚材的字，名以及家庭背景，叙述了耶律楚材的国人才智，精通天文，地理，佛、道、医、卜等学问并也因此受到了重视，向帝王提出有利于百姓民生的多项建议，均得到的实施。以及耶律楚材在乃马真后执政时期受到排挤，最终抑郁而死。接着列举了关于耶律楚材的种种具体事例来对耶律楚材进行介绍。先是列举了耶律楚材在占卜方面的才能，数次为帝王进行占卜，最后都得以验证，因此每次出行之前都要让其进行占卜。接着列举了耶律楚材在政治方面的才能，比如耶律楚材在辅佐帝王期间为帝王提出了一系列建议，平定了国内的政乱，使的官吏不再欺压百姓;挽救了很多投降地百姓的性命还有劝谏太祖对于中原地区要采用中原地区的办法进行治理等等诸多事件。列举是事件中体现的不仅仅是耶律楚材的政治头脑，还有他的仁厚，尊重百姓，以及高超的说话技巧等多个方面的才华。最后耶律楚材在乃马真后执政期间去世，享年55岁。皇后按照其生前遗愿，将其安葬在了玉泉山下。
耶律楚材传从生活，政治，家庭等各方面对耶律楚材进行了详细的阐述，向我们展现了耶律楚材的一幅立体画像，对其了解更加深厚，人格更加赞赏。耶律楚材是蒙古帝国大臣，先后侍奉了成吉思汗、窝阔台汗两任大汗，为蒙古的建立，发展及繁荣都贡献出了自己的力量。在成吉思汗在任期间对耶律楚材就无比信任，在去世之前对窝阔台说一定要信任耶律楚材，对他委以重任。窝阔台在位期间也听从耶律楚材的很多建议，是蒙古国得以不断地发展，壮大。但在窝阔台去世之后，皇后脱列哥那，史称乃马真后趁机夺取政权，收买了亲属及一些大臣，掌权长达5年之久。在皇后脱列哥那掌权期间，启用一些谄媚，不学无术之臣，打击忠良之士，汉法名臣。作为一个国家的掌权人，她只知道搜刮财物，尽情享乐，为人斤斤计较，注重私人恩怨。而作为国家重臣的耶律楚材也很自然的仕途开始变得坎坷，受尽排挤。
脱列哥那执政期间，重用奥都剌合蛮，对他十分信任。为此罢免了财政大臣和大宰相镇海，并将汗廷的印章和空纸交给了奥都喇合蛮，让他自己填写，后遭到耶律楚材的强烈反抗，最终不了了之。后来脱列哥那又颁布一系列法令支持奥都剌合蛮，而每次耶律楚材都给予反对意见，长此以往，真乃皇后便对耶律楚材有了很大的反感，处处针对耶律楚材。耶律楚材在政治上空有一腔抱负，但却无处施展。眼看着国家在脱列哥那的统治下法度不一，内外交困，使得人民怨声载道，官场上乌烟瘴气。耶律楚材长期郁郁寡欢，最终于公元1244年抑郁而死。
耶律楚材因与元乃真马皇后的政见多有不同，屡遭迫害，抑郁难平，于1224年6月20日，逝世于蒙古高原，享年55岁。耶律楚材死后乃马真后派近臣麻里扎查验家产，结果却发现耶律楚材为官数十载甚至作为两代皇帝重用的的大臣，家中只有琴阮十余，古今书画、金石、遗文数千卷而已。真是一心为公，清正廉洁。蒙古人民听闻耶律楚材死讯之后也悲伤不已，纷纷用各自的行动来表达对耶律楚材的敬重和怀念。耶律楚材死后遵循他的遗愿，将耶律楚材的遗体运回燕京故里，将他安葬在了玉泉山下的瓮山泊(今昆明湖)之滨，并且与他的先去世的夫人进行了合葬，并为之建庙立像。耶律楚材生前就十分喜欢玉泉山下的环境，他晚年号玉泉老人也正是因此得名。
耶律楚材祠是一所双层套园，院中有三间北房都是祠堂，并且摆放着一张供桌。门前竖着一座石碑，石碑上刻着乾隆皇帝的御制诗，旁边还立着一个石翁仲。三间北房里堆起一座几米高的土红色巨家，就是耶律楚材以及他的续弦夫人苏氏合葬的坟墓。耶律楚材祠因时代变迁和历史问题几经兴废。明代，由于中原人对于蒙古族的痛恨，耶律楚材祠遭到破坏，祠堂被毁，坟墓被铲平，石人也被推倒砸坏。到了乾隆十五年，乾隆对耶律楚材的政绩予以肯定，因此命人在原地重新修建祠堂，恢复墓地，并在中间供奉塑像，为其亲笔题诗。到1984年，耶律楚材祠经过修整后又重新开放，游人又可以来此处参观凭吊。耶律楚材祠的恢复与开放，是世人对于耶律楚材所作所为的一种肯定和赞赏，是对于历史的一种认可。
