潘安所在的魏晋时期是一个男色盛行的时代，为此刘义庆在《世说新语》中还专门写了一篇《容止》，搜罗了当时一等一的几十位帅哥，就其容貌、风姿、举止等进行了详细的介绍，以教育士大夫们如何做一位风度翩翩的美男子。那么潘安是如何在众多美男中脱颖而出，成为古今第一美男的呢？
既然是美男，首先硬件要过关，要有张好脸蛋。这点上《容止》采用了虚实结合的介绍方式，实的部分很简单——“妙有姿容，好神情”，此外在《晋书·潘岳传》也有直接的描写——“岳，美姿仪”，总之一句话，就是很美。虚的部分比较好玩——“少时挟弹出洛阳道，妇人遇者，莫不连手共萦之”，翻译现代的话就是他少年时带着去首都洛阳游玩，女人们看到了个个眼睛放光，就纷纷往他乘坐的车子上投掷水果，等他逛完了，车上的水果也装满了，于是就有了成语——掷果盈车。
这还不算完，当时的文坛大家左思左太冲听说后，玩起了模仿秀，学习潘安四处游玩。这一玩不要紧，水果没捞着，倒是每每被女人吐得一身口水。原因只有一个，他太丑了，简直就是男版的东施效颦。无独有偶，当时的文坛巨匠张载同样不示弱，也四处招摇过市，结果还没轮到女人们动手，就被一群小孩丢石子和瓦片。
这些实例都从侧面证明潘安的美是独一无二的，任何山寨货除了引来鄙视，还有可能引来杀身之祸。这里还要特别介绍一点，潘安小名叫檀奴，结果他“美”名满天下之后，檀奴就成了美男子的代名词。
讲完了硬件再来看软件。潘安虽然美貌无敌，却并不花心，相反用情专一。他打小与一代名儒、扬州刺史杨肇的女儿订婚，两人婚后感情一直很好，即使夫人因病早亡之后，潘安也一直日夜思念，并且再未续弦。
为了寄托自己的思妻之苦，他写下了著名的《悼亡诗》：“岂曰无重纩，谁与同岁寒？岁寒无与同，朗月何胧胧！展转眄枕席，长箪竟床空。床空委清尘，室虚来悲风。”此后文人墨客们纷纷模仿，包括后世的大文豪苏轼等。从此悼亡诗成为中国古代文坛一大奇观。这一点与诸多风流成性的美男子如慕容熙、元稹等形成鲜明对比。
对妻子专一的人，自然对母亲也非常孝顺。古代著名的孝行教科书《二十四孝》就收录了一篇关于他的“弃官奉亲”。说的是他在父亲去世后，就把母亲接到自己任职的河阳倾心侍奉。后来上头要升他做了长安令，而他的母亲因为一点小病突然燃起了乡思，说啥也要回老家养老。潘安知道后想都没想就答应了，而且在忠孝难以两全的情况下毅然放弃自己的乌纱帽，跟随母亲一起返乡，专司孝道。上司知道后一再挽留，但他去意已决，无奈之后只好批准。这一点在古代尤为重要，所谓“孝行天下”，孝是考察一个人的人品的首要标准，好多孝子就是因为被举为孝廉从而进入公务员之列的。
潘安要貌有貌，要情有情，要义有义，无疑成了那个时代女人心中的绝世好男人，登上第一美男子的宝座也就在情理之中。
