唐玄宗开元年间有一位擅长相术的人，不知道他的姓名，他自己说是从衡山来的。人们就叫他“衡相”。他住在京城的宣平里。当时，李林甫任太子谕德。一天，他去拜访衡相。进了屋门，看见郑少微、严杲已经坐在中厅里。衡相请李林甫入坐，对他说：“自从我到这里来，见过很多人，还从没见过象你这样贵相的人呢。国家把刑法看得很重要时，你就能出任司寇，掌管刑罚；朝廷把量才授官的准则放在首位时，你就能坐在吏部尚书的位置上，举才用士选授官吏。同时你还执掌着记勋的丹册，根据每个人功勋的大小，选任节度使，分封侯位，赐给土地。你的荣华富贵能达到顶点，圣上对你已经是情重恩厚，还望你进一步与圣上和谐、融洽，你就能兼任南方省份的官吏，并且你的职位不断升高直到掌握朝廷中枢要务，就达到了鼎盛极至。再不能发展了。那时，官宦士绅们将仰仗您的恩威，黎民百姓们将受到您的恩惠，那将是从古到今也未曾有过的啊！”衡相看了看严杲和郑少微说：“先听听这个人的，并没有什么不好，你二人应该更加敬奉礼待他，不然要悔恨终生的。”当时严杲和郑少微都已经很有名气了，而李林甫的声誉还不够显赫。严杲和郑少微想在李林甫前面让衡相给他们看相，听衡相这样说，认为很不是那么回事，二人就谦恭地站起来，也就不再让他看相了。李林甫也告辞回去了。后来，李林甫升任中书令。这时郑少微已经做了刑部侍郎。他们在一起述说往事时，李林甫对郑少微说：“以前宣平里那位看相的人，说的都是不着边际的话，哪有几句被他说中的啊！”不久，郑少微由朝官改任歧州刺史，就向他的亲朋好友讲了这件事情。不到一年，郑少微又被降职任万州司马。严杲也从郎中的职位上被放逐到边远的地方去了。