据《论衡》记载：孔子和学生颜回登上泰山，孔子看到东南方向千里之外苏州阊（chāng）门（苏州古城门之一）下有一匹白马。他就问颜回：“你看到苏州阊门了吗？”颜回说：“看到了。”孔子又问：“看到阊门下面有什么吗？”颜回说：“是一团白绸。”孔子说：“是一匹白马！”
这是孔子与泰山的传说之一，应该是一则虚构的故事。苏州到泰山，直线距离有近600公里。无论多好的天气，空气多么洁净，在泰山顶上是看不到苏州城的，更别说苏州城门前的白马了。孔子遥望东南方有可能，但看到苏州城门甚至白马是绝对不可能的。
孔子，被称为“人中之泰山”。明代《泰山志》中称：“泰山胜迹，孔子称首”。说明孔子与泰山很有渊源，也曾多次登上泰山，考察封禅制度，并留下许多珍贵的胜迹。泰山上的“孔子登临处”“孔子小天下处”“望吴胜迹坊”等都是孔子“登泰山而小天下”走过的地方。
瞻鲁台位于岱顶东南侧，是孔子登上泰山眺望鲁国的地方，东南方80公里外是山东的曲阜，那是孔子的故乡鲁国之地。如果赶上好的天气，在泰山顶上是能够看到鲁国的。
孔子开创了名人登泰山的先河，由于他的特殊地位和影响，历代文人名士在泰山上留下了很多文化古迹。
明朝修建的泰山孔子庙位于岱顶海拔1472米处，是全国名山中唯一一座儒家庙宇。孔子庙所在的位置也是孔子远望吴国之处，门额由韩复渠书写。孔子庙影壁里面有极其珍贵的镇庙之宝孔子石像。石像的两侧有一幅对联：“登泰山而小天下，黜百氏以宗六经。”