印度高僧跋陀长途跋涉来到中国,受到北魏孝文帝元宏的敬重。跋陀随北魏孝文帝南迁洛阳后,文帝在洛阳为他建了一座“静院”,供他修习禅法,跋陀“*爱性**幽栖,林谷是托。屡往嵩岳,高谢人世”。为安顿跋陀落迹传教,孝文帝下诏在少室山阴、五乳峰下松柏叠翠的幽谷茂林之中,依山辟基修建寺院。
因寺院坐落于少室山阴的丛林之中,故名“少林寺”。清代的景日畛在《说嵩》一书中写道:“少林者,少室之林也。”寺院居少室山阴丛林之间,定名“少林”正是跋陀“息心山林”这一性格特征的体现。
《魏书·释老志》载:“又有西域沙门跋陀,深为高祖所敬信。诏于少室山阴之少林寺而居之,公给依供。”跋陀禅师在少林寺传“三藏心禅”,既要诵读经律论“三藏”，又要潜心坐禅,很受欢迎。跋陀禅法妙道微云,传说在北魏都城曾显神迹,被誉为得道高僧。
慕名聚集于少林寺者有数百人之多。跋陀一面教弟子们坐禅,一面又辑出一些经义,供弟子学习,少林寺逐渐成为禅学的一大中心。同时,少林寺还是重要的译经场所,勒拿摩提普提流支等印度高僧在少林寺翻译(十地经论》,以至成为后来的律学重镇。
跋陀年迈以后,不再参与僧伽活动,一切委诸弟子,自修其业。他本人则移居寺外一处小屋养老,他说,有一善神,常常伴随守护于他,“少林精舍,有特别的神灵护卫，立寺之后,永不消灭。”临终以前,他亲手绘制了善神之像。直到9世纪,这幅画像还保存着。
这一预言也随着少林寺的发展流传至今,而少林寺1500多年的发展也恰恰见证了这一预言。
少林寺被尊为禅宗祖庭,是随着禅宗在中国的不断发展而确立的。据《续高僧传》和《皇唐嵩岳少林寺碑》所载,达摩在嵩山少林寺首创禅宗,少林寺是当时主要的传法之地,慧可、僧副、昙林道育等从学于达摩为少林寺成为禅宗祖庭奠定了基础。
在北魏至唐初期,少林寺成为佛教诸家学说的集散地。达摩一系的法如、老安等在此传授大乘禅法;惠光律宗一系的僧达、昙隐、洪遵、义净等律宗大师在此传授律学;跋陀、僧稠一系的小乘禅法也在此流存,之后达摩一系的禅宗在盛唐以后逐渐成为少林寺的主流。
《皇唐嵩岳少林寺碑》云:“夏有大师讳法如,为定门之首,传灯妙理。弟子惠超妙思奇拔,远契云纵;文喻焕然,宗途易晓。大景龙中,敕中岳少林寺置十大德,数法有阙寺中抽补:人不外假,座无虚授……”
法如大师从五祖弘忍处学法,之后在少林寺传法三年之久。法如当时被称为“定门之首，”
实际为北方禅宗的领抽人物,他在这一时期的传法使得嵩山诸寺,特别是少林寺成为禅宗重镇。唐开元后,神秀、普寂一系的北派禅宗掌握着少林寺的法印。
如北宗普寂的高足同光,在少林寺传法二十多年,演*法大**义震动中外;北宗同光的弟子唯济及道真都执掌过少林寺。不论南宗或是北宗,都推崇达摩为禅宗祖师,而达摩这一系的禅宗主掌少林,为少林寺成为禅宗祖庭起了重要的推动作用。
中唐时期,少林寺禅宗祖庭的地位已基本确立。据中唐贞元十四年(798年)顾少连《少林寺厨库记》记载:“慧可断臂,而三业息尘。”可见二祖断臂求法之说已经问世。到中唐德宗时期,随着达摩面壁少林寺的广传,少林寺禅宗祖庭的地位进一步确立。
唐末至宋代以后,随着达摩在少林寺面壁九年以及其他传奇故事的流传,少林寺禅宗祖庭的地位不断巩固,尤其是道原的《景德传灯录》和普济的《五灯会元》对达摩在少林寺传法的详细记述,宋哲宗时,少林寺改律为禅,使得少林寺成为天下禅门公认的祖庭。
金元时期,尤其是元代,少林寺作为禅宗祖庭更是得到了广大禅宗信徒的崇敬,清康熙四十三年(1704年),帝书“少林寺”匾额,乾隆亲书的“天下第一祖庭”悬于天王殿。少林寺被称为“天下第一祖庭”或“天下第一名刹”。