少林寺过了一段鼎盛的日子，到了唐武宗李炎（公元841－846年）时候，又遇到武宗灭佛。武宗是李唐一代21个皇帝中唯一坚决反佛的皇帝，当时全国有大、中佛教寺院4600所，小庙宇4万多处，全部被废毁，寺院的财货和肥沃良田数千万顷一律没收，被逼还俗僧尼二十六万五百人。少林寺自然又遇了劫数，殿宇被拆毁，变成废墟。武宗灭佛一年多，宣宗即帝位，立即下敕恢复佛教，少林寺又得要从头建设了。荒凉的少林寺，到了宋朝，又回复兴盛，那时的寺房发展到数百间，寺僧已达2000人。少林武术自唐代兴起，据说五代十国时，高僧福居邀集18家武术名手来少林寺学习演练三年，各取所长，汇集成少林拳谱。而到了宋代，又推进了一大步，那时已收容俗家弟子，传说宋太祖赵匡胤和岳飞，都是得到少林真传。元代的少林寺仍维持它的鼎盛，寺僧也有2000余人。到了明朝嘉靖年间，倭寇侵扰沿海地带，少林寺以月空为首的40多个和尚，应召组织了一支僧兵，开赴上海附近的淞江一带，抵御倭寇，用铁棍作武器，英勇杀敌，尽歼敌酋，后来不幸误中埋伏，这40多个爱国和尚全部壮烈牺牲。明朝的少林寺已达到兴盛的巅峰，寺内的许多建筑都是这时期重建。

所谓达摩的《易筋经》、《洗髓经》，也在此时出现。这其实是伪托之作，《易筋经》是达摩未来中国之前早已存在的导引术，《洗髓经》则是道家采捕御女的邪说。达摩不懂武功，不是少林武术的创始人，已是经过考据家而肯定的了。说达摩是禅宗的初祖，这也是值得研究的，因为并不是在达摩生前由他宣言而成立禅宗，却是在他死后200余年，始有禅宗这一个名称，捧达摩为初祖，而后世的禅宗，亦没有将达摩所说作为根本教义。少林寺流传有很多达摩的荒诞离奇的传说，公元1750年，乾隆皇游览少林寺，随从大臣把达摩“一苇渡江”“面壁留影”“只履西归”这些“事迹”告诉他，乾隆皇就不相信。他对随从大臣说这些都是无稽之谈，亦不用去作无谓的考证。

少林寺到了清代，开始出现老化的趋势。传说少林寺曾被清庭纵火焚烧，事实是在康熙、雍正、乾隆三朝，少林寺并未被焚，反之这些清朝皇帝，还敕修这座千年名刹，现存的少林寺建筑物，都是明清以后重修的。目前的少林寺山门，是清雍正十三年（公元1735年）奉敕创建，“少林寺”横匾，是清康熙皇帝亲笔书写。但目前的横匾，字是御笔，但匾的形式却与当时不同，据说山门曾失火被焚，横匾亦被焚去一角，“少”字是后来一个书法家补上的。少林寺碑林内，两旁碑刻林立，多是唐宋著名书法家的珍品。传说乾隆皇当年游少林寺时，曾立一座石碑，寺僧发觉碑林内有几块石碑竟高出皇帝的石碑之上，也就立即将这几块石碑埋藏地下，最近才将石碑掘出得以重见天日。

少林寺最大一次灾劫，是民国十七年（公元1928年）军阀混战，少林僧人站在樊钟秀一方，让樊军驻扎寺内，樊钟秀败退，石友三一怒之下，派兵焚寺，一场大火延续焚烧了45日夜，把寺内无数殿、堂、楼、阁和很多经文刻木古文物化为灰烬。