達摩一葦渡江，少林在他來了之後從翻譯佛經的寺廟成為了禪修之地，而據說五代十國時，高僧福居邀集十八家武術名手來少林寺學習演練三年，各取所長，匯集成少林拳譜。 僧眾習好武藝，在亂世之中，無疑為了自衛。 少林僧兵，起初就是只是一個為維護寺院不受社會戰亂侵擾而建立的武裝組織。

傳說少林十三棍僧曾救過唐王。 唐高祖武德元年（西元618年），李淵逼迫隋恭帝遜位稱帝。 當月，原隋朝東都留守元文都與左武衛大將軍王世充擁隋越王侗，續稱恭帝，年號皇泰，與李唐爭天下。 次年，王世充廢越王侗稱帝，立國號為鄭。 王世充稱帝後，擁兵嵩洛一帶，並佔據了原屬少林寺的隋朝封地柏穀塢莊園，直接損害了少林寺的利益，並隨時有可能危及全寺，因而激起全寺僧眾的強烈不滿。 武德四年（西元621年），秦王李世民率軍討伐王世充，不幸戰敗。 緊要關頭，少林寺主持志操、曇宗等率僧兵突然出現，截斷王世充後路，並生擒王世充之侄王仁則，迫使王世充投降。

李世民為感激少林僧眾，賜僧袍各一襲，良田四十頃、水碾一具，除曇宗受封大將軍外，餘者“時危卿作將，事定復為僧” 。 自此少林武藝也漸為天下追捧，而少林武僧也開始在歷史舞臺中佔有特殊一席，少林僧兵成了特許存在的一支隊伍。

有記載的朝廷調用少林僧兵以明朝最多，顧炎武《日知錄》稱“嘉靖中，少林僧月空受都督萬表檄，禦倭於淞江。其徒三十餘人，自為隊伍。持鐵棒擊殺倭甚眾，皆戰死。”
這名法號月空的僧人響應號召，率領三十多人奮勇抗擊倭寇。 後因誤入敵軍埋伏，全體陣亡。 據稱少林方丈聞訊後帶著一百僧兵，口宣佛號棒殺倭寇上千人。

可見僧兵武藝出眾，以一當十。  《僧兵首捷記》說：“僧兵驍勇，不以首級論功”，這支隊伍在作戰之時，“暗約以靛青塗面，賊見青臉，紅布蒙頭，疑為神兵，膽已唬落。”感覺有點類似當今的特種兵。

明朝的一些政府軍將領曾對僧兵的武藝有所懷疑，於是還設計了一次比試。 他們派了八名彪悍的士兵持鐵棍突然襲擊僧人孤舟，孤舟一無所備，以偏衫袖卻棍，一棍為袖所裹，信手奪之，反擊八人，八人應棍而倒。 至此，該將領終於嘆服。

因為僧兵武藝高強，“驍勇雄傑”，所以“官兵每臨陣，輒用為前鋒”。 而僧兵一般使用的武器是鐵棍，《倭變事略》載：某僧兵乃“手執鐵棍，以古大錢貫鐵條於中，長約八、九尺，重約三、四十斤” 。 僧人們舞動鐵棍，“運轉便捷如竹杖”，一擊下去就是暴頭，“一賊舞雙刀而來，月空坐不動，將至，身忽躍起，從賊頂過，以鐵棍擊碎賊首。於是諸賊氣沮。”

除此外，僧兵也有防身甲胄，當然不是武俠功夫電影裡的武僧那樣穿袈裟，而是一些皮甲。 所謂“密僱皮工造皮甲，竹工造毛竹甲。皮甲在內，竹甲在外”。

值得一提的是，僧兵畢竟是方外之士，除非不得已響應政府徵召應急接戰外，他們在局勢和緩之後，儘管建立功勳，但往往不貪圖富貴，選擇離開。 所以，當明朝開始大規模掃蕩倭寇，僧兵“班師後，當道莫與奏功，而僅賞銀牌，退歸山剎。