“牛鬼蛇神”這一俗語來源於佛教用語。“牛鬼”和“蛇神”分屬不同的兩種類別。顧名思義，“牛鬼”屬於鬼的系統，“蛇神”屬於神的系統。“牛鬼”是地獄中的牛頭鬼卒，名叫阿旁，連稱為“牛頭阿旁”，出自《五苦經》：“獄卒名阿旁，牛頭人手，兩腳牛蹄，力壯排山。”《法苑珠林》引《罪業報應教化地獄經》：“牛頭阿旁，以三股鐵叉，叉人內著鑊湯中，煮之令爛。”可見，牛頭阿旁的特點是力大如牛，任務是負責懲罰那些墮入地獄的壞人。
“蛇神”屬於“天龍八部”系統中的一種。佛教分諸天、龍及鬼神為八部，因八部中以天、龍二部居首，故曰“天龍八部”。“天龍八部”分別是：一天眾，即眾天神；二龍眾，職掌興雲布雨的龍王；三夜叉，佛教的護法神；四乾闥婆，身上散發出濃郁的香氣，管理音樂的神；五阿修羅，專門與佛作對，好戰的惡神；六迦樓羅，即大鵬金翅鳥，嶽飛就是這種神鳥的轉世；七緊那羅，歌神，專門演奏法樂的音樂家；八摩呼羅迦，大蟒蛇神，人身蛇頭。“蛇神”即八部最後一部的摩呼羅迦，大蟒蛇神，職責是守衛佛法。

最早將“牛鬼”和“蛇神”組合在一起使用的是唐朝詩人杜牧。唐朝另一位著名詩人李賀，詩風怪誕，人稱“詩鬼”和“牛鬼少年”。在評價李賀的詩歌成就時，杜牧寫道：“鯨呿鼇擲，牛鬼蛇神，不足為其虛荒誕幻也。”形容李賀的詩歌風格“虛荒誕幻”，簡直不像人間所有。但這個詞也並沒有完全貶斥的意思。