牛头寺位于西安市长安区韦曲镇东少陵原畔，一说建于唐贞元十一年（795年），又一说始建于唐贞观六年（632年）。宋太平兴国年间（976～984年）改名“福昌寺”，元佑元年（1086年）复名牛头寺。据张礼《游城南记》载，唐代的龙堂塔院尚存。明嘉靖五年（1526年）为纪念唐代诗人杜甫，在寺南建杜工部祠，后又移于寺东，明、清两代屡有修葺，杜工部祠精巧别致，修缮精美，牛头寺应该是借助杜工部祠得以保留，但相对简陋陈旧了许多，但牛头寺仍保留有唐代的遗迹，牛头寺前殿供奉关公像。
传说牛头寺第一祖师遍照禅师道行高于净业寺创始人道宣律师。一日，遍照应道宣邀请赴宴，知其有比高下之意，遂负一牛头前往赴会。道宣设宴招待，但柴火不济，菜肴未能及时做好。遍照一再催促，并说：“菜既未妥，我负一菜，请试用之。”便将所负牛头置于案上，自己大嚼起来。吃罢，坚辞离去。道宣追至沣峪口外，见遍照正在峪右破腹洗肠，深服其道行高于自己。从此，人们将遍照禅师称为“牛头师”，将他所创建的寺院称“牛头寺”。
有说牛头寺原为卧龙寺下院。牛头山慧融创立牛头宗，属禅宗七小宗派之一。遗则对这一经法的阐释有突出贡献。
解放初，牛头寺占地仍有20余亩，有大殿、金刚殿各3间、僧寮10余间，寺塔不知毁于何时，但殿宇内佛像尚存，大殿前有石经幢二座，一为沙门词浩书，乾符六年（879年）立的陀罗尼经幢；另一座为不空和尚翻译的阿闇如来根本灭恶趣陀罗经幢。今仅余大殿3间，僧寮7间，石经幢1座，殿前的两株龙爪槐“形如华盖，四时皆花，”以奇绝著称的“四季柏”，依旧苍郁。