在正定当地民间有“寺大山门远，山门在河南”的传说，大意是说：在唐朝初年，唐太宗李世民派大将尉迟恭监修大佛寺。当主体工程行将完工，只剩下山门未建时，尉迟恭接到唐王要斩秦琼的消息。尉迟恭与秦琼是生死之交的好朋友；听到这个消息后，尉迟恭心急如火，哪还顾得上监修工程，立刻驰奔京城要解救秦琼。
由于尉迟恭行前未将山门的建造方案做出说明，施工的工匠们不敢擅自建造山门，便急忙去追赶尉迟恭请示。当追到河南的境内时，才追上尉迟恭。工匠们请示尉迟恭：“大佛寺的山门修在什么地方？”尉迟恭是个头脑简单的武将，一见有人追来耽误了他的行程，心中非常不快，就将马鞭向地下一指，随口答道：“就修在这里吧！”说完，一扬马鞭，急驰而去。工匠们没法儿，只好遵命，在当地建造山门。据说在今河南省的山门乡，只有山门而没有寺院；而山门乡一带人们的口音与正定的口音亦非常相似，民间传说这些人就是当年在此修建山门的正定工匠们的后代。