北宋末年，金兵南侵，宋高宗赵构南渡建都于临安。孔子后裔——第四十八代衍圣公孔端友，抱着孔子和元官夫人的一对楷木像从山东曲阜南迁至衢州。第二年的时候，高宗御准孔氏后人在浙江衢州兴建孔府家庙。另一部分未迁移到衢州的孔氏族人依旧留在山东曲阜，于是孔氏后裔就分成了南北2个宗族，曲阜孔庙为北宗孔氏家庙，衢州便为南宗孔氏家庙。