2018年5月，我在徐州荣盛未来广场准备购买一个商铺，我的贷款资料经过荣盛工作人员审核无问题，我签合同交了一半的首付，到银行办理贷款被拒，荣盛的答复是等他们签署另外一家银行再来办理，一年过去了，了无音信，今年家中新添一女儿，四月母亲脑出血住院，我向荣盛提出解除合同退房的要求，让我交全款的5%违约金，才同意退房，经过多次沟通现在是首付款5%的违约金，徐州荣盛的领导通过了，到荣盛总部不同意。
现在同意了全款的违约金退房，要交给荣盛3.9万，但是现在荣盛还是拖着，二个星期了，一个退款申请流程还没走出徐州，我看了荣盛就是不想退钱，消协也不管，房管局也不管，市长热线也没用，难道就没有部门管着这个事的吗？
我该怎么办，自己的钱要不回来