签合同时未发现合同中单方提出解约要支付总价20%的违约金条款,之后一直要求就违约条款进行补充细化?

签合同时未发现合同中单方提出解约要支付总价20%的违约金条款，就支付了8.5%的首付款，之后一直要求就违约条款进行补充细化，装修公司不同意。加上在设计过程中对设计人员的设计服务和装修公司的其他工程质量不满意，就提出解除合同，愿意支付5000元设计费用。但装修公司也不同意退剩余的首付款，还要我支付20%的违约金。目前房屋装修未开工，只做了平面设计和效果图。我现在对装修公司信誉严重不信任，为了避免执行合同出现纠纷，减少后面更多的损失，我如果不执行合同，是否能要回部分首付款，还是要支付总价20%的违约金？