我和施工方签订协议：我要付其工程款41万，协议：5月30日付20万，9月30日付10万，10月付清剩下的，逾期要付10万逾期费，5月30日付20万，如期付清，9月30日付10万，因工作问题，推迟了两天，施工方要求给10万逾期费，还要求法院执行，5月30日付20万，如期已付，9月超了两天，剩下的尾款也全部付清，对方不露面请律师，而律师一直狡辩，现在必须要付10万逾期费，请问，我该怎么做？