现在情况是这样的，我现在正在做一个钢结构的工程，因为当时找的是之前公司的一个合作厂家，这个厂家的老板介绍他的表哥来给我们做这个工程，都是熟人当时没有签订合同，所以付款都是以材料到场为基准，但是施工方以各种不给钱就不上材料的说法向我们要钱，因为那几天天气原因不能耽误房顶的施工进度，处于无奈给了他2万，在这之前第一批材料到场给了3万，第二批开始就跟我们说不给钱不上材料，没办法又给了3万，当初谈价格的时候是以280每平米计算，总共是260平米，谈完的总价格是8万，现在8万全都给他了，可是他以各种工人或者他跟工人之间有矛盾各种理由拖时间，答应我说这个月26号结束，可现在到这个时候了都没有结束，早上给他打了40多个电话不接，后来到了九点半左右手机关机，这个情况我应该怎么办，能用法律制约他赔偿我的损失么？打款纪录和聊天纪律都有