010年以前我做护栏网生意，我在安平一个厂家进货，后来因为货物质量不好，我把货发到货主手里。货主把货个扣了 也没有付钱，后来我要求厂家和我一起去货主那里验货，厂家不去。后来这个是就一直拖着没办，2011年我出了一场大的变故，没有和厂家这边在联系过。他也没有找过我。然而今年他找到我要钱。我有点不知道怎么面对这个事件,当时我们没有合同，没有欠条。他有记账，账本我没见过。也没有产品质量不合格的证据，也找不到当时的货主了。我应该怎么办？