我有个协议纠纷问题，我开车不小心给人撞了以后，腿骨折，然后我们签了一次性赔偿协议，签完协议给了他钱，结果几天后他老婆找到我，说我没给他钱，我当时签完协议给他钱时就我两在场，而且没让他打收条，现在他又向我要钱，我该怎么办？