一对离异夫妇在当初离婚的时候曾经协议，女方取得孩子的抚养权，但男方无需支付抚养费，5年过后，女方以小孩生长花费多为理由，要求男方要支付抚养费，由于男方工作不稳定，收入也不稳定，男方想问是否可以拒绝支付呢？