我老公6年前离婚，调解书和判决书写两个孩子一人一个，大的归我老公抚养，小的归他前妻，小的抚养费还让我老公给20万，分四年付清，然而这六年两个孩子的费用我老公一直都出，结果六年后他前妻又起诉我老公要20万的抚养费，我们20万还要全给吗？