我和我前夫两年前是协议离婚，两个儿子都归他抚养，所有债务和财产都归他，房子归两个儿子，他有居住权。离婚后大儿子（17岁）就跟着我一起住进娘家，一直是我抚养。小儿子(5岁)，去年我也出了两万，包括学费，保姆费和保险，现在我想要他把小儿子的抚养权给我，他不同意，去法院咨询说除非我有他孽待儿子的证据，对儿子他是好的，只是整天想着做发财梦，想不劳而获连自己都养活不了，请问我要怎么做呢？