2011年9月，我与村里一户人家的女儿订婚，刚订婚没多久，就听到村里风言风语说这个女孩子行为不检点。我一开始不相信，但有几次亲眼目睹了她与村里其他男生暧昧的场面。于是我决定取消婚约。我们村里的规矩是：只要一方发现不忠的情况，可以要求退还彩礼。但是这户人家硬是不肯，说要取消婚约可以，但是彩礼一分钱也不会退，我觉得很冤枉。请问我可以去法院起诉她吗？我是否可以拿回彩礼？