实际上，当解除取保候审的时候，保证金也会随之退还的。
法律依据
《中华人民共和国刑事诉讼法》第六十八条
人民法院、人民检察院和公安机关决定对犯罪嫌疑人、被告人取保候审，应当责令犯罪嫌疑人、被告人提出保证人或者交纳保证金。
从现有的法律条文来看，取保候审的保证金执行机关是公安，那么就是由公安机关来收取的。不过，一般是通过公安机关的出具手续到指定的银行缴纳。
法律依据
《中华人民共和国刑事诉讼法》第六十七条
人民法院、人民检察院和公安机关对有下列情形之一的犯罪嫌疑人、被告人，可以取保候审：
(一)可能判处管制、拘役或者独立适用附加刑的;
(二)可能判处有期徒刑以上刑罚，采取取保候审不致发生社会危险性的;
(三)患有严重疾病、生活不能自理，怀孕或者正在哺乳自己婴儿的妇女，采取取保候审不致发生社会危险性的;
(四)羁押期限届满，案件尚未办结，需要采取取保候审的。
取保候审由公安机关执行。
希望以上内容能对您有所帮助，如果您还有其他问题可以通过官网400电话进行咨询：400-6686-166，或者到大律师网咨询专业律师。