一、在解除取保候审的时候退。
公安机关在解除对犯罪嫌疑人取保候审的同时会通知指定的银行，犯罪嫌疑人、被告人可以凭借解除取保候审的通知到该银行领取退还押金。
二、取保候审的决定机关应当综合考虑保证诉讼活动正常进行的需要，被取保候审人的社会危险性，案件的性质、情节，可能判处刑罚的轻重确定保证金的数额。
三、法律依据
《刑事诉讼法》第七十二条
取保候审的决定机关应当综合考虑保证诉讼活动正常进行的需要，被取保候审人的社会危险性，案件的性质、情节，可能判处刑罚的轻重，被取保候审人的经济状况等情况，确定保证金的数额。提供保证金的人应当将保证金存入执行机关指定银行的专门账户。