离婚时婆婆买的四金作为彩礼一般是不需退的，仍归女方所有。但如果夫妻二人办理了结婚登记手续但确未共同生活；或者是男方家庭因婚前给付彩礼导致给付人生活困难，那么男方当事人在离婚后就有权请求女方当事人将四金退还给自己，法院对于男方的诉讼请求请求也应当予以支持。
法律依据:
《最高人民法院关于适用婚姻家庭编的解释（一）》第五条
当事人请求返还按照习俗给付的彩礼的，如果查明属于以下情形，人民法院应当予以支持：
（一）双方未办理结婚登记手续；
（二）双方办理结婚登记手续但确未共同生活；
（三）婚前给付并导致给付人生活困难。
适用前款第二项、第三项的规定，应当以双方离婚为条件。