需要退回给男方。

最高人民法院《关于适用中华人民共和国婚姻法若干问题的解释二》（主法自2021年1月1日期废止）

第十条当事人请求返还按照习俗给付的彩礼的，如果查明属于以下情形，人民法院应当予以支持：

（一）双方未办理结婚登记手续的；

（二）双方办理结婚登记手续但确未共同生活的；

（三）婚前给付并导致给付人生活困难的。

适用前款第（二）、（三）项的规定，应当以双方离婚为条件。