法律分析：

根据我国目前的法律规定，离婚时退彩礼有三种情况：1、双方未办理结婚登记；2、双方办理结婚登记手续但确未共同生活；3、婚前给付并导致人生活困难。如果只是因为老公性能力不行离婚，且双方已经办理过结婚登记手续的，可以不退彩礼。

法律依据：

《最高人民法院关于适用〈中华人民共和国婚姻法〉若干问题的解释(二)》 第十条 当事人请求返还按照习俗给付的彩礼的，如果查明属于以下情形，人民法院应当予以支持：

(一)双方未办理结婚登记手续的；

(二)双方办理结婚登记手续但确未共同生活的；

(三)婚前给付并导致给付人生活困难的。适用前款第(二)、(三)项规定的，应当以双方离婚为条件。