性冷淡的男友对出轨前妻念念不忘，我该怎么办

尊敬的易老师：
你好！帮帮我吧！我一直是您博客最忠实的读者，希望您能给我指点迷津。
我是一个有过短暂婚史但未育的女人，我现在的男友和我一样。我们都是75年生的，他的前妻比他小3岁，因为出轨非要离婚。因为工作关系前妻搭上了公司的副总，人家也是有老婆孩子的人，而且比他前妻大10岁，前妻离婚后，就一直和那个副总时不时地幽会以希望“转正”，还在怀了我男友的孩子后不顾他苦苦哀求，毅然打掉与他离婚（这些都是男友亲口告诉我的）。
他还跟我说过：最后一次见前妻是在去年中秋节的晚上，他去找前妻看能否让她搬回来住？正好看到前妻打扮得花枝招展地前去赴约，香水味满楼梯飘得都是，见着他了很冷淡地问：“你来干什么？”他谎称散步，人家就爱搭不理地走了，他从此再也没有亲自去找过她。
他们离婚还有一个更重要的原因是：我男友的性能力无法满足前妻，他说前妻是每天晚上都要的那种女人。他患有早泄毛病，一个月只有四次而已。
我第一次和他同居时，就看出了他的生理毛病，在经过一番激烈的思想斗争后，我还是选择了爱他留下来陪他，我母亲听我描述后也表示坚决反对，但是拗不过我，因为我实在很在乎他。