妻子身体不好想离婚，我不离不弃

我妻子29岁，和我结婚才四年时间，在结婚之前，妻子就告诉我说，婚后不打算要孩子。我问她为什么？妻子说，她的身体条件不允许，小时候生过大病，到现在身体还是挺虚弱的。我当时说没关系，我们在一起就好了。
结婚后第三年，因为迟迟不生孩子，我父母对我施加了很大的压力，每天都打电话问我哪天生孩子？后来我对我妈说，你儿媳妇不能生孩子，因为这话我被我妈狠狠地批了一顿，她是这么说的：不能生孩子？你是不是早知道？不能生孩子，还结婚，你脑子糊涂吧！
我妈在电话里很生气，当天晚上就直奔我们家里了，见面后就骂我妻子，非常难听，她说：我要是早知道你不能生孩子，当初就不可能同意我儿子娶你，现在你给我玩这一手，就不怕遭报应吗？
妻子没有说话，脸色很不好，我知道妻子不高兴，嘴上不说，可是她哭了。我妈走后，妻子说要不我们离婚吧，反正身子这么虚弱，连最起码的夫妻生活都满足不了你，我就是一个废人，还不如离婚算了。
我不同意妻子的提议，过了几天，妻子又说：你不离婚也可以，不过，你不能一辈子不碰女人吧，也不能一辈子不生孩子吧，我是给你生不了，我给你钱，你去外边找其他女人吧，我不反对。你只要注意安全就行了，不用担心我！
我不知道自己该怎么办？面对妻子的苦心建议，我不忍心去做那种不道德的事情，可是，无数个夜晚，我又该如何度过？对于我来说，这是一个巨大的挑战和考验。