老公想和前妻偶尔聚聚，我该答应吗？

我和老公在一起将近5年了，他属猪的，今年已经45岁了，因为他前妻无法生育所以离婚，我们在一起后怀了两个孩子都胎停流产了，而后我又相继做过宫腹腔镜和三镜一丝，都是为了给他一个孩子，但是在我做了手术后不满一个月的时候，我发现他和前妻有那方面的来往。
有一个晚上他借口说同事聚会，晚上1点钟回家，后来发现是和前妻去开房了，而且两人后来还在qq上面聊那天颜色的心得体会，因为他以前的密码是我帮他设置的，所以我知道他密码，后来改掉了，发现这事以后，我哭着和他沟通，是不是真的还爱着前妻很舍不得前妻，如果真是这样 ，我就退出，让他们复婚，可是他说不是的，只是觉得对不起前妻，她身体有缺陷不能生孩子老天对她已经很残忍了，而他还给她那样的伤害（我想说她不能生孩子关老天爷什么事啊，明明是自己年少无知耍朋友时怀了孕去医院做了引产手术才导致的不孕），可是我不能说，因为我要是我说这样的话他就会说我不善良什么什么的，他说他只是给他安慰，她不想找其他的男人，适应不了别的男人，只想这样默默的爱着他，偶尔陪陪她，让她感觉生活有个盼头就行了，可是这样的日子我要怎么过？？？
我哭过，闹过，也无数次的说过分手，他每次都说他爱的是我，在乎的是我，要不然也不会和我在一起，我闹过以后，他们俩收敛了一段时间，qq密码改掉了，我也试着相信他，也不再看他的手机，可是他开始变得沉默，晚上也半夜半夜的失眠，总是说感觉对不起前妻，让她人到中年失婚失去家庭，我看到他这样心里也很痛苦，放弃也不能够，于是我试着和他前妻做朋友，加她微信聊天，发现她果然是一个很善良，很单纯的女人，要不是因为彼此这种角色，应该会成为很好的朋友，在和她相处的过程中会不由自主感到很平和，很轻松，我非常非常的矛盾。