老公有了情人但两边都不想放弃,我该怎么办

我和老公在一起六年了，一直以来我们感情都非常好，他一直以来都是那么关心我。我们从当初上班一人工资只有几百块钱到现在买了车买了房，日子也过得很幸福。从过年前一段时间，他每天晚上都差不多十二点才会回来，我从来没有怀凝过他在外面会有女人，一直就以为他在外面陪朋友喝酒谈事情。就这样到了今年的2月12日晚上，我等了好久老公都没回来，我就闪过一个念头，我离开一下让他尝尝一个人在家的滋味，到晚上十一点半时，我把手机关了，在朋友家睡了，到半夜一点过时朋友的女儿哭了，我打开手机看看几点了，结果看到老公连发了好几条短信，说什么“担心死我了”“我等你一晚上”，当时看到短信心里还感觉蛮不错的，至少感觉他非常关心我。
第二天回来看到家里面垃圾桶里面有一些碎纸条，觉得奇怪就想捡起看看，结果才捡起来还没来得急看，老公回来了，我只好放弃。等老公走了之后，我再去看那些碎纸条，已尸骨无存，全都不见了，当时我还心想是不是我昨晚没回来惹老公生气了，写了些骂我的话。后来收到老公的信息，问我是不是已发现什么了，我当时只觉得好笑，根本不知道发生什么事，就开玩笑回他说“那你自己招嘛”，结果他说不知道该怎么说，晚上回来说。我等上晚上十二点老公还没回来，我打电话让他马上回来，他说他一个人在喝酒，当时我心里很慌不知道到底会是什么事情。终于等到他回来了，看我很伤心的样子，回来他就说只要我过得幸福，不管怎样他都可以，是他对不起我。他也觉得很难过，很内疚，他不想欺骗我，也不想伤害我。我当时犹如晴天辟雷，完全不能接受，不知道该怎么办，只知道哭，除了哭还是只有哭。