老公有外遇怎么办他还舍不得小三 小三主动给我打电话

我34岁，17岁时认识老公，结婚10年，儿子8岁，老公原来当兵，我打工，后来我做生意，老公在我生孩子时转业并接手我的生意，买了2套房子还有车，我管理公司财务和家里一切事物。
去年7月，老公在网上认识一同城女，并在我带孩子外出旅游的5天内和她上床，旅游归来，发现老公不对劲，开始注意他行踪，有天下午，他外出，我打电话找他，感觉他在宾馆。
回来问他，他一会承认一会又不承认，一副不在乎的样子，当晚，我把他聊天密码盗了，知道他们才见面12天，看他聊天纪录，我找老公谈，他很抓狂，我们打架，我跑出家，我当时恨他，为什么出轨的是他。
他还对我凶，他说，你为什么要知道这么清楚，对我有什么好处？发誓谁动他聊天号他这辈子都不会原谅。
接下来的日子在无休止的争吵中度过，每次争吵完他会哄我，让我给他时间来结束，我选择原谅，他吵架时说我的不足，我争取改正，我不想失去。
后来那女和我聊天，说都是我老公找她，她想结束，可老公总缠她，让我多注意他行踪，半年间，老公也尝试忘记，可坚持不住，那女不理他，他就打电话，甚至到她上班路上堵她。
只要老公一出现，那女就打电话给我，让我把他带回去，我感觉丢人，那女人也感觉我老公赖皮，没修养，她有家庭有孩子，她老公也是在外面找情人，她说处于报复心理，现在后悔，所以退出。