二婚丈夫频繁和前妻联系 我怀疑他们住到一起了

结婚之后二婚丈夫就频繁和前妻联系，现在我还发现他们两个人有的时候会住在一起，可是当我问的时候得到的却是他的吼骂，我不想和丈夫离婚，但是如何阻止他和自己的前妻联系呢？

现在嫁的丈夫是二婚，我的第一段婚姻只有几个月就离了，原因也很奇葩，婚后他妈不喜欢我了，而他又是一个妈宝男，什么事情都听他妈妈的话，我想既然这样那就离了吧，才几个月就这样，日子久了指不定自己还要受多少气。
后来一次偶然的机会认识了现在的丈夫，他也离过婚，和我同岁，一个人带着孩子，相处时我们有很多共同的话，但是脾气有点不好，但是我觉得是因为他离婚收到过伤害，我尽量理解体贴他，相处了半年后我们就领证结婚了。
之所以这么快的结婚，是由于在我们恋爱期间，我父亲做了一个手术，他不分昼夜的陪同我父亲让我很感动，主要是我父母也默许了我们在一起，而且我感觉这个男人虽然脾气不好，但是也还是一个能够在一起好好生活的男人。-
并且我们在一起恋爱的时候，他把他和前妻所有的事情都告诉了我，并且在生活中还挺会关心人，有时候女人就是这样，别人给你一点点温暖就把持不住，但是和他结婚之后，我发现就算是再好的男人也是抵不住诱惑的！