老公长期在外面打工该离婚吗 这样的生活太煎熬

我是一位80后的女人，和老公结婚之后生下两个孩子，自从结婚之后我就没有再工作过，而是在家照顾孩子侍奉公婆，而老公独自一人在北京打工。结婚十几年来，他回家的次数屈指可数，家里时常只有我和两个孩子，这样的生活让我觉得有些接受不了了，我想要离婚，可是又舍不得，老公长期在外面打工该离婚吗？
其实我和老公认识之前，他就在北京打拼了，那个时候他不过是安保公司的一个小保安而已。我们是在他过年回家的时候见面的，觉得合适之后就在一起了，恋爱期间我们一直都是异地恋，很少有见面的机会，一般都是打电话联系。
我们这边相亲认识的人，结婚一般都比较快，所以在他五一回来的时候，我们在家里的安排下结婚了。结婚之后他在家里待了两个月，这也是我们结婚之后，他在家里待的时间最长的一次，本以为我们结婚了，他会回来，可是他并没有。
我生两个孩子的时候，他都没有在我的身边，只是每个月都寄钱给我，而我一个人把孩子养大。因为他时常不在家的缘故，两个孩子和他不是非常亲近，甚至小儿子都不认识这个爸爸，可即使这样，他依旧不愿意回来生活。
现如今他已经成为了安保公司的小领导了，每个月的薪水不菲，甚至还在我们这边的城市里买了房子。他想着把房子装修好了，就让我带着孩子搬进去，可是我认识的人都在老家，搬到城里没有人可以依靠，所以现在我依旧带着孩子住在城里、
现在我最大的愿望就是他能够回来，即使工资不高，我们一家人待在一起幸福就好了。如果他不愿意回来的话，我可能会考虑离婚，这样的日子我再也不想过下去了！