三观不合的婚姻我真的受够了 何时才能提离婚

我跟老公结婚四年了，我们两个人的婚姻看似非常坚固，可实则非常不幸福，我们两个人从结婚那天开始就三观不合，生活非常不美好。
我们两个人不是没有想过离婚这件事情，但是刚结婚那么短的时间就离婚非常不好，家里人肯定会翻脸。毕竟我们两个人是相亲认识的，相处一段时间可能就有感情了，但是万万没有想到，结婚那么久了还是做不到相互磨合，我现在已经接近崩溃了。
他喜欢写书作画，而我内心比较躁动，喜欢出去玩，我感觉我们两个人在一起根本没有什么共同话题可聊。唯一能够沟通的一件事情就是钱，每当涉及到财产分配问题的时候，我们两个人都异常积极。
可除此之外就什么都没了，我们两个人在一起根本找不到共同话题，我不想尬聊，所以生活的很郁闷。我觉得再这样下去，我就要出轨了，我真的受不了了，跟一个没有话说的人在一起原来这么难受，我以后一定不会再勉强自己做任何事情了。
我不是没有跟他培养过感情，但是他对我的态度非常不好，他说既然两个人没有感情，就不要勉强了，这样不会幸福，我觉得也是如此，所以就放弃了。
我曾向他提出离婚，但是他并没有答应，而且一直在跟我说这是家里人的安排，不能贸然离婚，不然会影响到家庭和谐。
我们这段不合的婚姻已经坚持到现在了，孩子都有了，现在离婚恐怕也晚了，但是我的心里还是不愿意就这样生活下去，我想离婚。但是老公不同意，他说为了孩子也不能离婚，不然他会感情缺失。我信了，这是很好的解释，难道我要一直这样坚持下去吗？