我生下前男友的孩子 老公说他不介意

网友倾诉：
我和男友是高中开始的，一直到大学毕业后一起工作，本来马上就要结婚了，一场事故，我男朋友离开了这个世界，我感觉天塌下来，整天把自己关在屋里看着男友的照片发呆，而且我发现我怀孕了，这是我们的孩子。
我知道我要生下来家里一定死活不会答应，这时我想到了一个人，他很老实，从他的行为和眼神里我察觉到他喜欢我，我就和他联系，说如果你喜欢我，我可以嫁给你，条件就是这孩子要生下来，并且以后我们不再要孩子，这个孩子就当我们的，当时他说让我考虑下。
第二天他告诉我，他确实喜欢我，看我这样他心里难受，他同意。我们迅速结婚，婚后他想和我那个的时候，我就想到男朋友，拒绝他了。后来孩子生下来，是个男孩，他家里可高兴了，还大大摆了一次席，他也整天抱着，感觉很喜欢。
因为拒绝夫妻生活，后来他对我说，我不会伤害你的。从那以后他晚上一般在书房看书或玩电脑到半夜才睡，确实不再碰我，我也觉得对不起他，可我无法忘记以前的男友，我想为他守身如玉。
我想和老公离婚，可他不答应，说他不能不管我，我该怎么办?