我该抛妻弃子和她在一起吗 真爱面前该如何抉择

前不久，我背着自己的妻子，喜欢上了一个别的女人，我觉得自己跟她在一起很快乐，没有家庭的烦恼，而且我觉得她比我的妻子年轻漂亮。
因为她，我想跟自己的妻子离婚，即使净身出户我也不在乎，只想跟这个女人长久的在一起，因为她让我找回了初恋的感觉。于是，我就跟妻子提出了离婚，但是我的妻子不愿意，她还在一旁谴责我是个负心汉，明明都已经结婚了，还在外面找女人，简直就是渣男的典范。
听了妻子的话以后，我觉得心里很不是滋味儿，感到自己很没有出息，竟然做出这种事情。我都已经有孩子了，难道还要抛弃他们寻找属于自己的爱情吗？我陷入了沉思。可是思来想去我还是不能放弃心中的那个她，我想跟她在一起，因为我爱她。
可能你觉得我说出这种话很渣，但是没有办法，我控制不住自己的感情，就是想跟那个女人在一起。但是现在说这些话也没有用了，我的老婆不跟我离婚，此生注定不能跟她在一起。
我妻子对我说，这不过是我自己一时鬼迷心窍而已，其实我根本就不喜欢这个女人，跟她在一起也不过是因为自己找到了一时的新鲜感而已。但是我并不是那么想的，我对那个女人是真爱，因为我们三观相合，在一起有很多的共同话题，但是跟我老婆就不这样，她整天在我的耳边说一些关于茶米油盐的家务事，听得我耳朵都长茧子了。
可是现在我既想跟自己心爱的女人在一起，又想拥有一个完美的家庭，究竟该怎么办呢？在真爱面前我真的可以放弃家庭吗？我这样做究竟会不会引来非议。