男友总说其实前女友和他最般配 我该怎么办

我和我现在男朋友是今年7月的时候认识的，我们是同行，开始是工作接触。后来慢慢熟了，白天工作联系，晚上聊Q。开始他给我偶尔说一些跟他相关的女人的事——那些以前和他有瓜葛的。
渐渐地，在他死皮赖脸地说了无数个“我爱你”“做我女朋友”之类的话之后，我答应他了。
他在外地，但是我们两个城市离得很近，见面很简单。我去年大学毕业，他很早就在社会上了，比我小2岁。但我俩在一起，没有一点年龄差距，我性格本来就偏不成熟。他干净、懂礼貌、孝顺、有修养，这些我都喜欢。所以，老爸说的学历什么的，我都没在乎( 推荐阅读:少妇与猛男偷情故事，更多文章访问WwW.afbbb.Cc)。
现在每天过着平凡的生活，倒是不错，但有个很大的问题，一直在我心里别扭。
他谈过好几个女朋友。我俩确定关系之前，他给我提过一个和他谈过3年的女朋友，那个女生改变了他的一些命运。每次提到那个女生的时候，他都是很失落很安静。而他竟然有次亲口说过，她是他最般配的女朋友。后来向他要了那女生的照片，一看，那个女生看着蛮阳光的，以前我以为是很妖娆的女子，所以迷的他神魂颠倒。