爱上已婚男人的负罪感 可是我心里割舍不掉

自从和已婚男人在一起之后，我心里满满的负罪感，尤其是对我男朋友，可是我真的离不开这个男人，和他在一起让我觉得非常舒服，现在我该怎么办才好？

我刚进单位一年多，第一次认识他时，就已经知道他已婚。随着在工作中的接触，我发现我们彼此很有默契，也很聊的来，有种相见恨晚的感觉。一开始我们之间是规规矩矩的交往着，没有逾越雷池一步。
就在半年前他成了我直接领导，当时心里挺高兴的，后来因为交流得多。渐渐地我们越走越近，工作之余，我们一起旅行、看电影，做了很多快乐的事情，让我觉得这才是自己真正要找的爱情，在一起总是充满了无限的激情。
今年8月下旬出差我们在一起了，这次出差也算是他的计划，但我心里并没有排斥。我有一个交往了4年的男朋友，其实和男领导在一起，我心里总会觉得对男朋友愧疚。但是和男领导在一起，我觉得无论是在想法上还是生活习惯上我们更有默契。