爱上已婚男人该怎么办 逼着自己去放弃

我的男友是我们公司的上司，外貌看起来光鲜亮丽的他，其实是个凤凰男，他现在所拥有的一切都是他妻子给的，但是他的妻子是个非常强势的女人，这让情人和她生活在一起非常痛苦，可是却无法离开她带给自己的好生活。
其实一开始我对这个男人只有仰慕之情，因为我明白他有家庭有妻子，我们之间不会有结果的，可是我总感觉我们之间的关系很不一样，在公司里他非常关注我，并且一直指导我工作，这也让我们之间一直存在着暧昧。
我们之所以能够在一起，是因为那次我们一同去出差，原本陪着上司去出差的是另一位同事，但是因为家中有事，我只能顶替上。能够和他单独一起出差，这让我心里非常兴奋，对我来说有那么一点独处的时光，我就很满意了。
工作进行的很顺利，我们也订好机票准备离开，离开的前一晚他邀请我去酒店里的酒吧玩，我欣然同意前去，那天晚上我并没有喝很多的酒，而是一直听他诉说心中的委屈，听他诉说和他妻子之间那些不愉快的事情。
这个男人的遭遇让我很心疼，在酒精的作用下他亲吻了我，当时我心脏跳的非常厉害，但是并没有拒绝他的逾越。
我们在一起之后，他就给我买了房子，并且写上了我的名字，白天在公司里我们是普普通通的上下属关系，但是晚上却总是相互陪伴，但是他从未在我那里留宿过，一到晚上十点他就必须回家陪伴妻子和孩子。
我明白自己是个令人不齿的身份，但是我对这个已婚男人爱的非常深，这也让我的心里非常痛苦，我不知道该如何结束我们的关系？现在我享受他和我在一起的时光，但是我又破坏了别人的家庭，我该怎么办才好呢？