口述：已婚男上司说离开公司时要带着我一起走

小女未婚，他是我的男上司，一个比我大20岁的已婚男。我对他有好感，他也常找机会请我吃饭，顺路送我回家，但我们之间还没有任何亲密语言和行为。之前还因为他请其他女同事吃饭，我和他争执起来，他解释说他和她只是单纯的吃饭并没有做其它的事情，问我是在质问他吗?我回答说“不是”。后来我才发现自己其实在吃醋，他也许感觉到了，他说你这样的语言和行为代表什么了我们心里都很清楚。我沉默的无语。
最近他总是出差，看不见他我很想他，想听听他的声音，可是在公司看到他，又想逃避，尽量克制自己情感，前一段时间快崩溃了，喜欢又不能表达出来。
一个雨天的周末，我帮他去办一件事情，原本以为是他一个人过来，结果他开车过来时带着老婆和孩子。我搭了他的顺风车回公司，在车上看到他的老婆和孩子，我感觉很嫉妒他们的幸福，真想找个洞钻进去，因为自己是多余的人，也不想破坏这样幸福的家庭。
那天我和他单独在一起的时候，他对我说，今天没办法陪我一起吃饭了，因为钱包没带。我说可以刷卡呀。他说卡也没带。我笑笑。他说下次有机会请我吃饭。自己想想这一段对话都显得那么尴尬和奇怪。现在关键的问题是，他说要离开公司的时候带我一起走。我的理性告诉我只要是单纯的工作是没有问题的，但是以后的发展我很难预料，我不想做小三。该怎么办呀?