我能只给领导当红颜知己吗

网友疑问：
前两年，办公室领导对我有意思，他已经结婚有小孩了，大我十岁。那时我没男友，虽然跟他一起还是挺开心的，但觉得踏实生活才好，所以拒绝他邀我旅游的提议。过后，他说太冲动了，对我表示歉意。
后来他调职了，成为了我男友的领导。但我们一直都是有短信联系的。一直以来，这个领导在电话和短信上表示他对我的关心。到了今年，他还是打电话约我去玩，出外过夜聊天。我问他，就不怕老婆知道吃醋?他说，他底子好，小心点，不会有人怀疑的。
我承认对他是有好感的，觉得他是一个阳光而坦诚的人，所以一直有联系。但我知道这样是不对的，鱼和熊掌不能兼得，而且我年纪不小了，女人名声很重要。
我不明白他的心态。他有事业有家庭有钱，怎么就对着我一个条件一般的人纠缠不清?要知道在我们单位工作，感情这些事情很敏感，而且我的男友是他的下属，传出去对大家影响非常不好。他没说追我，但怎么就约我出去旅游呢?他说约我去聊天，真的聊天吗?究竟会不会有事发生?我们两人真的就不能当普通的朋友吗?其实从我的角度出发，单单跟他聊聊天也很开心啊。