谢邀！
你作为已婚人士，应该很清楚一个人很复杂：
一个谈起诗歌、电影头头是道的人，也许把住处搞得很邋遢。
一个帅哥，也许每次做爱很快就结束战斗了，需要去看医生。
一个公德极好的人，也许很花心。
一个事母极孝的人，也许对妻子极不好。
一个对同事很温和的人，也许会经常殴打妻子。
一个名校毕业的女留学生，也许出卖过肉体（知乎有人讲过）
————————————
你现在可以不断暗示自己，男同事仅仅是展示了他美好的一个侧面而已，别的方面也许很不堪。
你的丈夫看似不完美，但是你基本掌握了丈夫的全貌（工作能力、家务能力、性能力、性格、公德、私德）。而他的整体素质想必是你觉得还可以接受的，你自己说很爱你的丈夫，我姑且算你给老公打85分。
当一个已婚人士对配偶的全貌可以打6、70分的时候，就不可以在不了解另一个异性的全貌的时候换人或者出轨，风险太大。