En realidad, puedes hacer eso. Conozco a muchas, muchas personas que están casadas y que también tienen parejas sexuales ocasionales, tanto del mismo sexo como del mismo sexo.
Lo que estás sintiendo no es tan raro; Conozco al menos dos mujeres que han dicho algo similar. Si eso es lo que quieres, no hay razón para que no puedas construir tu vida de esa manera.