Si es una instancia de una sola vez, diría que ignorar y seguir adelante. Si es un hábito, y ocurre todo el tiempo, una cosa natural sería acercarse a él con amabilidad y moverse hacia arriba con él. Encuentra una apertura para que te escuche. Si todo esto falla, podría sopesar las ventajas y desventajas de su relación (haga una tabla y así) y decidir qué sería lo mejor que podría hacer.
Hablar con otras personas en posiciones similares puede ser útil también. Es posible que hayan pasado por el mismo problema y lo hayan solucionado.