Históricamente la gente me puede criticar, pero si yo hiciera lo mismo de vuelta, habría consecuencias o se irían. ¿Cual es la solución?

Probablemente no te gustará, pero la respuesta más simple es dejar que se vayan y encontrar a otras personas.

La respuesta más complicada depende de cómo los critiques y de cómo te critiquen. Y como no sé eso realmente no puedo decirlo.