¿Está bien hablar en su idioma nativo con algunos de sus empleados que pertenecen a su estado?

Según yo, depende de la situación.

Algo oficial y usted es un grupo. Debe ser un idioma común.

Conversación personalizada uno a uno: puede ser el idioma de su elección.

y, por cierto, si la persona se muestra como dijiste, como gerente, debes hacer que todos se sientan igual.

Mis 2 centavos.

Eso es bastante inadecuado en base a su descripción, especialmente cuando otros empleados y colegas están cerca. En el peor de los casos, parece que ustedes dos están formando esta pequeña fiesta, planeando algo. Así que mi sugerencia es terminar este comportamiento no profesional tan pronto como sea posible.
Desde que eres el jefe, creo que es mejor responder con el idioma de trabajo, por ejemplo, el inglés, lo que implica implícitamente que su comportamiento inapropiado sin dañar la moral.