Cómo contraatacar sin una confrontación física.

Deberías enfrentarte a él pero, ‘físicamente’, no creo que eso sea necesario.
Haz que se dé cuenta de que eres consciente de su error. Haga esto frente a sus buenos amigos (amigos con los que puede contar). Si necesita compensación pídalo. Si da o no da importancia (lo hará si tiene el menor tinte de respeto), pero al menos no te molestará la próxima vez. Te librarás de tales alborotadores en tu vida.
Confía en mí es mejor que enfrentarse a lo personal físicamente.

No pelee, solo sepa que no es un buen amigo y evítelo en el futuro porque no es un amigo en quien no puede confiar. Pelear nunca resuelve nada, solo perderá su tiempo y dejará un mal recuerdo.