¿Es grosero decir que vamos?

Como lo mencionas depende del contexto y de cómo lo digas. Si se dice de tal manera que el otro se ofenda, entonces es mejor evitarlo. Probablemente, si hay suficiente propósito común y los involucrados están fácilmente dentro de la zona de confort del otro, entonces pasará sin ser notado o incluso se verá como algo positivo en el grupo. Pero si no, entonces es posible darle a alguien un dolor de cabeza emocional. Después de todo, aunque podrían odiarte diciendo “venga”, no pueden criticarte por eso porque es solo un poco insultante.