No es exactamente grosero. La mayoría de la gente no se ofendería por eso, pero les parecería extraño que no quieras el té, ya que muchos musulmanes vienen de culturas donde todos beben té. En muchas de sus culturas están obligados culturalmente a ofrecer té y, posiblemente, un bocadillo a cualquiera que venga a trabajar en algo en su hogar (entregar algo, ofrecer té … arreglar la plomería, ofrecer té … instalar cable, ofrecer té). Se sienten obligados a ofrecer, pero usted no tiene que sentirse obligado a aceptar.
Soy estadounidense y generalmente no bebo té aparte de un té de menta o manzanilla ocasional a la hora de acostarse. Llego a ser el extraño que no toma té (tampoco tomo café, así que entre mis amigos y familiares estadounidenses soy el extraño que no toma café). Normalmente le digo a la gente que no bebo té / café. Pueden ofrecer algo más (agua, jugo, soda). Solo cortésmente diría que no, gracias, tengo que correr a mi próxima cita.