Depende de quién es la persona a quien estás mirando. Algunos simplemente se moverían de tu vista, otros podrían ponerte un arma y decir “¿WTF es tu problema?”. Todo depende de la persona que estés mirando.
Sin embargo, no sugeriría que te quedes mirando a las personas como un experimento social y veas qué sucede. Sé que en algunas culturas es algo perfectamente aceptable, pero si te disparan en la cabeza, ¿realmente valió la pena el experimento social? A la gente no le gusta que su espacio personal sea invadido, y mirar fijamente está interfiriendo en el espacio personal de alguien.