En realidad, es común que los abusadores de niños no sean pedófilos. Muchos hombres que abusan de niños pequeños son heterosexuales y no pedófilos (mi abusador, por ejemplo). ¿Cómo es eso posible?
El problema con esto es asumir que el abuso sexual es sobre el sexo. No se trata de sexo; se trata de control y poder. El sexo es la herramienta que usa el abusador para ejercer control sobre su víctima. Entonces, para la mayoría de las personas que abusan sexualmente de los niños, simplemente controlan y abusan de alguien que es débil y vulnerable al abuso, no necesariamente porque se sienten atraídos exclusivamente (o incluso principalmente) por los niños. Ese abuso toma muchas formas y casi cualquier víctima es un juego.
Ahora sí, muchos pedófilos que terminan abusando de los niños lo hacen porque se sienten atraídos sexualmente por los niños y por eso actúan como su atracción. Sin embargo, diría que estos constituyen la minoría de los abusadores sexuales de niños. La mayoría de los abusos sexuales en la niñez provienen de un familiar o amigo de confianza y uno que tiene muchas otras relaciones y es solo una persona abusiva o una persona oportunista.
Entonces sí, es posible, pero funcionalmente el resultado es el mismo, por lo que la etiqueta es irrelevante.