La diferencia es la interpretación que tienes sobre estas personas.
Las personas que no te importan, generalmente no ofrecen nada a cambio, no son amables y quizás te molesten.
Por otro lado, las personas que te importan suelen ser amables o tienen algo que ofrecerte. Así que es e intercambiar en los demás.
Si una persona no tiene nada de personalidad positiva, por ejemplo, simplemente no te importa.