No hay una razón lingüística consistente y ordenada para esto; Los honoríficos son formulados y arcaicos, y reflejan el entorno particular de su origen más que nada sobre el lenguaje. La mayoría de los honoríficos en inglés están en 2ª / 3ª persona: Su / Su Majestad, Su / Su Gracia, Su / Su Eminencia; Su / su honor.
Mi señor es un caso especial porque es una expresión de sumisión: cuando llama a alguien “mi señor”, está diciendo que es su maestro: que tiene dominio sobre usted, que le debe servicio y obediencia. Un juez que falla en un caso que lo involucra a usted puede tener una cierta medida de poder sobre usted, pero en realidad no es su maestra ni le debe su servicio.