¿Qué sucede con el id cuando se borra una fila con una clave externa en SQLite?

Tengo estas dos tablas:

class User(Base):
    """Entrada de usuario en la base de datos"""
    __tablename__ = "users"
    # ID identifica de forma única
    id             = Column(Integer, primary_key=True, index=True)
    kerberos       = Column(String, unique=True, index=True)
    hashpass       = Column(String)
    is_active      = Column(Boolean, default=True)
    creation_date  = Column(DateTime, default=None)

    scores = relationship("Score", back_populates="owner")

class Score(Base):
    """Almacena las puntuaciones de cada usuario"""
    __tablename__ = "scores"

    id    = Column(Integer, primary_key=True, index=True)
    user_id = Column(String, ForeignKey("users.id"), index=True)
    score = Column(Integer)
    time = Column(DateTime)

    owner = relationship("User", back_populates="scores")

He leído que añadir nuevos “Usuarios” incrementará automáticamente el campo “id”.
Ahora cada entrada en la tabla “scores” tiene una clave externa que apunta a users.id. Esto significa (corrígeme si me equivoco), que cada entrada “score” se mapea a un único Usuario (por lo que la relación score:usuario es a varios:uno).

Me pregunto si esto es un buen diseño, especialmente si elimino un usuario, ¿qué ocurre?
¿Eliminar un usuario invalida/elimina automáticamente las puntuaciones correspondientes que están vinculadas a través del id del usuario eliminado (clave externa para esas puntuaciones)? Me preocupa que al eliminar un usuario, todos los id de usuario posteriores se desplacen hacia abajo en uno, por lo que habría un problema de desajuste por uno al mirar las puntuaciones de un usuario.

¿Es este un buen diseño? Siéntete libre de vincular recursos o redirigir a otra pregunta (no pude encontrar ninguna específicamente).