En C#, ¿cómo puedo reinterpretar byte[] como T[], donde T es una estructura?

Estoy usando C# (.NET 5). Imagina que tengo una clase que almacena un arreglo de estructuras (por ejemplo, floats):

public class AlmacenaArreglo
{
    private float[] flotantes;
}

Los datos de esta clase se cargan desde un archivo binario serializado. Para asignar el arreglo de floats, utilizo una función auxiliar para leer bytes del archivo serializado. Es importante destacar que esta función intenta reinterpretar los bytes cargados directamente como float[] en lugar de copiarlos a un nuevo arreglo.

public static class Deserializador
{
    public static float[] Cargar(string archivo)
    {
        byte[] bytes = CargarBytesDesdeArchivo(archivo);

        // Esto es un error de compilador, por supuesto.
        return (float[])bytes;
    }
}

El uso previsto es el siguiente:

// Dentro de la clase AlmacenaArreglo...
flotantes = Deserializador.Cargar("MiArchivo.archivo");

Cabe destacar que estoy intentando almacenar el float[] como una variable miembro, no solo iterar sobre el byte[] de forma local. Por lo tanto, la conversión a través de Span<t> (Span<float> floatSpan = MemoryMarshal.Cast<byte, float="">(bytes.AsSpan())) no es suficiente. Las funciones asociadas con Memory<t>, Marshal y MemoryMarshal también han fallado de manera similar. Por supuesto, podría usar spans (junto con otros métodos, como BitConverter o punteros no seguros) para construir un nuevo float[] a partir del byte[], pero eso incurriría en una asignación de arreglo adicional, así como operaciones adicionales para convertir los bytes. En el contexto en el que estoy preguntando (cargando activos de videojuegos sobre la marcha), me gustaría optimizar el rendimiento tanto como sea posible.

¿Es posible en el C# moderno reinterpretar y almacenar arreglos de structs sin incurrir en una asignación adicional?</byte,>