¿Existe alguna forma de convertir una cadena hexadecimal en bytes utilizando flujos de Java?

El fragmento de código a continuación, a largo plazo, siempre produce un error de Out-Of-Memory, especialmente al leer de un archivo / contenido muy voluminoso.

¿Hay otra forma de volver a escribir esto, especialmente usando streams?

Vi una forma de convertir una matriz de bytes en una cadena hexadecimal aquí: https://stackoverflow.com/questions/27181383/effective-way-to-get-hex-string-from-a-byte-array-using-lambdas-and-streams/70248035#70248035

public static byte[] hexStringToBytes(String hexString) {
        if (LOGGER.isDebugEnabled()) {
            LOGGER.debug("Cadena hexadecimal para convertir en byte[] " + hexString);
        }
        byte[] buf = new byte[hexString.length() / 2];
        String twoDigitHexToConvertToByte;
        for (int i = 0; i < buf.length; i++) {
            twoDigitHexToConvertToByte = extractPairFromStringBasedOnIndex(hexString, i);
            parseStringToBytesAndStoreInArrayOnIndex(twoDigitHexToConvertToByte, buf, i);
        }

        return buf;
    }

private static void parseStringToBytesAndStoreInArrayOnIndex(String twoDigitHexToConvertToByte, byte[] buf, int i) {
        try {
            buf[i] = (byte) Integer.parseInt(twoDigitHexToConvertToByte, HEX_RADIX);
        } catch (NumberFormatException e) {
            if (LOGGER.isDebugEnabled()) {
                LOGGER.info("Intentó convertir una cadena no hexadecimal:", e);
            } else {
                LOGGER.info("Intentó convertir una cadena no hexadecimal: " + e.getMessage());
            }

            throw new HexStringToBytesException("Intentó convertir una cadena no hexadecimal"); // NOSONAR xlisjov no quiero la causa original ya que causó excepciones.
        }
    }

private static String extractPairFromStringBasedOnIndex(String hexString, int pairNumber) {
        return hexString.substring(2 * pairNumber, 2 * pairNumber + 2);
    }