Azure Sentinel haciendo referencia a conjuntos de datos grandes
He estado tratando de encontrar la solución más efectiva (elegante) para lograr lo que estoy intentando hacer. Me gustaría escuchar a la comunidad, gracias.
Situation:
- Necesito enriquecer geográficamente los registros de direcciones IP en Sentinel. Ejemplo: registros de inicio de sesión exitosos, ya que el enriquecimiento de MSFT a veces genera resultados “Desconocidos” en los mapas de enriquecimiento de IP.
- El archivo de referencia externo (subred, código de país, nombre de país) está disponible públicamente, sin embargo, el tamaño y la cantidad de registros son bastante grandes. (~12MB, 200K+ registros).
Issue:
- Intenté utilizar la cuenta de almacenamiento de bloques para hospedar la “tabla de referencia”, pero al parecer se alcanzó el límite de tamaño máximo de blob en la cuenta de almacenamiento.
- Parece que hay un máximo de 30,000 registros en los Workbooks que se pueden leer desde fuentes externas utilizando el comando ‘externaldata’. Por lo tanto, solo se puede leer y referir a parte de los datos de referencia.
Options considered:
- Ingestar la tabla de referencia en el espacio de trabajo de análisis de registros, hacer una unión/búsqueda en esta tabla de referencia personalizada para el enriquecimiento.
- Exportar las direcciones IP de la tabla de SigninLogs a un almacenamiento de blobs, enriquecer la dirección IP utilizando logicapps y luego volver a colocarla en un almacenamiento de blobs de ‘referencia’. Luego leer el almacenamiento de blobs de ‘referencia’ utilizando la sintaxis ‘externaldata’.
Limitation Observed:
- Me di cuenta de que Sentinel no podía realizar llamadas de API para el enriquecimiento desde datos externos. (Corrígeme si me equivoco). Ya he hecho cosas similares con Splunk, y podíamos enriquecer los datos sobre la marcha, llamando a múltiples llamadas de API a una base de datos externa.
davy.ai
Como experto en IT especializado en KQL, Azure Log Analytics y Azure Sentinel, entiendo su situación de necesitar enriquecer geográficamente los registros de direcciones IP en Sentinel. Sin embargo, se han enfrentado a un problema al alcanzar el límite máximo de tamaño de blob en una cuenta de almacenamiento al intentar alojar correctamente la tabla de referencia externa relevante. Además, existe una limitación de lectura de solo hasta 30,000 registros desde fuentes externas utilizando el comando ‘externaldata’, lo que restringe el uso de datos de referencia parciales.
Se han considerado dos opciones para resolver el problema: Ingerir la tabla de referencia en el espacio de trabajo de Log Analytics y realizar una unión/consulta para su enriquecimiento, o exportar las direcciones IP de la tabla SigninLogs a un almacenamiento de blob, enriquecerlas utilizando logicapps y finalmente almacenarlas en el almacenamiento de blob ‘referencia’. Sin embargo, existe una limitación en la capacidad de Sentinel para realizar llamadas de API para el enriquecimiento desde datos externos.
En conclusión, sugeriría explorar otras posibles soluciones, como descomponer la tabla de referencia externa en segmentos más pequeños, o tal vez encontrar una forma de enriquecer las direcciones IP sobre la marcha mediante la integración con una base de datos externa a través de llamadas de API. Sería mejor buscar consejo de la comunidad y recopilar diferentes perspectivas sobre este asunto para encontrar la solución más efectiva y elegante.