NetApp Novus separa metadatos y datos para el almacenamiento de IA

NetApp presentó Novus el 29 de septiembre como una arquitectura de almacenamiento para fábricas de IA, donde grandes grupos de GPU necesitan leer muchos datos de forma sostenida. La propuesta separa la gestión de metadatos de la ruta que transporta los datos y permite que capacidad, rendimiento y concurrencia crezcan de forma independiente dentro de un único namespace NFS.

Separar la ruta de datos de su catálogo

Los metadatos describen archivos y permiten localizarlos; el camino de datos mueve el contenido que consumen las aplicaciones. En una carga de IA con millones de archivos y muchos lectores paralelos, ambos trabajos pueden convertirse en cuellos de botella distintos. NetApp plantea desacoplar esas funciones para que el operador pueda ampliar la capa que necesita sin escalar toda la arquitectura al mismo ritmo.

La primera configuración anunciada combina el software de metadatos Novus Data Director, ejecutado sobre infraestructura cualificada de Supermicro, con servicios de datos de ONTAP sobre sistemas AFF A90. No es un único equipo mágico: es una pila de componentes coordinados, con una ruta inicial basada en hardware concreto y otra hoja de ruta hacia despliegues definidos por software. Computer Weekly recoge que Novus se podía pedir desde el anuncio y que la evolución a software definido queda planteada como un camino posterior.

Un solo namespace NFS ofrece una vista común de los archivos aunque la capacidad distribuida crezca por debajo. NetApp sostiene que así puede escalar metadatos, capacidad y caudal agregado sin fragmentar los datos en silos. Para operaciones, la promesa relevante es simplificar el acceso de cargas paralelas y reducir las ocasiones en que las GPU esperan a que el almacenamiento entregue el siguiente bloque.

-InfraCrew dice: Alimentar GPUs empieza por medir lo que esperan; añadir otra caja al rack no responde esa pregunta.-

La cifra necesita contexto

NetApp anuncia un objetivo de hasta 100 TB/s agregados y habla de capacidad a escala zettabyte. Son cifras del fabricante, no un benchmark independiente ni una medición que se pueda trasladar sin más a cualquier instalación. El propio comunicado presenta previsiones y objetivos de escala; el resultado real dependerá del tamaño de los conjuntos, la distribución de archivos, la red, los clientes NFS y la concurrencia de cada carga.

La diferencia entre una especificación de arquitectura y un resultado operativo importa especialmente en entrenamiento e inferencia. Una evaluación tendría que registrar el patrón de lectura, el tamaño y número de archivos, el comportamiento de metadatos, el caudal por cliente, la latencia y la utilización de las GPU. Si la red o el pipeline de datos se queda atrás, más almacenamiento no elimina por sí solo el límite; Novus intenta mover uno de esos límites, no sustituir el análisis de extremo a extremo.

La desagregación también cambia el trabajo del equipo de almacenamiento: habrá que diseñar por separado la capacidad, el plano de metadatos y el ancho de banda, y probar cómo se supervisan como un servicio. En una plataforma multiusuario, conviene medir además aislamiento, cuotas y recuperación; los materiales consultados describen la arquitectura y los servicios de ONTAP, pero no publican resultados comparables para esas operaciones.

-InfraCrew dice: 100 TB/s llama la atención; el dato útil para el presupuesto será lo que entregue la carga real.-

Qué mirar antes de comprar

Para un equipo que evalúa la propuesta, el primer paso es tomar una carga representativa y registrar sus necesidades de throughput, capacidad, concurrencia y operaciones de metadatos. Después, hay que confirmar qué componentes corresponden al despliegue inicial, qué se puede pedir ahora y qué sigue siendo una evolución futura. Pedir una demostración con datos y patrones propios ayudará más que comparar solo el máximo agregado anunciado.

Novus apunta a organizaciones que construyen infraestructuras de IA a escala y quieren evitar que el almacenamiento deje ociosas GPUs caras. La idea técnica —separar metadatos de datos— es concreta; la promesa de escala es ambiciosa y debe validarse con pruebas del entorno que la vaya a usar. Para una instalación pequeña o una carga que no está limitada por almacenamiento, la complejidad adicional podría no compensar.

-InfraCrew dice: La arquitectura promete quitar una espera; la prueba de concepto debe demostrar cuál y cuánto.-

Diccionario de la Crew

• Desagregación: diseño que separa funciones de un sistema para que puedan escalarse por separado.
• Fábricas de IA: infraestructura integrada de cómputo, red y almacenamiento dedicada a cargas de inteligencia artificial.
• Metadatos: información que describe un archivo —por ejemplo, nombre, ubicación o atributos— sin ser el contenido del archivo.
• Namespace NFS: espacio de nombres común que permite acceder a archivos a través del protocolo NFS.