Intel anunció el lanzamiento de la versión 1.0 del contenedor LLM Scaler, que forma parte de su iniciativa Project Battlematrix.
En mayo INTEL se presentó el Proyecto Battlematrix, que consiste en nuevas estaciones de trabajo de inferencia escalables y accesibles. Este proyecto representa un avance relevante en la estrategia de GPU e inteligencia artificial de Intel, ya que facilita la implementación de las GPU Intel® Arc™ Pro serie B mediante una pila de software optimizada para tareas de inferencia.
La nueva pila de software está pensada para ser fácil de usar y cumplir con los estándares del sector. Ofrece una solución contenedorizada para Linux, optimizada para alta inferencia, escalado multiGPU y transferencias P2P PCIe, e incluye funciones empresariales como ECC, SRIOV, telemetría y actualizaciones remotas de firmware.
Esta iniciativa presenta una serie de mejoras a considerar:
- Habilitación de la herramienta de referencia OneCCL
- Administrador de XPU :
- Potencia de la GPU
- Actualización del firmware de la GPU
- Diagnóstico de GPU
- Ancho de banda de memoria de la GPU
- Optimizaciones de vLLM :
- Las optimizaciones de TPOP mejoran el rendimiento para entradas largas (>4K): hasta 1,8 veces más rápido en secuencias de 40K con KPI-32B y hasta 4,2 veces con KPI-70B.
- Mejoras de rendimiento: los modelos KPI 8B-32B ahora ofrecen un 10 % más de rendimiento respecto a la versión anterior.
- Cuantización en línea por capas para reducir la memoria de GPU requerida
- Soporte de paralelismo de pipeline en vLLM (experimental)
- antorcha.compilación (experimental)
- Descodificación especulativa (experimental)
- Soporte para incrustación y reordenamiento de modelos
- Compatibilidad mejorada con modelos multimodales
- Detección automática de longitud máxima
- Soporte para paralelismo de datos
Esta actualización cumple con el cronograma anunciado en mayo por INTEL. Próximamente se espera un lanzamiento mejorado de LLM Scaler con nuevas funciones para finales del tercer trimestre donde se esperan las funcionalidades completas en el cuarto trimestre.
