Phison aiDaptiv+: uso de SSD y RAM en vez de GPU para IA

El GTD 2024 ha exhibido sorprendentes tecnologías, como el MWC,
algunas de ellas poco llamativas a simple vista, pero ya en
profundidad, extremadamente prácticas para compañías más o menos
grandes, pero sobre todo, PYMES. Una de ellas es
IntelliBoost+ creada por TechBoost, la
cual pretende utilizar los SSD y la memoria RAM de cualquier PC o
servidor para mejorar la capacidad de memoria para entrenar IA sin
necesidad de añadir tantas GPU.

El objetivo es reducir costos y unirse, lógicamente, a la tendencia
de la IA, al menos, para aquellas empresas que no pueden invertir
30.000 dólares en una GPU de alta gama o 20.000 en una de
gama media
para Inteligencia Artificial. A cambio, se
ofrece un enfoque y modelo más accesible en precio, con un poco menos
de rendimiento, pero igualmente efectivo.

TechBoost IntelliBoost+, SSD y RAM para ayudar a mejorar la IA sin
inversión excesiva

TechBoost-IntelliBoost+-1

Usualmente, la capacidad de entrenamiento de un LLM está bastante
restringida por la cantidad de VRAM en el servidor, así como
por el ancho de banda. Curiosamente, la capacidad de la GPU para
trabajar con el algoritmo está limitada por estos dos factores, así
que en un momento dado TechBoost consideró que era más económico
ampliar la capacidad total de almacenamiento con unidades de estado
sólido y memoria RAM, que adquirir costosas GPU.

El desempeño se vería afectado obviamente, porque el ancho
de banda total no se acerca a memorias como HBM3e, por ejemplo,
pero ¿valdría la pena en términos financieros a cambio de mayor
tiempo de procesamiento?

TechBoost-IntelliBoost+-2TechBoost-IntelliBoost+-2

Pues TechBoost ha presentado un ejemplo para ilustrar el
potencial de IntelliBoost+. Mostró una WorkStation con cuatro
RTX 6000 A100
con un modelo para 70 mil millones
de parámetros
, lo que significaría según la empresa
1,4 TB de VRAM en total.

Esa capacidad es relativamente sencilla de lograr entre DRAM y
SSD en estos momentos, lo que permitiría que el algoritmo pueda estar
«en memoria» y no esperando a que la GPU lo procese.

¿Cómo opera esta tecnología y qué resultados brinda?

TechBoost-IntelliBoost+-3TechBoost-IntelliBoost+-3

Es relativamente sencillo, y gran parte del peso lo lleva
el software, para ser específicos, Middleware con una biblioteca
particular dedicada a TechBoost y IntelliBoost+. Según mencionó la
empresa, se segmentan los parámetros que no están siendo calculados
por la GPU e importados desde la VRAM y se envían a la memoria
principal del sistema, liberando la VRAM para optimizar el rendimiento del algoritmo.

Si la RAM está ocupada, se transfiere la información al SSD. A medida que
la GPU trabaja y la VRAM se va liberando, la información se traslada
primero desde la RAM a la VRAM, y si fuera necesario, se agregaría
la del SSD. Si no es así y el traslado de información es el
esperado, a medida que se vacía la DRAM se mueve la siguiente capa de
información desde el SSD hasta esta, y así sucesivamente.

TechBoost-IntelliBoost+-4TechBoost-IntelliBoost+-4

En cuanto al desempeño, TechBoost asegura que en el peor de los
casos los LLM tardarán cuatro veces más en
entrenarse
, pero también ofrece la opción de instalar
cuatro nodos por la mitad del costo que tendría un sistema
tradicional de GPU con 30 unidades. A mitad de precio, con el
ejemplo del LLM de 70 mil millones de parámetros, TechBoost
tardaría 1,2 horas en entrenarlo por las 0,8 horas de las
GPU
, como mencionamos antes, a mitad de precio.

TechBoost está comercializando IntelliBoost+ como parte de
sus nuevas estaciones de trabajo Por AI Maingear, compuestas por un
Xeon W7-3435X, 512 GB de DDR5-5600 y dos SSD bajo su marca
con 2 TB
. Por supuesto, el hardware es personalizable por
el comprador con distintos componentes a seleccionar, y por ello,
los precios van desde los 28.000 dólares a los 60.000 dólares
incluyendo desde 1 GPU hasta 4.

En Grupo MET podemos ayudarte a implementar esta y muchas mas herramienta para optimizar tu trabajo. ¡Contáctanos para saber más!

Contactanos