por Mauricio González
maurigs at geekmagazine.mx
DeepSeek ha dado un giro significativo al liberar como código abierto su modelo de inteligencia artificial V3, lo cual nos brinda una oportunidad invaluable. Esta iniciativa nos permite desentrañar, paso a paso, la estrategia que los ingenieros de esta empresa china han concebido para desarrollar un modelo de IA de tan alta eficiencia. Es esencial mencionar que DeepSeek asegura haber entrenado su modelo empleando únicamente 2.048 chips H800 de NVIDIA.
Sin embargo, hay analistas que proponen que, en realidad, su infraestructura podría integrar hasta 50.000 GPUs H100 adquiridas a través de intermediarios, aunque por ahora esto es solo especulación. Aunque el chip H100 supera en potencia al H800, resulta plausible que DeepSeek se haya visto obligada a utilizar este último debido a las sanciones impuestas por el gobierno de Estados Unidos, que han bloqueado el acceso de las empresas chinas a la GPU H100. De hecho, desde noviembre de 2023, NVIDIA tampoco está autorizada a suministrar su chip H800 a clientes en China.
DeepSeek revoluciona la IA: abandona CUDA y maximiza eficiencia con PTX
En el vertiginoso crecimiento que NVIDIA ha experimentado en los últimos cinco años, no solo sus GPU juegan un papel crucial. La tecnología CUDA (Compute Unified Device Architecture) también es fundamental en su negocio. La gran mayoría de los proyectos de inteligencia artificial que se están desarrollando actualmente están implementados sobre CUDA. Esta tecnología integra el compilador y las herramientas de desarrollo que los programadores utilizan para crear software para las GPU de NVIDIA. Reemplazarla por otra opción en proyectos ya en marcha supone un desafío considerable.
Aunque CUDA sigue siendo el líder indiscutible en el mercado, Huawei aspira a conquistar una porción significativa en China con CANN (Compute Architecture for Neural Networks). Es su propia alternativa a CUDA. Sin embargo, lo más destacado es que los ingenieros de DeepSeek han decidido no utilizar CUDA para desarrollar su inteligencia artificial. En su lugar, han optado por PTX (Parallel Thread Execution), lo que podría cambiar las reglas del juego en el desarrollo de IA.
PTX es un lenguaje que guarda similitudes con el ensamblador. De hecho, es el ensamblador que NVIDIA pone a disposición de los desarrolladores que utilizan sus GPU. Es útil cuando necesitan implementar optimizaciones de bajo nivel en su código. Programar con PTX es más complejo y laborioso que hacerlo con CUDA. Sin embargo, brinda la ventaja de permitir a los desarrolladores escribir código más eficiente. Así pueden aprovechar al máximo los recursos que ofrece el hardware de la GPU.
Es comprensible que los ingenieros de DeepSeek hayan decidido utilizar PTX para sacar el máximo provecho de las GPU H800 que tenían disponibles. Una de las estrategias que implementaron fue asignar solo 20 SM (Streaming Multiprocessors) de cada GPU para gestionar la comunicación entre servidores. Los 112 SM restantes de cada chip se dedicaron exclusivamente a procesos de cálculo. Esta elección de diseño marca una diferencia significativa en la eficiencia de su modelo de IA.
Los programadores de esta empresa china han conseguido objetivamente un logro en el campo de la ingeniería. Con toda probabilidad, impactará profundamente en la forma en que los desarrolladores de modelos de IA abordarán sus proyectos futuros. Esto demuestra que, a pesar de las dificultades, la innovación puede superar obstáculos y abrir nuevas rutas en el desarrollo tecnológico.
