Este modelo ha sido desarrollado utilizando 2.000 GPUs H800 de NVIDIA, modificadas para cumplir con las restricciones de exportación impuestas por el gobierno de EE. UU. en octubre de 2023. Esta optimización ha permitido que DeepSeek alcance niveles de rendimiento comparables a sus homólogos occidentales con un menor consumo de recursos. 

Innovaciones Técnicas de DeepSeek 

Una de las características más innovadoras de DeepSeek es la implementación de la técnica «Mixture of Experts», también utilizada por el modelo Mixtral 8x7B de Mistral AI. Esta estrategia divide el modelo en varios submodelos especializados, lo que mejora la precisión y reduce los costos de cálculo. Cada uno de estos submodelos se enfoca en una tarea específica, permitiendo una asignación más eficiente de los recursos computacionales. Esto ha demostrado ser particularmente útil para mejorar la comprensión del lenguaje natural en aplicaciones avanzadas de inteligencia artificial. 

Otra optimización clave de DeepSeek es su enfoque en la reducción del consumo energético. Mientras que otros modelos requieren infraestructuras costosas y un alto gasto de electricidad, DeepSeek ha diseñado su arquitectura para minimizar el uso de memoria y procesamiento sin perder calidad en sus respuestas. Según sus desarrolladores, esta optimización podría abrir la puerta a modelos de inteligencia artificial más sostenibles y accesibles a empresas de menor tamaño. 

Además, DeepSeek ha explorado el uso de la Búsqueda en Árbol de Monte Carlo para mejorar la capacidad de razonamiento de la IA, aunque con resultados mixtos. Esta técnica, ampliamente utilizada en juegos de estrategia como el ajedrez y el Go, permite a la IA evaluar múltiples escenarios posibles antes de tomar una decisión. Sin embargo, su aplicación en modelos de lenguaje aún está en fase experimental y requiere más desarrollo para demostrar su efectividad en tareas de procesamiento de texto a gran escala. 

A pesar de estos esfuerzos, la compañía aún no ha revelado detalles completos sobre los conjuntos de datos utilizados en el entrenamiento, lo que ha generado cierta controversia en la comunidad científica. Los investigadores han señalado la importancia de la transparencia en los modelos de IA, especialmente en un contexto donde la calidad y diversidad de los datos afectan directamente el desempeño y los sesgos de la tecnología. En respuesta a estas inquietudes, DeepSeek ha prometido futuras actualizaciones en las que podría ofrecer más información sobre su proceso de entrenamiento. 

Controversias y Cuestionamientos 

El rápido ascenso de DeepSeek no ha estado exento de polémica. Un artículo del Financial Times ha puesto en duda la autenticidad del modelo, sugiriendo que podría haber utilizado datos de otros modelos sin autorización. 

El cuestionamiento sobre la autenticidad de DeepSeek se basa en la falta de claridad sobre su proceso de entrenamiento y en el hecho de que el rendimiento del chatbot es comparable a modelos que han requerido inversiones mucho mayores. Investigaciones independientes han señalado que algunos resultados generados por DeepSeek parecen demasiado similares a respuestas obtenidas por otros modelos de IA, lo que sugiere la posibilidad de que se haya basado en datos previamente utilizados por competidores. 

Además, la falta de publicación de los conjuntos de datos utilizados en el entrenamiento ha generado sospechas en la comunidad académica. A diferencia de otros modelos de código abierto que comparten detalles sobre su base de datos y metodología, DeepSeek ha optado por un enfoque más hermético. Esto ha llevado a algunos expertos a especular sobre la posibilidad de que el modelo haya recurrido a técnicas de scraping o reentrenamiento sobre datos de otros modelos sin permiso. 

Otro punto de preocupación es la presencia de sesgos en sus respuestas, lo que indica una posible supervisión del gobierno chino. El chatbot evita responder preguntas sobre eventos políticos sensibles, como la Plaza de Tiananmén o la independencia de Taiwán, lo que ha llevado a cuestionamientos sobre su imparcialidad y libertad de información. 

Organizaciones defensoras de la transparencia en IA han expresado su preocupación sobre el control estatal que podría existir sobre DeepSeek. En particular, se teme que este modelo pueda convertirse en una herramienta para reforzar narrativas gubernamentales en lugar de proporcionar respuestas objetivas. En algunas pruebas realizadas por expertos, DeepSeek ha mostrado sesgos favorables a la política exterior china y ha evitado referencias a temas considerados polémicos en el país. 

Impacto en la Industria de la IA 

A pesar de los cuestionamientos que ha habido, incluido un ataque a su seguridad, la aparición de DeepSeek, independientemente de la veracidad y potencia del mismo, hace replantearse la hipótesis de que para alcanzar el éxito en un modelo fundacional es imprescindible invertir una fortuna en infraestructura. Su eficiencia en costos y la rapidez de su desarrollo sugieren que nuevos enfoques pueden permitir la creación de modelos competitivos con recursos limitados.