Autor: Txema Fernández | Client Success Manager

El informe «Estado de la IA 2024» de Nathan Benaich y Air Street Capital ofrece una visión fascinante del panorama actual de la investigación en IA, destacando avances significativos y desafíos emergentes. Este artículo explora las tendencias clave que definen la trayectoria de la IA en 2024, basándose en los conocimientos extraídos del informe. 

Convergencia en el rendimiento de los modelos de IA. 

El informe señala una convergencia notable en el rendimiento de los modelos de lenguaje grande (LLM) desarrollados por diferentes laboratorios de vanguardia. Modelos como Claude 3.5 Sonnet de Anthropic, Gemini 1.5 de Google y Grok 2 de Google han cerrado la brecha con GPT-4 de OpenAI en varios benchmarks, lo que indica un panorama competitivo en el desarrollo de LLM.1 Si bien OpenAI mantiene una ligera ventaja, la rápida mejora de los modelos competidores sugiere que la supremacía de un solo laboratorio podría ser efímera. 

Computación de Inferencia: Un Nuevo Foco. 

OpenAI ha marcado un cambio significativo en el enfoque de la investigación en IA con el lanzamiento de GPT-4 01, que prioriza la computación de inferencia. Al trasladar la computación del pre-entrenamiento y post-entrenamiento a la inferencia, GPT-4 01 puede navegar por prompts complejos paso a paso, empleando el aprendizaje por refuerzo para mejorar sus estrategias de razonamiento. Este enfoque ha desbloqueado la capacidad de los LLM para abordar problemas complejos en matemáticas, ciencias y codificación, áreas donde antes tenían dificultades. El informe destaca el alto costo asociado con esta técnica, pero sugiere que las mejoras en el rendimiento podrían justificar la inversión. 

El Ascenso de los Modelos de Código Abierto. 

El panorama de la IA está experimentando un cambio notable con el auge de los modelos de código abierto, liderado por la familia Llama de Meta. Llama 3 5.1 405B, el modelo abierto más grande hasta la fecha, ha demostrado ser capaz de competir con modelos propietarios como GPT-4 y Claude 3.5 Sonnet en una variedad de tareas, incluyendo razonamiento, matemáticas, multilingüismo y tareas de contexto largo. Este desarrollo tiene implicaciones significativas para la accesibilidad y la democratización de la IA, permitiendo a una gama más amplia de investigadores y desarrolladores aprovechar modelos poderosos. 

Cuestionando la «Apertura» del Código Abierto. 

A medida que los modelos de código abierto ganan prominencia, el informe plantea preocupaciones sobre el uso potencialmente engañoso del término «código abierto» en el contexto de la IA. Si bien algunos modelos proporcionan acceso a los pesos, código, arquitectura y datos, otros son más restrictivos, ofreciendo solo acceso limitado o imponiendo licencias específicas. Esta falta de consistencia en las prácticas de apertura genera incertidumbre sobre el grado real de transparencia y colaboración dentro de la comunidad de código abierto. 

Combatiendo la Contaminación de los Datos. 

El informe arroja luz sobre el problema cada vez más reconocido de la «contaminación de los datos», donde los datos de prueba o validación se filtran en los datos de entrenamiento, inflando artificialmente el rendimiento del modelo. Los investigadores han descubierto caídas significativas en el rendimiento cuando los modelos se evalúan utilizando nuevos benchmarks que imitan mejor la complejidad del mundo real. Este hallazgo subraya la necesidad de prácticas de curación de datos más rigurosas y la importancia de desarrollar benchmarks que reflejen con precisión los desafíos del mundo real. 

Repensando los Benchmarks de IA. 

El informe destaca los esfuerzos en curso para abordar las deficiencias en los benchmarks de IA existentes, particularmente los altos índices de error y la propensión al sobreajuste. Un equipo de la Universidad de Edimburgo identificó numerosos errores en MMLU, un benchmark popular, lo que provocó una reevaluación y corrección del mismo. Este incidente ilustra la necesidad de una evaluación continua y un refinamiento de los benchmarks para garantizar que evalúen de manera efectiva las capacidades de los modelos de IA y no simplemente la memorización o la explotación de las peculiaridades del conjunto de datos. 

El Surgimiento de la Evaluación Basada en «Vibraciones». 

El informe discute la creciente popularidad de la evaluación basada en «vibraciones» como un medio para evaluar los modelos de IA, ejemplificado por la Clasificación de la Arena de Chat de LMSYS. Esta plataforma permite a los usuarios interactuar con dos chatbots seleccionados al azar y proporcionar comentarios sobre cuál prefieren, ofreciendo una evaluación crowdsourced de la calidad del modelo. Sin embargo, este enfoque ha generado resultados controvertidos, y algunos modelos más pequeños con estilos de escritura atractivos superan a modelos más grandes y potencialmente más capaces. El informe reconoce la necesidad de más investigación para determinar si la evaluación basada en «vibraciones» refleja con precisión la capacidad del modelo o simplemente el atractivo subjetivo. 

Resurgimiento de los Sistemas Neuro-Simbólicos. 

El informe señala un resurgimiento del interés en los sistemas neuro-simbólicos, que combinan el razonamiento simbólico con las capacidades de aprendizaje automático. AlphaGeometry, desarrollado por Google DeepMind, ejemplifica este enfoque, aprovechando un motor de deducción simbólica para generar millones de teoremas y pruebas sintéticas. Al entrenar un modelo de lenguaje en estos datos, AlphaGeometry logró resolver 25 de 30 problemas de geometría a nivel olímpico, acercándose al rendimiento humano. Este éxito sugiere que los sistemas neuro-simbólicos podrían ser una vía prometedora para abordar las limitaciones de los enfoques actuales de aprendizaje profundo, particularmente en áreas que requieren razonamiento complejo y resolución de problemas. 

Eficiencia y Escalabilidad: Temas Centrales. 

A medida que los modelos de IA continúan creciendo en tamaño y complejidad, la eficiencia y la escalabilidad se han convertido en temas centrales en la investigación de IA. El informe explora varias tendencias que abordan estos desafíos: 

• Reducción del tamaño del modelo: Los investigadores están explorando activamente técnicas para reducir el tamaño del modelo sin comprometer significativamente el rendimiento. Un equipo de Meta descubrió que eliminar hasta la mitad de las capas de un modelo resultaba en caídas de rendimiento insignificantes en las tareas de respuesta a preguntas. Estos hallazgos sugieren que los modelos actuales pueden ser innecesariamente grandes y que la reducción del tamaño podría mejorar la eficiencia y la accesibilidad. 

• Destilación del modelo: La destilación del modelo ha surgido como una técnica prometedora para crear modelos más pequeños y eficientes al transferir conocimiento de modelos más grandes. Google ha utilizado la destilación para producir versiones más pequeñas de sus modelos Gemini, mientras que Anthropic ha creado Claude 3 Haiku utilizando un proceso similar. Esta técnica permite a los investigadores aprovechar el poder de los modelos a gran escala mientras crean modelos más compactos y prácticos para la implementación. 

• El auge de los modelos móviles: Con el enfoque en la implementación de IA a gran escala, el desarrollo de modelos móviles de alto rendimiento se ha vuelto crucial. Microsoft phi-3.5-mini y Apple MobileCLIP ejemplifican esta tendencia, ofreciendo capacidades de razonamiento y respuesta a preguntas impresionantes mientras operan dentro de las limitaciones de los dispositivos móviles. El auge de los modelos móviles promete llevar la IA a una gama más amplia de aplicaciones y usuarios, ampliando aún más su impacto. 

• Avances en cuantificación: La cuantificación, una técnica para reducir los requisitos de memoria de los LLM, ha logrado resultados prometedores para la inferencia en el dispositivo. BitNet de Microsoft y TikTok de ByteDance demuestran que la cuantificación puede lograr un rendimiento competitivo con los modelos de precisión completa mientras reduce significativamente la huella de memoria. Este avance es particularmente significativo para habilitar la implementación de IA en dispositivos con recursos computacionales limitados. 

Datos sintéticos: Potencial y Preocupaciones. 

El informe examina el creciente uso de datos sintéticos en el entrenamiento de IA, reconociendo tanto su potencial como sus posibles inconvenientes: 

• El auge de la generación de datos sintéticos: Los datos sintéticos se están utilizando cada vez más para complementar o incluso reemplazar datos reales en el entrenamiento de IA. Se utilizó para entrenar la familia Phi, Claude 3 de Anthropic y para recrear el conjunto de datos de entrenamiento de Phi 1.5, lo que demuestra su versatilidad y eficacia. Los datos sintéticos ofrecen varias ventajas, incluyendo escalabilidad, control sobre las características de los datos y mitigación de problemas de privacidad. 

• Preocupaciones sobre el colapso del modelo: A medida que aumenta el uso de datos sintéticos, surge la preocupación por el «colapso del modelo», un fenómeno en el que los modelos entrenados en datos sintéticos pierden calidad con el tiempo. La investigación sugiere que el colapso del modelo puede ocurrir en varios arquitecturas de IA, destacando la necesidad de precaución. Sin embargo, los hallazgos también indican que el colapso generalmente se puede evitar si la proporción de datos sintéticos se mantiene bajo control, enfatizando la importancia de equilibrar datos reales y sintéticos en el entrenamiento. 

El poder de los datos web de alta calidad. 

El informe enfatiza la importancia crítica de los datos web de alta calidad para entrenar LLM eficaces. Hugging Face creó FineWeb, un conjunto de datos masivo de 15T tokens extraídos de instantáneas de CommonCrawl utilizando un proceso de filtrado de múltiples pasos para garantizar la calidad. Los LLM entrenados en FineWeb superan a los entrenados en otros conjuntos de datos abiertos, lo que demuestra el impacto significativo de los datos de alta calidad en el rendimiento del modelo. 

Las fronteras en expansión de la IA: 

El informe «Estado de la IA 2024» destaca la expansión continua de la investigación en IA en nuevos dominios y aplicaciones: 

• El Auge de la Robótica: Los grandes laboratorios de IA están reinvirtiendo en robótica, impulsados por el potencial de los LLM y los VLM para superar los cuellos de botella de datos y abordar los desafíos de usabilidad de larga data. El informe destaca el papel de Hugging Face en la reducción de las barreras de entrada al proporcionar modelos pre-entrenados, conjuntos de datos y demostraciones, fomentando la innovación y la colaboración dentro de la comunidad de robótica. Los modelos de difusión están impulsando las mejoras en la generación de políticas y acciones, mientras que los investigadores están explorando formas de mejorar la generalización de las políticas robóticas mediante el aprovechamiento de la información existente y las técnicas de razonamiento de cadena de pensamiento. El progreso en plataformas robóticas como Boston Dynamics’ Spot y la aparición de Apple Vision Pro como una herramienta de investigación esencial subrayan aún más el impulso creciente en robótica. 

• Avances en Biología de la IA: El informe destaca los avances notables en biología de la IA, particularmente con el lanzamiento de AlphaFold 3 por DeepMind e Isomorphic Labs. Este modelo innovador puede modelar interacciones complejas entre proteínas y otras biomoléculas, incluyendo fármacos de moléculas pequeñas, ARN, ADN y anticuerpos, abriendo nuevas vías para el descubrimiento y desarrollo de fármacos. La decisión de no publicar el código de AlphaFold 3 provocó controversia y estimuló una carrera para reproducir el modelo dentro de la comunidad de IA, lo que llevó a la aparición de alternativas de código abierto. DeepMind también presentó AlphaProteo, un modelo generativo capaz de diseñar aglutinantes de proteínas con una afinidad significativamente mejorada, lo que demuestra aún más el rápido progreso en este campo. 

• IA en las ciencias: El informe destaca la creciente aplicación de la IA en diversas disciplinas científicas, lo que ilustra su potencial transformador: 

• Ciencia de los materiales: Los modelos fundacionales están permitiendo avances en la comprensión y el diseño de materiales. MACE-MP-0, un modelo de paso de mensajes equivariante entrenado en el conjunto de datos Materials Project Trajectory, puede simular con precisión la dinámica molecular en una variedad de fases (sólida, líquida y gaseosa), allanando el camino para el descubrimiento de nuevos materiales con propiedades a medida. 

• Neurociencia: Los modelos fundacionales están arrojando luz sobre la actividad cerebral y los trastornos mentales. BrainLM, un modelo fundacional entrenado en horas de grabaciones de actividad cerebral humana, puede reconstruir y predecir la actividad cerebral, ofreciendo información sobre afecciones como el neuroticismo, el TEPT y el trastorno de ansiedad.  MindEye2, un modelo generativo, puede reconstruir imágenes visuales a partir de la actividad cerebral fMRI, abriendo nuevas vías para comprender la percepción visual y las interfaces cerebro-computadora. 

• Ciencias atmosféricas: Los modelos fundacionales están revolucionando las predicciones meteorológicas y atmosféricas. Aurora, desarrollado por investigadores de Microsoft, puede producir pronósticos para una amplia gama de problemas, incluyendo la contaminación del aire global y los patrones meteorológicos a medio plazo. Notablemente, Aurora es el primer modelo que predice con precisión la química atmosférica, superando los modelos numéricos tradicionales en velocidad y precisión. 

Reflexiones finales 

El informe «Estado de la IA 2024» presenta una visión convincente del panorama actual de la investigación en IA, destacando el progreso notable, los desafíos emergentes y las direcciones futuras prometedoras. La convergencia en el rendimiento del modelo, el cambio hacia la computación de inferencia, el auge de los modelos de código abierto y el enfoque en la eficiencia y la escalabilidad son tendencias que definen la trayectoria de la IA. La creciente aplicación de la IA en diversas disciplinas científicas subraya su potencial transformador, mientras que las preocupaciones sobre la contaminación de datos, la «apertura» del código abierto y el colapso del modelo enfatizan la necesidad de un desarrollo responsable y una evaluación rigurosa. A medida que la IA continúa avanzando, será crucial abordar estos desafíos y aprovechar su poder para el bien social. 

Podéis leer vosotros mismos el informe en el siguiente enlace: