En esta sexta sesión, cerramos por todo lo alto la primera temporada de nuestro AI Paper Reading Club con un tema crucial para el ecosistema actual de la IA: el Benchmarking.

Debido a los tiempos vacacionales, hemos retrasado una semana su puesta a punto, ¡pero la espera ha valido la pena! Nos sumergiremos en el análisis de uno de los artículos de evaluación más influyentes de la industria: Measuring Massive Multitask Language Understanding (MMLU).

Este revolucionario paper introdujo el benchmark MMLU, un examen de conocimiento masivo diseñado para evaluar la efectividad de los modelos de lenguaje a través de 57 materias distintas, que abarcan desde las ciencias STEM y las ciencias sociales hasta las humanidades. Durante la sesión, exploraremos cómo esta métrica evalúa tanto el conocimiento del mundo real como la capacidad de resolución de problemas, convirtiéndose en el estándar de oro para medir las capacidades de los LLMs modernos.

Desde GDG Ourense y GDG A Coruña os animamos a apuntaros. Este club no solo es una oportunidad para estar al día de los avances más punteros y fundacionales de la IA, sino también para conectar con una comunidad vibrante de profesionales y entusiastas del Machine Learning.
Este evento está diseñado para todos: investigadores, estudiantes, profesionales del sector o simplemente personas con pasión por la inteligencia artificial.

Únete a nuestra comunidad de aprendizaje, comparte tus ideas y participa en discusiones que te desafiarán y te inspirarán.
Al finalizar la sesión, tendremos un espacio para preguntas y debate.

¡Te esperamos!