AI Paper Reading Club - Benchmarking - Measuring Massive Multitask Language Understanding (MMLU) | S01E06

GDG Ourense

En esta sexta sesión, cerramos por todo lo alto la primera temporada de nuestro AI Paper Reading Club con un tema crucia...

Jul 14, 7:00 – 8:00 PM (CEST)

7 RSVP'd

Key themes

AICareer DevelopmentTech Talk / Meetup

About this event

En esta sexta sesión, cerramos por todo lo alto la primera temporada de nuestro AI Paper Reading Club con un tema crucial para el ecosistema actual de la IA: el Benchmarking.

Debido a los tiempos vacacionales, hemos retrasado una semana su puesta a punto, ¡pero la espera ha valido la pena! Nos sumergiremos en el análisis de uno de los artículos de evaluación más influyentes de la industria: Measuring Massive Multitask Language Understanding (MMLU).

Este revolucionario paper introdujo el benchmark MMLU, un examen de conocimiento masivo diseñado para evaluar la efectividad de los modelos de lenguaje a través de 57 materias distintas, que abarcan desde las ciencias STEM y las ciencias sociales hasta las humanidades. Durante la sesión, exploraremos cómo esta métrica evalúa tanto el conocimiento del mundo real como la capacidad de resolución de problemas, convirtiéndose en el estándar de oro para medir las capacidades de los LLMs modernos.

Desde GDG Ourense y GDG A Coruña os animamos a apuntaros. Este club no solo es una oportunidad para estar al día de los avances más punteros y fundacionales de la IA, sino también para conectar con una comunidad vibrante de profesionales y entusiastas del Machine Learning.
Este evento está diseñado para todos: investigadores, estudiantes, profesionales del sector o simplemente personas con pasión por la inteligencia artificial.

Únete a nuestra comunidad de aprendizaje, comparte tus ideas y participa en discusiones que te desafiarán y te inspirarán.
Al finalizar la sesión, tendremos un espacio para preguntas y debate.

¡Te esperamos!

Speaker

  • Brais Fontán Costas

    CTAG

    Machine Learning Engineer

Moderators

  • Rubén Fernández Boullón

    Universidade de Vigo

    PhD Student | AI & Mech. Interp

  • Cristina Correa

    MBZUAI

    Research Engineer

Host

  • Cesáreo González Rodríguez

    ViewNext

    Data Quality Analyst

Organizers

  • Rubén Fernández

    Vigo University

    Lead

  • Cesáreo González Rodríguez

    ViewNext

    Lead

  • Manuel Alonso Carracedo

    Universidade de Vigo

    Lead

  • Gabriel Fontán Rodiño

    Organizer

  • Luis Garbayo

    Organizer

  • Iker Chouza Pose

    Organizer

  • Marta González González

    Collaborator

  • Rosalía Garrido García

    Collaborator

  • Brais Fontán

    CTAG

    Collaborator

  • Javier Pérez Robles

    Universidade de Vigo, LIA2

    Collaborator

  • David Asensio Ortiz de Pinedo

    Collaborator

  • Carlos Manuel Fernandez Feijoo

    Assistant

  • Jacobo Montero Naranjo

    Assistant