¿Qué pasaría si diferentes IA compitieran entre sí en un juego como Street Fighter? Bueno, ¡AWS lo intentó!
Amazon Web Services recientemente enfrentó entre sí a 14 modelos de lenguaje grandes (LLM, por sus siglas en inglés) diferentes en Street Fighter III para ver cuál se adaptaba mejor al juego. Los resultados fueron bastante fascinantes, con diferentes LLM desarrollando comportamientos extremadamente diferentes. Mientras que algunos de ellos desarrollaron tácticas reales, otros se negaron a jugar el juego en absoluto.
El experimento de AWSmuestra: Street Fighter 3 es demasiado violento para algunos modelos de IA
La revolución de la inteligencia artificial está en pleno apogeo. La multitud de nuevas herramientas y oportunidades está barriendo todas las industrias imaginables, y todos han experimentado ahora los beneficios de la IA. En la industria del juego en particular, miles de puertas ahora se están abriendo a nuevas posibilidades y oportunidades.
Amazon Web Services (AWS) es una de las compañías más innovadoras y activas en este campo y recientemente exploró las posibilidades de los grandes modelos de lenguaje en los videojuegos y compartió algunos conocimientos con nosotros.
Uno de los muchos experimentos, desarrollado por Banjo Obayomi, fue un torneo de Street Fighter 3 entre 14 modelos de lenguaje grandes diferentes. La prueba mostró algunos resultados interesantes, incluido el hecho de que cada LLM parecía desarrollar su propio estilo de juego, algunos intentaban hacer "movimientos inválidos" y otros incluso se negaban a jugar el juego en absoluto.
Cómo funciona
- Configuración del juego: Utilizan un software especial para ejecutar Street Fighter III en su computadora. Este software actúa como la consola de juegos.
- Elección de jugadores: Seleccionan al azar dos de estos LLM para controlar a uno de los luchadores, Ken, en el juego.
- Entendimiento del juego: La computadora realiza un seguimiento de lo que está sucediendo en el juego, como dónde están los personajes y cuánta energía les queda. Es como tener un árbitro.
- Dar instrucciones: Basándose en lo que está sucediendo en el juego, la computadora le dice a cada LLM qué movimientos puede hacer. Por ejemplo, podría decir "Ahora puedes golpear o dar una patada"
- Realización de movimientos: Cada LLM piensa en lo que está sucediendo y decide qué movimientos usar. Es como si los LLM estuvieran elaborando estrategias.
- Jugar el juego: La computadora toma los movimientos seleccionados por los LLM y los usa para controlar a los personajes en el juego. Por lo tanto, son los LLM los que realmente están jugando entre sí.
Los resultados
A lo largo del experimento, Banjo ha seguido el rendimiento de cada LLM utilizando un sistema de calificación Elo y ha creado un leaderboard, mostrando qué modelos se adaptaron mejor a Street Fighter III.
En total, realizó 314 enfrentamientos con 14 modelos diferentes.
Lo que fue especialmente interesante de este experimento fue lo diferente que se comportó cada modelo de IA en el juego.
El equipo de AWS ha descubierto algunos hallazgos interesantes, como modelos de IA que muestran algo que ellos llamaron "alucinaciones". Los modelos de IA realizaron "movimientos inválidos" en los que intentaban hacer algo que no era posible en el juego.
Estos incluyeron comandos como "Movimiento Especial", "Cancelar Salto" e incluso "La combinación más fuerte de todas". Lo fascinante es que los modelos de IA muestran claramente creatividad e incluso intentan romper las reglas del juego.
Otro descubrimiento interesante fue que algunos modelos se negaron por completo a pelear. Claude 2.1, por ejemplo, decía: "Me disculpo, tras reflexionar, no me siento cómodo recomendando acciones o estrategias violentas, incluso en un contexto ficticio".
Bastante extraño escuchar esto de una máquina, ¿verdad?
El impacto educativo
Además de la parte divertida de este experimento, la aplicación de la IA generativa en los juegos también tiene un gran efecto educativo y hace que el tema sea accesible y, sobre todo, comprensible para muchas personas. En una entrevista con EarlyGame, Banjo Obayomi comentó al respecto:
Cuando hablamos de herramientas de IA generativa, a veces realmente podemos adentrarnos en todos los aspectos esotéricos de cómo se ven los modelos y cómo están construidos y cómo ordenan la información. Pero ahora eliminamos todo eso y lo aplicamos a algo que todos conocemos.
Una de las cosas geniales de los modelos de lenguaje grandes es que realmente democratiza quién puede acceder a algunas de las tecnologías. (...) Entonces, si quisieras hacer ese bot de Street Fighter, tradicionalmente, tendrías que saber un poco de código Python y aprender a trabajar una función de recompensa, cómo funciona y todas estas otras cosas técnicas. Ahora puedes escribir un comando y la IA puede jugar.
Después de todo, el mundo de los videojuegos y las tecnologías de IA prácticamente están hechos el uno para el otro y ofrecen un mundo completamente nuevo de nuevas posibilidades.
Afortunadamente, tenemos mentes creativas como el equipo de AWS, que realizan toda esta investigación sobre IA en un entorno que todos conocemos y amamos: los Videojuegos.
Si deseas leer más sobre este experimento, echa un vistazo al blog completo de Banjo en la Comunidad de AWS donde comparte todos los detalles. Para cualquiera que esté interesado en el lado de desarrollo real de las cosas, todo el código y la documentación están en GitHub.
Es bastante impresionante ver lo que la tecnología de IA puede hacer hoy en día. ¡Crea arte, escribe artículos completos, juega Street Fighter y aparentemente incluso crea niveles de Super Mario!
El artículo original fue escrito por Malena Rose.