Microsoft lanza una IA que genera gráficos y gameplay de videojuegos

Microsoft ha desarrollado una IA que puede generar gráficos y jugabilidad para videojuegos. El modelo, conocido como Muse, es capaz de predecir imágenes, simular entradas y producir secuencias de juego coherentes. El trabajo es un desarrollo en conjunto entre Microsoft y Ninja Theory, uno de los estudios first party de Xbox responsable de la saga Hellblade.

De acuerdo con una publicación en la revista Nature, Muse es el nombre del primer modelo WHAM (World and Human Action Model) desarrollado por Microsoft. De acuerdo con los investigadores, Muse integra modelos espacio-temporales para capturar la dinámica de los videojuegos modernos. Esto es posible gracias a un extenso entrenamiento con datos de cientos de miles de partidas humanas.

A diferencia de las técnicas tradicionales de generación procedural, que utilizan reglas predefinidas, Muse aprende directamente de las partidas humanas, lo que le permite generar imágenes de juego realistas y entradas de control correspondientes con alta fidelidad. Para ello, Microsoft ha echado mano de un conjunto de datos que incluye más de 500.000 partidas de Bleeding Edge, un multijugador de 4 vs. 4 desarrollado por Ninja Theory.

Los desarrolladores extrajeron los datos de sesiones de juego durante siete años, cubriendo los siete mapas de juego. Esto dio como resultado el «7 Maps dataset» un conjunto que sirve como base para entrenar el modelo WHAM más extenso, que opera con 1.600 millones de parámetros y una longitud de contexto de 1 segundo. Cada fotograma se codifica en 540 tokens con una resolución de 300×180 píxeles.

Muse representa un nuevo paradigma para el desarrollo de videojuegos

Si alguna vez te has preguntado por qué algunos juegos recaban datos de tus sesiones, Muse es la respuesta. Aunque en la mayoría de los casos se utilizan para estudiar los patrones de juego y mejorar los fallos en parches a futuro, algunos estudios lo llevan al siguiente nivel. El uso de un conjunto de datos con sesiones reales ha permitido a Muse crear entornos definidos por tres características: consistencia, diversidad y persistencia.

La consistencia mantiene la coherencia entre los fotogramas generados y las acciones del jugador, mientras que la diversidad preserva la distribución estadística de imágenes de juego y entradas. Por último, la persistencia —una característica clave para el diseño interactivo—permite al modelo incorporar modificaciones del usuario en las secuencias generadas.

Para mostrar las capacidades de la IA, los investigadores desarrollaron el WHAM Demonstrator, una herramienta interactiva que proporciona una interfaz visual para interactuar con el modelo. Los usuarios pueden solicitar la selección de estados iniciales del juego, una modificación de fotogramas o la introducción de datos de control para guiar la evolución del juego.

Los primeros resultados son prometedores y permiten generar secuencias de jugabilidad que mantienen la física, animaciones de los personajes e interacciones con el entorno. Los investigadores mencionan que su herramienta tiene capacidad para generar ramas alternativas de juego. Los usuarios pueden experimentar con diferentes secuencias, volver a fotogramas anteriores o introducir nuevos elementos de juego, aprovechando la persistencia del modelo.

El modelo de IA de Microsoft puede adaptarse a cualquier juego o simulación

Muse no está sujeto a un género específico. Su capacidad de inferir las estructuras de forma autónoma sugiere que podría adaptarse a cualquier juego existente o en desarrollo. Más allá de los videojuegos, los ingenieros de Microsoft mencionan que la arquitectura de WHAM podría tener aplicaciones en robótica, simulaciones de entrenamiento y entornos en donde la predicción de interacciones humanas es crucial.

«Para Xbox, los principios que impulsan nuestro enfoque de la IA son crear más valor para los jugadores y los creadores de juegos, llevar más juegos a más personas en todo el mundo y reconocer que el desarrollo de un gran juego siempre se basará en la visión y el arte del creador. Creemos que la IA generativa tiene el potencial de mejorar esta creatividad y desbloquear nuevas posibilidades.»

Fatima Kardar, vicepresidenta corporativa de IA para juegos en Microsoft.

Tras la publicación del estudio, Microsoft anunció que abrirá el acceso a los pesos abiertos de Muse, la herramienta WHAM Demonstrator y los datos de ejemplo para que la comunidad experimente con ellos. La compañía tiene planes de liberarlos a los consumidores finales a través de Copilot Labs en un futuro, mientras que los desarrolladores de juegos tendrán la opción de añadirlos a su flujo de trabajo.