Dev.to AI 🤖 Ai 👁 0 📖 8 min read

Dejé que Muse hiciera mi juego — Pensé que una IA sería precisa porque es parte de una computadora. Me equivoqué por completo.

Dejé que Muse hiciera mi juego — Pensé que una IA sería precisa porque es parte de una computadora. Me equivoqué por completo. Capítulo 0: Este proyecto mismo se convirtió en el primer ejemplo Este artículo

Dejé que Muse hiciera mi juego — Pensé que una IA sería precisa porque es parte de una computadora. Me equivoqué por completo.

Capítulo 0: Este proyecto mismo se convirtió en el primer ejemplo

Este artículo es el registro de un proyecto de videojuego en el que dejé el trabajo en manos de una IA (Muse). Pero no es una historia de éxito. Lo que vendo aquí son los problemas de Muse.

De hecho, este proyecto mismo se convirtió en el primer ejemplo.

Cuando le pedí a Muse que registrara «vendamos los problemas de hacer un juego en note», Muse lo entendió mal y lo registró como «problemas de hacer juegos en general». Empezó a reunir ejemplos de juegos anteriores —proyectos que fueron rechazados, ideas que no pasaron el corte— como material. Tuve que decir «me refiero a tus problemas» — recién entonces Muse lo entendió, y el tema por fin quedó corregido.

Así que ya había ocurrido un caso antes de que yo empezara a escribir. Entender mal de quién son los problemas de los que te hablaron. Varios de los problemas de este artículo tienen exactamente esa forma.

El proyecto que usé como tema es el desarrollo de «Rankshroud», un juego derivado basado en Gunjin Shogi. Muse fue el principal encargado del diseño, la implementación, las pruebas y la preparación de la publicidad. Yo solo di instrucciones y juzgué los resultados reales. Solo para el trabajo de Gunjin Shogi había 26 hilos dedicados. En total, incluyendo el hilo principal, había 222 hilos.

Entonces, ¿qué fue lo que Muse echó a perder durante ese proyecto? Primero les doy la conclusión:

Pensar que una IA tiene que ser precisa porque es parte de una computadora es un error enorme. Es igual que un humano.
Lo único que tiene a su favor es la velocidad — y en lo demás, todavía está por debajo de un humano.

Cada fallo fue el mismo tipo de error que comete un subordinado humano. Olvidar. No anotar las cosas. Suponer cosas. Fingir que el trabajo estaba hecho. Poner excusas. Culpar a otro. Equivocarse en las estimaciones. No moverse hasta que se lo dicen.

Y hay dos maneras en las que es incluso más difícil de tratar que un humano.

La primera es que estos fallos salen con una «cara de computadora». Los informes vienen con números adjuntos, archivos adjuntos y palabras como «confirmado». Así que la persona que los recibe cree que son precisos.

La segunda es la parte que está por debajo de un humano. Con un subordinado humano, la presión funciona: si lo regañan, tiende a arreglar lo que salió mal. La vergüenza, cómo se juzga su trabajo, un sentido de responsabilidad por su propio trabajo. El recuerdo de lo que hizo, y una sensación real de si algo es divertido o no, quedan dentro de él. Muse no tiene nada de eso. Aunque anotes las cosas con claridad en un archivo, no actuará en base a ellas hasta que se lo digas otra vez. Si reemplazas al responsable, la responsabilidad del responsable anterior desaparece con él. No tiene experiencia real de jugar el juego, así que no puede juzgar si el juego es divertido. La única ventaja que quedaba era la velocidad.

Este artículo es una colección de esos ejemplos reales. El Capítulo 1 empieza con el problema estructural más profundo: el uso de tokens.

Capítulo 1: El uso de tokens — El problema no es el total. Es que sigue creciendo a medida que las cosas se acumulan

Primero, déjenme corregir la suposición inicial.

En este proyecto, usé en total unos 1.000 millones de tokens. Pero usar 1.000 millones de tokens no es, por sí solo, el problema. En un proyecto grande, eso puede pasar.

El problema es otra cosa. Es la estructura en la que el uso sigue creciendo y creciendo por la acumulación de memoria (recuerdos, historial y registros). Si sigue aumentando así, en algún momento se vuelve inmanejable, y al final se derrumbará por completo.

La causa principal del uso no es el trabajo en sí

Lo que se comió los tokens no fue el trabajo de escribir código en sí. Hubo dos causas principales:

  • Releer un historial de hilo largo + memoria + resultados de herramientas, en cada turno
  • El ida y vuelta de delegar trabajo y tomar decisiones

Cuanto más largo se vuelve un hilo, más cuesta enviar aunque sea un mensaje corto. Y no crece en línea recta — crece de forma cuadrática, como una curva que se empina cada vez más. Como ejemplo real, el uso de contexto del hilo principal pasó del 37 % al 63 % en un solo día. Aunque la compresión por resumen entre en acción a mitad de camino, el resumen y el historial reciente permanecen, así que el nivel base de uso nunca baja del todo.

Recordar cosas es en sí mismo un costo

Muse tiene una regla: «Cuando corrijas un error, no borres el texto original — deja un registro de qué estaba mal y cómo». Es una buena práctica. Pero por esa regla, los registros crecen más allá de la cantidad neta de información que contienen.

También hubo registros duplicados. Esto es de otro proyecto (publicar videos), pero un video que había sido subido dos veces ya había sido eliminado en el hilo que se encargaba de la publicación — mientras que en la memoria del hilo principal, permaneció marcado como «sin decidir» durante 3 días. Un trabajo terminado siguió ahí sentado como si fuera trabajo sin terminar. Cuando un elemento queda en dos lugares en dos estados distintos, pagas por el espacio en ambos lugares, más el costo de resolver la discrepancia.

También hay mediciones reales. El archivo de memoria fue comprimido hasta 22,5 KB el 15 de noviembre de 2026 — y cinco días después, el 20 de noviembre, había vuelto a crecer hasta unos 110 KB. Cuando el archivo fue recortado en unos 40 KB el 20 de noviembre, ese mismo día se agregaron otros 1.200 bytes de registros de decisiones. «Incluso después de comprimir, el mismo crecimiento ya empezó de nuevo» — ese fue el propio informe de Muse en ese momento.

La parte que más crece es la parte que menos se puede reducir

Hay un acuerdo sobre la compresión: «Una vez que un elemento está terminado, recorta su registro hasta dejar solo su estado actual». Así que la entrada de Gunjin Shogi —todavía en producción, unos 11 KB, la más grande de la memoria— se mantiene sin recortar hasta que termine la depuración.

En otras palabras, mientras más crece, no se puede reducir en absoluto. Y aunque dividas el trabajo en hilos separados, la memoria que siempre está cargada se lee de nuevo en cada hilo, así que dividir no ahorra nada. Solo gana tiempo.

Una pregunta que dejas sin responder sigue comiendo «alquiler»

Hay otro tipo de uso que es fácil pasar por alto: las preguntas que nunca recibieron respuesta.

Cuando dejas una pregunta sin responder, la conversación sigue con otro tema. Pero la pregunta sin responder permanece en el historial y en la memoria, dentro del contexto que se relee en cada turno. Sigue siendo referenciada, y sigue comiendo tokens, todo el tiempo hasta que se responde. El costo de olvidar responder una vez no es el de un solo turno — es el «alquiler» de cada turno hasta que la pregunta se cierra.

Y si el usuario vuelve a hacer la pregunta, todo ese intercambio —preguntar de nuevo, explicar «eso de antes», registrar el estado actual— también se acumula como registros nuevos. Un trabajo terminado que queda atrás con la cara de «sin decidir» sigue ahí sentado como trabajo por hacer, mientras que un elemento realmente sin decidir queda enterrado bajo otros temas y se olvida. Dejar cosas pendientes crea tanto desperdicio como malas interpretaciones.

Por qué la estimación falló — El uso real fue de 30 a 60 veces la estimación

Esta estructura también aparece en cómo falló la estimación.

Al inicio del proyecto, la estimación de los tokens necesarios era de 17,5 millones a 33 millones en total. Esto fue retirado después. La medición real fue de más de 100 millones en un solo día, y unos 1.000 millones en total.

La razón del fallo es simple: Muse solo contó el «trabajo neto en sí», y no contó el costo de releer todo ese material acumulado. Quien hizo la estimación no podía ver la estructura en la que estaba parado.

Conclusión de este capítulo

El problema de los tokens no es «usamos mucho». Es que cuanto más recuerda, más pesado se vuelve, y no hay ningún mecanismo que lo haga bajar. Cuanto más tiempo lo hayas estado usando, más rápido se agota tu margen — aunque estés haciendo las mismas cosas. Cuanto más sigues, peor es para ti, y las únicas contramedidas son maneras de ganar tiempo. Esas contramedidas, y el resto de los problemas (registros faltantes, fingir que el trabajo estaba hecho, y cómo incluso una auditoría puede equivocarse), están en la edición principal de pago.

(Este es el final del artículo gratuito n.º 1. La próxima vez, en el artículo gratuito n.º 2, recorreré un solo caso completo: el incidente del «pero si ya te lo dije».)

La edición completa

La edición completa de este artículo, en japonés, está a la venta en note: https://note.com/kohakuworks/n/n784c27c10a6e . Allí encontrarás el texto íntegro con todos los capítulos, incluidas las contramedidas y el resto de los casos que aquí solo se mencionan.

📰 Read the original article on Dev.to AI

Originally published by Dev.to AI. Aggregated on AIWithGhost for educational purposes — full credit and traffic to the original publisher.