Игрок RomaPro227 построил прямо в Factorio языковую модель на 6,4 млн параметров — без модов и сторонних скриптов. Конструкция включает около 105 тыс. комбинаторов и 200 тыс. проводов, а ответы выводятся на табло из 8 тыс. ламп.
В основе лежит трансформер с 8 слоями, 8 головами внимания и контекстным окном на 256 символов. Комбинаторы выполняют математические операции: пара из арифметического и постоянного комбинаторов образует нейрон с 256 или 1024 входами. Веса модели хранятся в постоянных комбинаторах, а числовые векторы передаются по проводам.
Вопросы на английском языке вводятся вручную — по одному символу в ряду комбинаторов. При 60 обновлениях игры в секунду модель выдаёт примерно один символ за 7 секунд. Генерация текста из 100 символов занимает почти 12 минут без учёта обработки входных данных.
Несмотря на такую скорость, нейросеть умеет отвечать на вопросы о Factorio, сочинять короткие истории и шутить, хотя иногда ошибается и повторяется.
Автор опубликовал на GitHub сохранение мира с нейросетью, её веса и инструкцию по запуску. Там же доступна Python-версия модели, которую можно запустить за пределами игры. Для работы самой конструкции нужны Factorio 2.0 и дополнение Space Age.
