MonsterHouse: интерактивная проекция на моделях NVIDIA Nemotron

30 октября 2026 года в блоге NVIDIA вышла статья Рика Гранди (Rick Grandy) и Мэриам Мотамеди (Maryam Motamedi) про проект MonsterHouse. Это интерактивная проекция к Хэллоуину: она слушает детей, которые приходят за конфетами (trick-or-treaters), и отвечает голосом ворчливого старого пиратского корабля. По описанию авторов, персонаж смягчается, если посетители ведут себя вежливо.

Стек собран на NVIDIA Nemotron Voice Agent. В него входят Nemotron ASR (распознавание речи), Nemotron 3.5 Bolt E4B на 4 ГБ, Magpie TTS Zeroshot (синтез речи без отдельной настройки под голос) и Audio2Face-3D (анимация лица по звуку). Всё работает на одной рабочей станции. Отличие от типичной голосовой демонстрации — не только диалог: ответы привязаны к анимированному лицу и к физической проекции, то есть к сцене перед дверью. В статье перечислены разделы про устройство Monster House, про «ухмылку в занозах», про обучение плохим манерам, про голос и про пульт управления монстром, но конкретных деталей реализации в присланном фрагменте нет.

На практике это пример сборки разговорного персонажа из готовых открытых моделей на одном компьютере, без отдельного кластера. Такой набор можно повторить для инсталляции, музейного экспоната или другого интерактивного объекта. Авторы также обещают раздел о том, как собрать собственного «неразумного» персонажа.

Что осталось неизвестным: точные задержки ответа, требования к железу рабочей станции и то, как именно персонаж определяет вежливость. Данных об этом в присланном фрагменте нет.