tgoop.com/savostyanov_dmitry/507
Last Update:
Game Assistant
Пишу себе на досуге голосового помощника для игр. Идея простая, всегда приятнее играть в компании товарища-задрота, который может подсказать по игре. Типа заходишь такой в абилити драфт в дотке, спрашиваешь как работают скиллы после патча, что с чем закомбинить, а он тебе выдает имбу.
Прототип написал за пару присестов. Далеко ходить не стал, для распознавания речи использую Whisper, для ответов GPT, для синтеза речи OpenAI text-to-speech.
На бекенде в ChatGPT зарядил задачи по написанию конфигов для GCP, Docker, Nginx. Самому оставалось только апишку накидать, и даже здесь мне помогал Copilot, который явно лучше меня знает FastAPI.
На фронте позвал товарища, который написал апку на Overwolf — аналог Electron.js, только с фичами для игр типа оверлея и доступа к данным.
На выходе получилось приложение под Windows, которому можно задавать вопросы в играх по нажатию push-to-talk хоткея. Ответ возвращает голосом + субтитрами поверх игры.
Поигравшись с прототипом 5 минут, стали очевидны следующие шаги:
- GPT-4 тратит по 20 сек на генерацию ответа, что вообще не user friendly, потому что пользователь в это время тупо ждёт. Повод посмотреть че там новенького в open source
- LLM допускает ошибки, например выдает неправильный урон или поведение из прошлых патчей. Повод прикрутить поиск по игровым wiki
- OpenAI TTS на русском языке звучит кринжово. Благо есть куча стартапов на эту тему, надо будет посмотреть аналоги
Самое приятное во всей истории с AI, LLM, ко-ко-ко, что за выходные успеваешь и прототип сделать, и в дотку покатать, вместо того чтобы документацию штудировать.
BY Дмитрий Савостьянов Вещает
Share with your friend now:
tgoop.com/savostyanov_dmitry/507