ИИволюция 👾

Мои мысли:

- Это пока это preview (сырая штука и делаем поблажки), поэтому раскатывают только на Pro и только в США. Соберут фидбек, подтюнят, улучшат и будут раскатывать дальше. Обещают постепенно выпускать разных агентов, в том числе для работы в ОС.

- Нравится: можно запускать несколько задач. Вот это прям круто!

- Не нравится: на каждое важное действие требуется одобрение пользователя, а хотелось бы более умного подхода в роли ассистента. Я ведь чётко сказал «забронируй столик на 6 в ресторане Х», зачем он спрашивает что-то в духе «Вы уверены? Точно бронировать?».

На видео видно, что пока агент пытается забронировать столик в ресторане, он два раза просит подтвердить действие. Это занимает время (особенно если пользователь отвлёкся на другие задачи), и пока агент ждал одобрения, кто-то другой увёл столик, и пользователь потерял больше времени, чем если бы он сделал всё сам.

Вариабельность. На видео модель оформляет список покупок, видит в списке нужный товар (первый в списке) и добавляет его в корзину, хотя рядом, вероятно, были более дешёвые или более качественные варианты. Нужно пощупать руками, но пока в запросе пользователь скорее должен больше конкретики указывать, например, какие именно яйца нужно добавлять в корзину.

Если перехватить управление, то агент не видит того, что вы сделали или изменили, и вам нужно вручную описать ему: «Я изменил даты вылета/добавил другие яйца. Продолжай». Понятно, что сейчас «зрение» основано на скриншоте (распознал на нём всё), а хочется, чтобы это работало как видеопоток.

Официально агент не решает капчи (но это только официально; ниже покажу пример, как умельцы уже обманывают его).

Агент не сможет пойти проверить вашу почту и ответить на письма. Но в реальности этот кейс гораздо интереснее, чем забронировать столик в ресторане. Почему в любой демонстрации агентов всегда первым делом бронируют столик в ресторане? Тем более всё равно мне нужно несколько раз давать своё согласие.

Ждём раскатки на Plus и доступ в API.

А ещё хотелось бы использовать это в Advanced Voice Mode, чтобы работать как с ассистентом. Пусть ищет мне столик в ресторане, спрашивает подтверждения (тут человек меньше отвлекается, ведь достаточно сказать «да» и продолжить заниматься своими делами).

И да, чтобы выполнять рутинные задачи, нужны более умные ассистенты, подключающиеся к моим аккаунтам, данным, документам и прочему. Мне условно хочется показать агенту форму отчёта, которую я сам уже ранее заполнял, указать, где брал все эти данные, а он, чтобы регулярно повторял эти действия и делал всю рутину за меня, уведомляя о готовности и делая краткие выводы.

В общем, начало положено (OpenAI не первые в этом, но, как заявляют, их агент пока более точно выполняет команды, чем у конкурентов).

А вы что думаете?

ИИволюция

www.tgoop.com/ai_volution/911

2.3K viewsСергей Пахандрин, Jan 24 at 06:07

Мои мысли:

- Это пока это preview (сырая штука и делаем поблажки), поэтому раскатывают только на Pro и только в США. Соберут фидбек, подтюнят, улучшат и будут раскатывать дальше. Обещают постепенно выпускать разных агентов, в том числе для работы в ОС.

- Нравится: можно запускать несколько задач. Вот это прям круто!

- Не нравится: на каждое важное действие требуется одобрение пользователя, а хотелось бы более умного подхода в роли ассистента. Я ведь чётко сказал «забронируй столик на 6 в ресторане Х», зачем он спрашивает что-то в духе «Вы уверены? Точно бронировать?».

На видео видно, что пока агент пытается забронировать столик в ресторане, он два раза просит подтвердить действие. Это занимает время (особенно если пользователь отвлёкся на другие задачи), и пока агент ждал одобрения, кто-то другой увёл столик, и пользователь потерял больше времени, чем если бы он сделал всё сам.

Вариабельность. На видео модель оформляет список покупок, видит в списке нужный товар (первый в списке) и добавляет его в корзину, хотя рядом, вероятно, были более дешёвые или более качественные варианты. Нужно пощупать руками, но пока в запросе пользователь скорее должен больше конкретики указывать, например, какие именно яйца нужно добавлять в корзину.

Если перехватить управление, то агент не видит того, что вы сделали или изменили, и вам нужно вручную описать ему: «Я изменил даты вылета/добавил другие яйца. Продолжай». Понятно, что сейчас «зрение» основано на скриншоте (распознал на нём всё), а хочется, чтобы это работало как видеопоток.

Официально агент не решает капчи (но это только официально; ниже покажу пример, как умельцы уже обманывают его).

Агент не сможет пойти проверить вашу почту и ответить на письма. Но в реальности этот кейс гораздо интереснее, чем забронировать столик в ресторане. Почему в любой демонстрации агентов всегда первым делом бронируют столик в ресторане? Тем более всё равно мне нужно несколько раз давать своё согласие.

Ждём раскатки на Plus и доступ в API.

А ещё хотелось бы использовать это в Advanced Voice Mode, чтобы работать как с ассистентом. Пусть ищет мне столик в ресторане, спрашивает подтверждения (тут человек меньше отвлекается, ведь достаточно сказать «да» и продолжить заниматься своими делами).

И да, чтобы выполнять рутинные задачи, нужны более умные ассистенты, подключающиеся к моим аккаунтам, данным, документам и прочему. Мне условно хочется показать агенту форму отчёта, которую я сам уже ранее заполнял, указать, где брал все эти данные, а он, чтобы регулярно повторял эти действия и делал всю рутину за меня, уведомляя о готовности и делая краткие выводы.

В общем, начало положено (OpenAI не первые в этом, но, как заявляют, их агент пока более точно выполняет команды, чем у конкурентов).

А вы что думаете?

ИИволюция

BY ИИволюция 👾