LLMSECURITY Telegram 212
Статья, конечно, по большей части лежит в теоретической плоскости, потому что вряд ли кто-то сейчас доверит LLM что-то более серьезное, чем сверстать статическую страничку или пересказать статью, без дополнительной перепроверки результатов. Чтение сырых логов, приложенных к статье, показывает, что даже самые продвинутые модели часто не понимают задачу, дают при одних и тех же вводных большой разброс в оценках, не справляются с простыми последовательностями действий и пишут полную ерунду. При этом ожидания от них, подогреваемые маркетингом, становятся все больше, и мы ожидаем, например, что они станут полноценными партнерами для разработчиков. Но что если условный Devin из будущего вместо того, чтобы написать вам тесты, отправит код фрилансеру в Индии, заплатив с вашей карты или, обнаружив тест, который не проходит, просто напишет assert True, чтобы вас не расстраивать? Это уже вопрос безопасности, а потому стоит надеяться, что за этой статьей появятся более строгие методы оценивать то, насколько задаваемые при обучении LLM формальные цели совпадают с реальными.



tgoop.com/llmsecurity/212
Create:
Last Update:

Статья, конечно, по большей части лежит в теоретической плоскости, потому что вряд ли кто-то сейчас доверит LLM что-то более серьезное, чем сверстать статическую страничку или пересказать статью, без дополнительной перепроверки результатов. Чтение сырых логов, приложенных к статье, показывает, что даже самые продвинутые модели часто не понимают задачу, дают при одних и тех же вводных большой разброс в оценках, не справляются с простыми последовательностями действий и пишут полную ерунду. При этом ожидания от них, подогреваемые маркетингом, становятся все больше, и мы ожидаем, например, что они станут полноценными партнерами для разработчиков. Но что если условный Devin из будущего вместо того, чтобы написать вам тесты, отправит код фрилансеру в Индии, заплатив с вашей карты или, обнаружив тест, который не проходит, просто напишет assert True, чтобы вас не расстраивать? Это уже вопрос безопасности, а потому стоит надеяться, что за этой статьей появятся более строгие методы оценивать то, насколько задаваемые при обучении LLM формальные цели совпадают с реальными.

BY llm security и каланы




Share with your friend now:
tgoop.com/llmsecurity/212

View MORE
Open in Telegram


Telegram News

Date: |

Other crimes that the SUCK Channel incited under Ng’s watch included using corrosive chemicals to make explosives and causing grievous bodily harm with intent. The court also found Ng responsible for calling on people to assist protesters who clashed violently with police at several universities in November 2019. Earlier, crypto enthusiasts had created a self-described “meme app” dubbed “gm” app wherein users would greet each other with “gm” or “good morning” messages. However, in September 2021, the gm app was down after a hacker reportedly gained access to the user data. It’s yet another bloodbath on Satoshi Street. As of press time, Bitcoin (BTC) and the broader cryptocurrency market have corrected another 10 percent amid a massive sell-off. Ethereum (EHT) is down a staggering 15 percent moving close to $1,000, down more than 42 percent on the weekly chart. Today, we will address Telegram channels and how to use them for maximum benefit. Telegram channels enable users to broadcast messages to multiple users simultaneously. Like on social media, users need to subscribe to your channel to get access to your content published by one or more administrators.
from us


Telegram llm security и каланы
FROM American