LLMSECURITY Telegram 283
В заключении авторы отмечают, что большая таксономия – это хорошо, чем больше ограничений есть в политике использования системы, тем лучше, и выражают надежду, что их работа станет основной для улучшения недостаточно подробных политик, нормативных актов и бенчмарков.

Несмотря на большую глубину этой работы и мое искреннее восхищение людьми, которые разобрались в китайской нормативке, контекст этой работы вызывает определенную тревогу. Стэнфорд через их think-tank RegLab или напрямую через задействование экспертов HAI/CRFM, вероятно, участвовал в разработке Указа («Америка снова готова стать лидером в ИИ» – гордо написано в блоге HAI, кроме того, применение в нем термина «фундаментальные модели» намекает). Сам Указ – совершенно блестящий по понятиям США документ, в котором заявляется, что любая компания должна получать лицензию на обучение достаточно больших моделей, модели должны проверяться на демократичность, а провайдеры облачной инфры должны контролировать, не обучают ли китайцы, которым уже пару лет как запретили покупать нормальные GPU, модели, которые не дают разрушать национальное единство (разумеется, все эти требования не применяются к американской оборонке – им можно тренировать любые модели, не переживая за trustworthiness в каком-нибудь автономном дроне-камикадзе). Таким образом, исследование может стать основой для будущих обязательных проверок на compliance в рамках гослицензирования: подходит ваша модель под конкретизированные в 314 пунктах требования безопасности, которые в общих чертах выражены в AI-регуляторике, или нет, что может вызывать еще большую тревогу, учитывая склонность американского законодателей к экстерриториальности. Virtue AI (пять авторов статьи оттуда), кстати, услуги проверки AI-моделей на compliance уже предоставляют.

На мой взгляд, ничего плохого в проверке и сертификации систем, в том числе со стороны регулятора, на безопасность нет, особенно в системах с высоким риском неправильного решения, и именно поэтому нам нужны надежные открытые бенчмарки, по которым можно проводить оценки и измерять эффективность разных способов делать модели более безопасными. Однако это регулирование должно быть связано не с блобом с матрицами, называемым по недоразумению «фундаментальной моделью», а с конкретным применением в конкретной индустрии. Очевидно, что не стоит применять Saiga-EroticChat_uncensored_merge-by-Vasyan для школьного образования, но это не значит, что все базовые модели должны отвечать политике партии, чтобы иметь право на существование, особенно учитывая потери в качестве при излишнем элайнменте и более высокой эффективности механизмов цензурирования вводов-выводов. Но если проверки все же должны быть тоже фундаментальными, то какие они должны быть? Об этом узнаем в следующий раз, почитав про AIR-Bench.



tgoop.com/llmsecurity/283
Create:
Last Update:

В заключении авторы отмечают, что большая таксономия – это хорошо, чем больше ограничений есть в политике использования системы, тем лучше, и выражают надежду, что их работа станет основной для улучшения недостаточно подробных политик, нормативных актов и бенчмарков.

Несмотря на большую глубину этой работы и мое искреннее восхищение людьми, которые разобрались в китайской нормативке, контекст этой работы вызывает определенную тревогу. Стэнфорд через их think-tank RegLab или напрямую через задействование экспертов HAI/CRFM, вероятно, участвовал в разработке Указа («Америка снова готова стать лидером в ИИ» – гордо написано в блоге HAI, кроме того, применение в нем термина «фундаментальные модели» намекает). Сам Указ – совершенно блестящий по понятиям США документ, в котором заявляется, что любая компания должна получать лицензию на обучение достаточно больших моделей, модели должны проверяться на демократичность, а провайдеры облачной инфры должны контролировать, не обучают ли китайцы, которым уже пару лет как запретили покупать нормальные GPU, модели, которые не дают разрушать национальное единство (разумеется, все эти требования не применяются к американской оборонке – им можно тренировать любые модели, не переживая за trustworthiness в каком-нибудь автономном дроне-камикадзе). Таким образом, исследование может стать основой для будущих обязательных проверок на compliance в рамках гослицензирования: подходит ваша модель под конкретизированные в 314 пунктах требования безопасности, которые в общих чертах выражены в AI-регуляторике, или нет, что может вызывать еще большую тревогу, учитывая склонность американского законодателей к экстерриториальности. Virtue AI (пять авторов статьи оттуда), кстати, услуги проверки AI-моделей на compliance уже предоставляют.

На мой взгляд, ничего плохого в проверке и сертификации систем, в том числе со стороны регулятора, на безопасность нет, особенно в системах с высоким риском неправильного решения, и именно поэтому нам нужны надежные открытые бенчмарки, по которым можно проводить оценки и измерять эффективность разных способов делать модели более безопасными. Однако это регулирование должно быть связано не с блобом с матрицами, называемым по недоразумению «фундаментальной моделью», а с конкретным применением в конкретной индустрии. Очевидно, что не стоит применять Saiga-EroticChat_uncensored_merge-by-Vasyan для школьного образования, но это не значит, что все базовые модели должны отвечать политике партии, чтобы иметь право на существование, особенно учитывая потери в качестве при излишнем элайнменте и более высокой эффективности механизмов цензурирования вводов-выводов. Но если проверки все же должны быть тоже фундаментальными, то какие они должны быть? Об этом узнаем в следующий раз, почитав про AIR-Bench.

BY llm security и каланы




Share with your friend now:
tgoop.com/llmsecurity/283

View MORE
Open in Telegram


Telegram News

Date: |

Concise While the character limit is 255, try to fit into 200 characters. This way, users will be able to take in your text fast and efficiently. Reveal the essence of your channel and provide contact information. For example, you can add a bot name, link to your pricing plans, etc. The imprisonment came as Telegram said it was "surprised" by claims that privacy commissioner Ada Chung Lai-ling is seeking to block the messaging app due to doxxing content targeting police and politicians. Don’t publish new content at nighttime. Since not all users disable notifications for the night, you risk inadvertently disturbing them. Activate up to 20 bots
from us


Telegram llm security и каланы
FROM American