🤖Promptfoo - инструмент с открытым исходным кодом для оценки и тестирования приложений LLM.

Функционал
🔺Автоматическая оценка промптов и моделей
🔺 Сканирование уязвимостей
🔺Сравнение моделей
🔺 Интеграция с CI/CD

Работа в двух режимах:
1️⃣Оценка - осуществляет проверку качества и точности промптов, моделей и приложений, создавая матричные представления, которые позволяют быстро оценивать результаты по многим запросам.

➡️Инициализация собственной конфигурации promptfoo init

➡️Для настройки оценки необходимо настроить промпты: в файле promptfooconfig.yaml добавить подсказки, которые необходимо протестировать. Двойные фигурные скобки используется для обозначения переменных: {{variable_name}}.

prompts:
- 'Convert this English to {{language}}: {{input}}'
- 'Translate to {{language}}: {{input}}'

➡️Далее необходимо добавить providers, чтобы указать модели ИИ, которые необходимо протестировать. Promptfoo поддерживает более 50 провайдеров, включая OpenAI, Anthropic, Google и многих других:


➡️Добавьте несколько примеров тестовых входных данных для ваших запросов.


➡️Запуск оценки promptfoo eval и просмотр результатов promptfoo view.

2️⃣Red teaming - проверка на наличие уязвимостей в системах искусственного интеллекта до их внедрения с помощью моделирования вредоносных входных данных.
➡️Инициализация npm install -g promptfoo и запуск promptfoo redteam setup. Команда setup откроет веб-интерфейс с вопросами для настройки конфигурации.

➡️Для начала необходимо предоставить подробную информацию о целевом приложении. Как минимум, обязательно заполнить поле Purpose описанием приложения.

➡️ Затем необходимо выбрать цель сканирования и плагины (состязательные генераторы, создающие вредоносные входные данные, которые отправляются в целевое приложение).

➡️Далее выбирается стратегия - методы, которые позволяют использовать сгенерированные входные данные для конкретной атаки. После этого необходимо сохранить получившиеся параметры в файл promptfooconfig.yaml.

➡️Финальным шагом будет запуск сканирования promptfoo redteam run и просмотр результатов promptfoo redteam report.