Когда-то давно я писал тут об инструменте ModelScan, от ProtectAI. На тот момент это был, пожалуй, лучший сканер моделей, который имел поддержку 6 форматов и неплохой перечень уязвимостей.

Но сейчас появилось решение, которое, как мне кажется, теперь является королём крыс опенсурс решений по теме статического сканирования моделей.

PromptFoo и раньше делали удивительные вещи, но вот чуть больше недели назад они релизнули ModelAudit, который поддерживает сейчас примерно 18 форматов файлов/моделей. Там помимо классических анализаторов моделей есть и .manifest анализатор и в последнее время массово применяемый Safetensors. К слову, само решение можно без проблем запустить сканировать Huggingface, а ещё всякие s3 бакеты и другие источники.

Чем мне понравилось решение при моём тестировании?

Во-первых, это невероятная простота в использовании, а также в установке.

Ну серьёзно запустить простой скан можно даже без флагов, а репорт вы сразу получите в CLI, либо в UI PromptFoo, а ключи к S3 или JFrog экспортируются прямо из переменных окружения – нет необходимости лезть в конфиги и что-то мучать там.

Кстати, документация тоже божественная, тут можно найти и примеры интеграции с CI, и как API без проблем используется, да и в целом документация показывает, как создать кастомный сканер.

Чего не было вовсе у ModelScan или picklescan от Huggingface, где прикрутить что-то новое было большой проблемой.