tgoop.com/linux_gram/8294
Last Update:
ИИ-боты атакуют Open Source: инфраструктура KDE, GNOME и Fedora под угрозой
Открытые проекты, включая KDE, GNOME, Fedora, Codeberg и SourceHut, столкнулись с беспрецедентной нагрузкой на свою инфраструктуру. Причина — агрессивные ИИ-индексаторы, которые сканируют сайты для обучения языковых моделей, таких как Claude 3.7 от Anthropic. Эти боты игнорируют правила доступа к контенту robots.txt, маскируются под обычных пользователей и создают DDoS-подобную нагрузку, угрожая стабильности критически важных сервисов.
▪️ Боты сканируют Git-репозитории, форумы и Wiki, выполняя ресурсоёмкие операции: массовые запросы git blame, перебор всех страниц в git log, скачивание тысяч файлов одновременно.
▪️ Например, на платформе SourceHut боты перегружают серверы, запрашивая историю каждого репозитория построчно, что в 10 раз увеличило нагрузку на базы данных.
Как борются проекты?
• Framapiaf собрала 460 тыс. IP, ai.robots.txt публикует User-Agent ботов.
• Nepenthes (SourceHut): генерирует случайный контент с бесконечными ссылками.
• AI Labyrinth (Cloudflare): подменяет реальные страницы мусором, чтобы «зациклить» ботов.
• Жёсткие меры: блокировка трафика из Google Cloud и Azure.
Предложенные решения:
▪️ Сообщество требует, чтобы компании вроде Anthropic и OpenAI публично отчитались о методах сбора данных.
▪️ Предлагается создать «чёрный список» ИИ-ботов, которые систематически нарушают правила.
▪️ Разработка стандарта AI-robots.txt, который будет юридически обязывающим.
▪️ Внедрение блокчейн-систем для отслеживания источников трафика и автоматической блокировки нарушителей.
▪️ Проекты объединяются в альянсы для обмена данными о ботах. Например, KDE и GNOME уже синхронизируют свои базы IP-адресов.
Linux / Линукс