Трафик ботов, работающих на искусственный интеллект, превратился в значимую силу в интернете, сообщает Wired со ссылкой на исследование Akamai. Эксперты отмечают, что речь идет не просто о технической проблеме, а о появлении принципиально нового типа цифровых «посетителей». Это привело к масштабному противостоянию, которое уже сравнивают с гонкой вооружений: владельцы сайтов усиливают защиту, а создатели ботов изобретают все более изощренные способы обхода блокировок для сбора данных.
Начиная с июля прошлого года наблюдается неуклонный рост активности таких ботов. Если в начале 2025 года в среднем каждый двухсотый визит на сайт совершался ботами, то к концу года это был уже каждый пятидесятый. При этом более 13% из них игнорируют стандартные правила, прописанные в служебных файлах robots.txt. Попытки администраторов блокировать нежелательных сборщиков данных за квартал выросли на 336%, однако параллельно случаи игнорирования robots.txt участились на 400%. Некоторые боты успешно маскируются, имитируя поведение обычных пользователей, что делает их обнаружение еще более сложной задачей.
В ответ на этот вызов стремительно формируется целый рынок специализированных услуг. Одни компании, подобно стартапу TollBit, предлагают платформы для легальных соглашений между издателями и разработчиками ИИ. Другие, как Cloudflare, сосредоточились на создании продвинутых инструментов для блокировки недобросовестных ботов. В то же время профильные компании по сбору данных, такие как Bright Data, ScrapingBee и Oxylabs, подчеркивают, что их деятельность сосредоточена на работе с общедоступной информацией и служит законным целям, от кибербезопасности до журналистских расследований. Они отмечают, что современные средства защиты сайтов часто не различают вредоносные и добросовестные автоматизированные запросы.
Сегодня более 40 компаний предлагают услуги по сбору данных для обучения ИИ, а также активно развиваются ИИ-поисковики и автономные агенты. Параллельно появляются сервисы, помогающие компаниям готовить контент для эффективного взаимодействия с такими агентами. Аналитики предрекают формирование нового маркетингового канала, в котором традиционные границы между поиском, рекламой, медиа и коммерцией окончательно сотрутся под влиянием искусственного интеллекта.
