CCT - Crypto Currency Tracker logo CCT - Crypto Currency Tracker logo
Forklog 2026-07-02 08:54:12

Cloudflare запретит «смешанные» ИИ-краулеры

C 15 сентября провайдер сетевой инфраструктуры Cloudflare начнет по умолчанию блокировать на страницах все «смешанные» веб-краулеры на основе искусственного интеллекта.  Cloudflare’s new Attribution Business Insights dashboard helps website owners understand crawler behavior, appetite, and potential value. https://t.co/1F9HO3Fiv7— Cloudflare (@Cloudflare) July 1, 2026 Речь о краулерах, которые используют один и тот же тип ботов для поиска, обучения моделей и ИИ-агентов. В Cloudflare требуют разделять решения на поисковые, обучающие и агентные. Представители компании объяснили ужесточение тем, что издатели и владельцы сайтов хотят сохранять видимость в поиске и ИИ-сервисах, но не готовы бесплатно предоставлять контент.  «Интернет рискует перейти к экосистеме “нулевого клика”, где чат-боты собирают оригинальный контент для мгновенных ответов, полностью обходя первоисточники. Мы уже наблюдали заметный сдвиг от пространства, ориентированного исключительно на SEO, к миру AEO, а теперь уже и к GEO», — говорится в заявлении. Принятая мера также должна снизить нагрузки на инфраструктуру веб-страниц. По данным Cloudflare, более 50% трафика от ИИ-краулеров приходится на повторное сканирование страниц, которое редко приносит пользу.  Изменение затронет новых клиентов провайдера, сайты действующих пользователей и всех клиентов бесплатного тарифа. Владельцы хостингов смогут отключить опцию блокировки вручную. Параллельно Cloudflare расширяет коммерческую схему для издателей. Новая система Pay Per Use предполагает оплату не только за доступ к материалу, но и в случаях, когда контент имеет ценность для ИИ-сервиса. На первом этапе компания работает с Ceramic.ai и You.com. Издатели получают выплаты, если их материалы появляются в поисковой выдаче чат-ботов. Напомним, 18 ноября 2025 года Cloudflare столкнулся с масштабными техническими неполадками, которые вызвали нарушения в работе множества сайтов и приложений, включая Web3-сервисы.

Read the Disclaimer : All content provided herein our website, hyperlinked sites, associated applications, forums, blogs, social media accounts and other platforms (“Site”) is for your general information only, procured from third party sources. We make no warranties of any kind in relation to our content, including but not limited to accuracy and updatedness. No part of the content that we provide constitutes financial advice, legal advice or any other form of advice meant for your specific reliance for any purpose. Any use or reliance on our content is solely at your own risk and discretion. You should conduct your own research, review, analyse and verify our content before relying on them. Trading is a highly risky activity that can lead to major losses, please therefore consult your financial advisor before making any decision. No content on our Site is meant to be a solicitation or offer.