Cloudflare bloqueará los rastreadores web mixtos que presten servicio a las empresas de IA

Cloudflare ha confirmado que tiene intención de bloquear de manera automática a los rastreadores web mixtos. Es decir, lo que se encargan, por un lado, de indexar webs para su incorporación a los motores de búsqueda, y por otro, de funcionar como entrenadores para la IA y de agentes para las empresas dedicadas a dicha tecnología. Estos rastreadores obligan a los creadores de contenido a elegir entre ser visibiles o regalar sus activos más valiosos sin recibir compensación por ello.

Hasta ahora, Cloudflare ofrecía a sus clientes la posibilidad de impedir que los rastreadores pudieran utilizar información de sus webs para alimentar chatbots de IA, pero sus responsables han decidido aumentar el nivel de defensa de su estrategia, con el objetivo de reequilibrar la relación entre empresas de IA y propietarios de página.

Así, a partir del próximo 15 de septiembre de 2026, los nuevos clientes y nuevas webs de los suscriptores actruales de Cloudflare tendrán por defecto activada la opción para «permitir la búsqueda, pero bloquear el entrenamiento y uso de agentes en las páginas con anuncios». Permitirá el rastreo para motores de búsqueda tradicionales, pero bloqueará el entrenamiento y uso de agentes en páginas con publicidad.

Esta nueva configuración por defecto implica que los rastreadores mixtos que no ofrezcan a los propietarios de páginas la opción de elegir si su sitio se emplea para la IA también quedarán bloqueados por defecto en las páginas que tengan anuncios. Los usuarios que tengan cuentas gratuitas también pasarán a tener esta configuración como predeterminada. En cualquier caso, podrán modificar esta configuración desde el panel de control de Cloudflare.

Aparte de esto, Cloudflare va a lanzar también una versión actualizada de la función de pago por rastreo (Pay Per Crawl), que lanzó en 2025, y que permite a las webs bloquear los rastreadores web de IA por defecto, a menos que las empresas que los utilicen paguen a las webs por utilizar su contenido.

Ahora, la función de llamará Pago por Uso (Pay per Use), y en vez de basar los pagos en su una web ha sido rastreada, ahora Cloudflare apuesta por los pagos a los propietarios de las páginas cuando su contenido aparezca en las respuestas que se den en los chatbots de IA. Por ahora, eso sí, solo tiene colaboraciones al respecto con Ceramic.AI y You.com, y espera que otras empreas de IA se sumen.

Cloudflare presenta además el nuevo panel Attribution Business Insights, con el que los responsables de negocio, así como los equipos de TI y seguridad podrán ver de manera clara cómo consumen su contenido los bots de IA y rastrear cuánto tráfico humano real les devuelven estas empresas.

Matthew Prince, Cofundador y CEO de Cloudflare, ha recordado que «el año pasado proporcionamos a los propietarios de sitios web transparencia y control sobre qué bots accedían a su contenido, y estamos encantados con los beneficios que esto ha aportado al ecosistema. Ahora que la mayoría del tráfico en Internet no es humano, debemos ir más allá y actuar con mayor rapidez para que surja un ecosistema sostenible. Las nuevas herramientas y alianzas de Cloudflare ofrecen a los propietarios de páginas web una mayor visibilidad y oportunidades comerciales, al tiempo que recompensan a las empresas de IA cuyos bots operan con una intención clara y transparente. Esperamos que los cambios predeterminados que proponemos animen a los rastreadores de uso mixto a separar las funciones de búsqueda de las de entrenamiento y uso de agentes».