Rastreadores de IA / Rastreadores de IA

Diffbot: qué hace y qué cambia si lo bloqueas

Por la redacción de CitedBy · Revisado el 2026-10-24 · método (EN)

Qué es Diffbot

Diffbot documenta dos agentes de usuario. Diffbot se usa para el rastreo web general y proactivo con el fin de construir un motor de búsqueda general, de modo que los sitios puedan descubrirse y citarse desde el Diffbot Knowledge Graph y los servicios de búsqueda web. Diffbot-User se usa para solicitudes hechas en nombre de un usuario humano que navega a una URL con el software de Diffbot.

Qué dice el proveedor

En palabras del proveedor (original en inglés): “By default Diffbot's web crawls adhere to a site’s robots.txt instructions, including the disallow and crawl-delay directives.”

Fuente: Diffbot: Does Diffbot respect robots.txt?, leído el 24 de octubre de 2026.

Qué pasa si bloqueas Diffbot

Diffbot dice que sus rastreos web siguen robots.txt por defecto, incluidos disallow y crawl-delay, y que una regla puede anularse en casos concretos, como una alianza o un acuerdo con el sitio. Enumera Diffbot y Diffbot-User como agentes de usuario independientes y dice que quienes usan sus API Extract y Crawlbot definen sus propios parámetros de rastreo y pueden fijar su propio User-Agent.

Las líneas de robots.txt

Para permitir Diffbot:

User-agent: Diffbot
Allow: /

Para bloquear Diffbot:

User-agent: Diffbot
Disallow: /

Pega un bloque en el robots.txt de la raíz de tu host, por ejemplo https://example.com/robots.txt. Un grupo para un token no cubre los demás rastreadores del mismo operador.

La cadena user-agent que muestra el proveedor:

Diffbot

Cómo distinguir una petición real de una falsa

La página del proveedor no describe ninguna lista de IP ni método de verificación.

Compara con Bingbot

Bingbot: Su operador describe Diffbot como similar a Googlebot y Bing, un rastreador general para un índice de búsqueda, y el proveedor dice que no se usa para entrenar IA.

Tu propio sitio

La comprobación gratuita del recuadro de arriba prueba ocho rastreadores (GPTBot, OAI-SearchBot, ChatGPT-User, PerplexityBot, ClaudeBot, Google-Extended, Bingbot y Googlebot). Diffbot no es uno de ellos: lee tu robots.txt buscando un grupo Diffbot y busca el user agent en el registro de tu servidor. La lista completa de rastreadores está en el directorio de rastreadores de IA.

Preguntas frecuentes

¿Diffbot respeta robots.txt?

Sí, por defecto (directivas disallow y crawl-delay). Dale a Diffbot su propio grupo User-agent en robots.txt: los demás rastreadores del mismo operador tienen cada uno su ajuste.

¿Cómo sé que Diffbot está realmente bloqueado?

robots.txt es solo una capa: una regla de CDN o de cortafuegos también puede rechazar a un rastreador, y un rastreador puede ignorar el archivo. Busca el user agent en el registro de tu servidor y prueba la dirección desde fuera de tu red.

Fuentes

• Diffbot: Does Diffbot respect robots.txt? (read 2026-10-24)