Tres tipos distintos de agentes automatizados acceden a tus enlaces, y quieren cosas diferentes. Uno recopila texto para entrenar un modelo. Otro obtiene una página en este mismo instante porque una persona hizo una pregunta. Otro está construyendo un índice de búsqueda. Llegan con distintos user agents, respetan reglas distintas y merecen respuestas distintas.
Un dominio de redirección es un destino inusual para apuntarlos, porque no tiene contenido. Cada solicitud es una búsqueda y una cabecera Location, así que un crawler de entrenamiento no obtiene nada útil y un fetcher en vivo obtiene un salto adicional de camino a la página que quería. Esa asimetría es lo que hace sencilla la decisión de política una vez que separas las clases. Si estás mirando el lado de marketing de esto en lugar de la fontanería, optimización para motores de respuesta cubre qué es lo que realmente hace que una página sea citada.
Tres clases, no una
Crawlers de entrenamiento. Estos recopilan contenido para entrenar modelos. OpenAI documenta sus bots con un user agent distinto para cada tarea, y Anthropic documenta su crawler y las reglas que sigue en el mismo espíritu. Google gestiona el equivalente mediante un token de robots en lugar de un crawler distinto, algo que su resumen de crawlers expone junto a los agentes de búsqueda.
Fetchers en vivo. Estos se activan cuando una persona le pregunta algo a un asistente y este decide leer una página. Perplexity documenta la separación explícitamente, con un agente para indexación y otro para la solicitud activada por el usuario. Esta distinción importa más que cualquier otro punto de esta publicación: un fetch en vivo es una persona, a un paso de distancia.
Indexadores de búsqueda. La clase más antigua, y aquella cuyo comportamiento frente a las redirecciones se entiende mejor. Siguen una redirección permanente, atribuyen el contenido al destino y tratan el dominio corto como un simple cartel indicador.
Misma infraestructura, tres propósitos. Una regla general para los tres es casi siempre la decisión equivocada.
Qué ocurre cuando uno de ellos llega a una redirección
La mecánica no tiene nada de especial. El agente solicita la URL corta, la redirección responde con un 301 o un 302 y una cabecera Location, y el agente la sigue si es que sigue redirecciones. La semántica HTTP de la redirección no ha cambiado por esto, y no hay ningún trato especial para los agentes de IA en ninguna parte del estándar.
De ahí se derivan dos consecuencias. El dominio corto ve una solicitud que no es de una persona, así que termina en tus datos de clics a menos que algo la filtre. Y el destino ve lo que sea que el agente haga a continuación, que para un fetcher en vivo es una lectura normal de la página.
Lo que la gente suele entender mal es en qué host viven las reglas. El RFC 9309 define robots.txt con un alcance ligado a una autoridad: esquema, host y puerto. Las reglas en example.com/robots.txt gobiernan example.com y nada más. Tu dominio de redirección es un host distinto, así que necesita su propio archivo, servido por lo que sea que responda en ese host. Muchos dominios cortos no sirven ningún robots.txt en absoluto, lo cual los agentes interpretan como ausencia de restricciones.
Qué le hace esto a tus contadores de clics
El tráfico automatizado es un problema de medición antes de ser un problema de política.
Cualquier enlace públicamente accesible acumulará accesos de crawlers. Los enlaces publicados en foros públicos, documentación y perfiles sociales atraen muchos más que los enlaces enviados a una lista privada, y el efecto se acumula durante meses mientras que un enlace de campaña solo está activo durante dos semanas.
Elido descarta los agentes automatizados conocidos antes de que se registre el clic, no después, así que el panel muestra personas. Ese es el comportamiento que conviene buscar, y vale la pena verificarlo en cualquier herramienta que uses, porque un contador en bruto trata un barrido de crawlers como un pico de tráfico. Qué vale la pena medir en las analíticas de enlaces cortos cubre la distinción entre filtrado y en bruto, y clics frente a sesiones de GA4 cubre en qué consiste la brecha restante.
Una nota práctica: el filtrado se basa en firmas, así que un agente nuevo es invisible hasta que se conoce su firma. Si un enlace muestra de repente una meseta plana de solicitudes idénticas, mira el user agent antes de mirar la campaña.
Qué poner en el robots.txt de un dominio de redirección
Una postura breve y defendible para un host que solo redirige.
Permite a los fetchers en vivo. Esas solicitudes existen porque alguien hizo una pregunta que tu página podría responder, y bloquearlas te saca de la respuesta sin sacarte de los datos de entrenamiento que te preocupaban. Esta es, con diferencia, la línea con más consecuencias del archivo.
Decide sobre los crawlers de entrenamiento por principio y no por efecto, porque un dominio de redirección no contiene nada con lo que entrenar. Si tu organización tiene una postura sobre el entrenamiento de modelos, aplícala aquí por coherencia y no esperes ningún cambio medible en ningún sentido.
Deja en paz a los indexadores de búsqueda a menos que tengas un motivo. Siguen la redirección y le atribuyen el mérito al destino, que es justo lo que quieres.
Y recuerda lo que robots.txt no hace. Es una petición, no un control de acceso, y no tiene ningún efecto sobre si la redirección funciona para una persona. Una línea Disallow no rompe tus enlaces; le pide a un agente que la respete que no los obtenga. Cualquier cosa que ignore robots.txt es un problema distinto que requiere herramientas distintas.
¿Diriges enlaces a través de un dominio que posees y quieres controlar? Los dominios personalizados de Elido te permiten servir ese host, que es el requisito previo para que cualquiera de estas reglas llegue siquiera a aplicarse.
¿Un enlace corto te cuesta una cita?
No por sí solo. Un agente que sigue la redirección lee el destino y cita lo que encontró allí, exactamente igual que hace un crawler de búsqueda.
Lo que sí te cuesta es la fricción en el salto. Una cadena de dos o tres redirecciones antes de llegar al contenido, una resolución que depende de JavaScript, una respuesta lenta, o un destino que responde con un interstitial. Cada uno de estos es una oportunidad para que el fetch se abandone, y un fetch abandonado es una página que no llegó a formar parte de la respuesta.
La regla que le daría a un equipo de contenido: publica URLs canónicas dentro del contenido, donde un modelo las lee como la dirección de la cosa en sí, y usa enlaces cortos para la distribución, donde los lee una persona. De esa manera la cita apunta a tu página y el seguimiento sigue funcionando en los canales donde lo necesitas. Enlaces de comercio agéntico cubre el caso en el que el agente está transaccionando en lugar de leyendo.
Medir el tráfico que regresa
Una parte es visible. Los asistentes que envían un referrer aparecen como una fila de referencia normal, y uno de ellos añade su propio parámetro de campaña, por lo cual chatgpt.com a veces aparece en los informes como fuente. El resto llega como tráfico directo, porque una interfaz de chat no tiene ninguna obligación de identificarse.
Trata la parte visible como un piso, no como un total. Si las referencias de IA importan lo suficiente como para informar sobre ellas, la versión honesta es una tendencia direccional a partir de las fuentes que puedes ver, más una nota de que la cifra real es más alta. Cualquiera que presente un porcentaje preciso de referencias de IA está presentando la parte que pudo medir.
Lee la serie cornerstone
Esta publicación pertenece al cluster de ingeniería. Enlaces cortos como Terraform es la pieza cornerstone para gestionar la infraestructura de enlaces como código, y optimización para motores de respuesta cubre el lado de contenido de ser citado.
Relacionado en el blog
Preguntas frecuentes
¿Los crawlers de IA siguen los enlaces cortos?
Por lo general sí. Una redirección es una respuesta HTTP corriente y los agentes bien educados la siguen hasta el destino, que es donde vive el contenido que buscaban. El salto aparece en tus registros como una solicitud en el dominio corto, y el destino ve la visita que le sigue.
¿El robots.txt de mi sitio principal cubre mi dominio corto?
No. Las reglas de robots se aplican por host, así que un archivo servido en example.com no dice nada sobre go.example.com. Un dominio de redirección necesita su propio robots.txt, servido por lo que sea que responda a las solicitudes en ese host, o los agentes lo tratarán como si no tuviera restricciones.
¿Debería bloquear a los crawlers de IA en mis enlaces cortos?
No hay nada en un dominio de redirección que valga la pena para entrenar, así que bloquear a los crawlers de entrenamiento te cuesta poco. Bloquear a los fetchers activados por el usuario es una decisión distinta: esas solicitudes ocurren porque una persona le preguntó algo a un asistente, y un fetch bloqueado significa que tu página no llega a formar parte de la respuesta.
¿Los bots de IA inflan mis contadores de clics?
Inflan los contadores en bruto. Cualquier herramienta que publique totales de solicitudes sin filtrar mostrará tráfico automatizado mezclado con el de personas, y los enlaces públicos atraen más de esto que los privados. Filtrar los agentes conocidos antes de contar es la solución, y vale la pena comprobar si tu acortador lo hace por defecto.
¿Puedo ver el tráfico que proviene de un asistente de IA?
En parte. Algunos asistentes envían un referrer que puedes leer, y algunos añaden su propio parámetro de campaña, así que una parte del tráfico es identificable en las analíticas. El resto llega como directo, porque una interfaz de chat no está obligada a decirle a tu sitio de dónde vino el visitante.
¿Usar un enlace corto perjudica mis posibilidades de ser citado?
No de forma sustancial, siempre que la redirección sea rápida y resuelva a una página que el agente pueda leer. Lo que sí perjudica es una cadena de saltos, un enlace que necesita JavaScript para resolverse, o un destino que responde lentamente. Publica URLs canónicas dentro del propio contenido y reserva los enlaces cortos para la distribución.
Prueba Elido
Pega una URL, obtén un enlace corto
Sin registro. El enlace vive 30 días. Crea una cuenta para conservarlo.
Gratis, sin registro · 2 por día