Trois types différents d'agents automatisés accèdent à vos liens, et ils veulent des choses différentes. L'un collecte du texte pour entraîner un modèle. L'un récupère une page à l'instant même parce qu'une personne a posé une question. L'un construit un index de recherche. Ils arrivent avec des user agents différents, respectent des règles différentes, et méritent des réponses différentes.
Un domaine de redirection est une cible inhabituelle pour eux, car il n'a aucun contenu. Chaque requête est une recherche et un en-tête Location, donc un crawler d'entraînement n'obtient rien d'utile et un fetcher en direct obtient un saut de plus sur le chemin vers la page qu'il voulait. Cette asymétrie est ce qui rend la décision de politique simple une fois que vous séparez les classes. Si vous vous intéressez au côté marketing de la question plutôt qu'à la plomberie, l'optimisation pour moteurs de réponse couvre ce qui fait réellement citer une page.
Trois classes, pas une seule
Crawlers d'entraînement. Ils collectent du contenu pour l'entraînement des modèles. OpenAI documente ses bots avec un user agent distinct pour chaque tâche, et Anthropic documente son crawler et les règles qu'il respecte dans le même esprit. Google gère l'équivalent via un jeton robots plutôt qu'un crawler distinct, ce que son aperçu des crawlers expose aux côtés des agents de recherche.
Fetchers en direct. Ils s'activent quand une personne interroge un assistant et que l'assistant décide de lire une page. Perplexity documente explicitement cette séparation, avec un agent pour l'indexation et un autre pour la requête déclenchée par l'utilisateur. Cette distinction compte plus que tout autre point de cet article : une récupération en direct, c'est une personne, à une étape de distance.
Indexeurs de recherche. La classe la plus ancienne, et celle dont le comportement autour des redirections est le mieux compris. Ils suivent une redirection permanente, attribuent le contenu à la destination, et traitent le domaine court comme un simple panneau indicateur.
Même infrastructure, trois objectifs. Une règle unique pour les trois est presque toujours le mauvais choix.
Ce qui se passe quand l'un d'eux atteint une redirection
Le mécanisme n'a rien de remarquable. L'agent demande l'URL courte, la redirection répond avec un 301 ou un 302 et un en-tête Location, et l'agent la suit s'il suit les redirections du tout. La sémantique HTTP de la redirection n'a pas changé pour autant, et il n'existe aucun traitement spécial pour les agents IA nulle part dans la norme.
Deux conséquences en découlent. Le domaine court voit une requête qui n'est pas une personne, donc elle atterrit dans vos données de clics à moins que quelque chose ne la filtre. Et la destination voit ce que l'agent fait ensuite, ce qui pour un fetcher en direct est une lecture normale de la page.
Ce que les gens comprennent mal, c'est sur quel hôte vivent les règles. La RFC 9309 définit robots.txt comme limité à une autorité : schéma, hôte et port. Les règles sur example.com/robots.txt gouvernent example.com et rien d'autre. Votre domaine de redirection est un hôte différent, il a donc besoin de son propre fichier, servi par ce qui répond sur cet hôte. De nombreux domaines courts ne servent aucun robots.txt du tout, ce que les agents interprètent comme une absence de restriction.
Ce que cela fait à vos compteurs de clics
Le trafic automatisé est un problème de mesure avant d'être un problème de politique.
Tout lien accessible publiquement accumulera des accès de crawlers. Les liens publiés dans des forums publics, de la documentation et des profils sociaux en attirent bien plus que les liens envoyés à une liste privée, et l'effet s'accumule sur des mois alors qu'un lien de campagne n'est actif que deux semaines.
Elido écarte les agents automatisés connus avant que le clic ne soit enregistré plutôt qu'après, de sorte que le tableau de bord montre des personnes. C'est le comportement à rechercher, et cela vaut la peine de le vérifier dans n'importe quel outil que vous utilisez, car un compteur brut traite un passage de crawler comme un pic de trafic. Ce qui vaut la peine d'être mesuré dans les analytics de liens courts couvre la distinction entre filtré et brut, et clics vs sessions GA4 couvre en quoi consiste l'écart restant.
Une remarque pratique : le filtrage repose sur des signatures, donc un nouvel agent est invisible jusqu'à ce que sa signature soit connue. Si un lien montre un plateau plat soudain de requêtes identiques, regardez le user agent avant de regarder la campagne.
Que mettre dans robots.txt sur un domaine de redirection
Une position courte et défendable pour un hôte dédié uniquement à la redirection.
Autorisez les fetchers en direct. Ces requêtes existent parce que quelqu'un a posé une question à laquelle votre page pourrait répondre, et les bloquer vous retire de la réponse sans vous retirer des données d'entraînement qui vous inquiétaient. C'est la ligne la plus lourde de conséquences du fichier.
Décidez pour les crawlers d'entraînement sur le principe plutôt que sur l'effet, car un domaine de redirection ne contient rien qui vaille d'être utilisé pour l'entraînement. Si votre organisation a une position sur l'entraînement des modèles, appliquez-la ici par cohérence, et n'attendez de changement mesurable dans aucun des deux cas.
Laissez les indexeurs de recherche tranquilles, sauf si vous avez une raison de faire autrement. Ils suivent la redirection et créditent la destination, ce qui est exactement ce que vous voulez.
Et rappelez-vous ce que robots.txt ne fait pas. C'est une requête, pas un contrôle d'accès, et cela n'a aucun effet sur le fonctionnement de la redirection pour une personne. Une ligne Disallow ne casse pas vos liens ; elle demande à un agent conforme de ne pas les récupérer. Tout ce qui ignore robots.txt est un problème différent qui appelle des outils différents.
Vous faites passer vos liens par un domaine que vous possédez et voulez contrôler ? Les domaines personnalisés d'Elido vous permettent de servir cet hôte, ce qui est le préalable pour que l'une de ces règles s'applique.
Un lien court vous coûte-t-il une citation ?
Pas en soi. Un agent qui suit la redirection lit la destination et cite ce qu'il y a trouvé, exactement comme le fait un crawler de recherche.
Ce qui vous coûte vraiment, c'est la friction dans le saut. Une chaîne de deux ou trois redirections avant le contenu, une résolution qui dépend de JavaScript, une réponse lente, ou une destination qui répond par un interstitiel. Chacun de ces cas est une occasion pour la récupération d'être abandonnée, et une récupération abandonnée est une page qui n'est pas entrée dans la réponse.
La règle que je donnerais à une équipe de contenu : publiez des URL canoniques à l'intérieur du contenu, là où un modèle les lit comme l'adresse de la chose, et utilisez des liens courts pour la distribution, là où un humain les lit. Ainsi la citation pointe vers votre page et le suivi continue de fonctionner sur les canaux où vous en avez besoin. Les liens de commerce agentique couvrent le cas où l'agent effectue une transaction plutôt qu'une lecture.
Mesurer le trafic qui revient
Une partie est visible. Les assistants qui envoient un référent apparaissent comme une ligne de référence normale, et l'un d'eux ajoute son propre paramètre de campagne, ce qui explique pourquoi chatgpt.com apparaît parfois dans les rapports comme une source. Le reste arrive en tant que trafic direct, car une interface de chat n'a aucune obligation de s'identifier.
Traitez la part visible comme un plancher, pas comme un total. Si les recommandations issues de l'IA comptent assez pour être rapportées, la version honnête est une tendance directionnelle à partir des sources que vous pouvez voir, plus une note indiquant que le chiffre réel est plus élevé. Quiconque présente un pourcentage précis de trafic référé par l'IA présente seulement la partie qu'il a pu mesurer.
Lire la série cornerstone
Cet article s'inscrit dans le cluster ingénierie. Gérer vos liens courts comme du Terraform est le cornerstone pour gérer l'infrastructure des liens comme du code, et l'optimisation pour moteurs de réponse couvre le côté contenu du fait d'être cité.
Sur le blog
Questions fréquentes
Les crawlers IA suivent-ils les liens courts ?
Généralement oui. Une redirection est une réponse HTTP ordinaire, et les agents bien élevés la suivent jusqu'à la destination, qui est l'endroit où vit le contenu qu'ils recherchaient. Le saut apparaît dans vos journaux comme une requête sur le domaine court, et la destination voit la visite qui suit.
robots.txt sur mon site principal couvre-t-il mon domaine court ?
Non. Les règles robots s'appliquent par hôte, donc un fichier servi sur example.com ne dit rien sur go.example.com. Un domaine de redirection a besoin de son propre robots.txt, servi par ce qui répond aux requêtes sur cet hôte, sinon les agents le traiteront comme sans restriction.
Dois-je bloquer les crawlers IA sur mes liens courts ?
Il n'y a rien sur un domaine de redirection qui vaille la peine d'être utilisé pour l'entraînement, donc bloquer les crawlers d'entraînement vous coûte peu. Bloquer les fetchers déclenchés par l'utilisateur est une décision différente : ces requêtes se produisent parce qu'une personne a interrogé un assistant à propos de quelque chose, et une récupération bloquée signifie que votre page n'entre pas dans la réponse.
Les bots IA gonflent-ils mes compteurs de clics ?
Ils gonflent les compteurs bruts. Tout outil qui publie des totaux de requêtes non filtrés montrera du trafic automatisé mélangé à celui des personnes, et les liens publics en attirent davantage que les liens privés. Filtrer les agents connus avant de compter est la solution, et cela vaut la peine de vérifier si votre raccourcisseur le fait par défaut.
Puis-je voir le trafic qui provient d'un assistant IA ?
En partie. Certains assistants envoient un référent que vous pouvez lire, et certains ajoutent leur propre paramètre de campagne, de sorte qu'une part du trafic est identifiable dans les analytics. Le reste arrive en direct, car une interface de chat n'est pas obligée de dire à votre site d'où vient le visiteur.
Utiliser un lien court nuit-il à mes chances d'être cité ?
Pas de façon significative, tant que la redirection est rapide et se résout vers une page que l'agent peut lire. Ce qui nuit vraiment, c'est une chaîne de sauts, un lien qui nécessite du JavaScript pour se résoudre, ou une destination qui répond lentement. Publiez des URL canoniques dans le contenu lui-même et gardez les liens courts pour la distribution.
Essayer Elido
Collez une URL, obtenez un lien court
Sans inscription. Lien actif 30 jours. Inscrivez-vous pour le garder pour toujours.
Gratuit, sans inscription · 2 par jour