Trzy różne rodzaje zautomatyzowanych agentów trafiają na Twoje linki i chcą różnych rzeczy. Jeden zbiera tekst do trenowania modelu. Jeden pobiera stronę właśnie teraz, bo ktoś zadał pytanie. Jeden buduje indeks wyszukiwarki. Przychodzą z różnymi user agentami, przestrzegają różnych reguł i zasługują na różne odpowiedzi.
Domena przekierowań to nietypowe miejsce, w które można je kierować, bo nie ma treści. Każde żądanie to wyszukanie i nagłówek Location, więc robot trenujący nie dostaje nic użytecznego, a bot pobierający na żywo dostaje jeden dodatkowy skok w drodze do strony, której chciał. Ta asymetria sprawia, że decyzja polityki staje się prosta, gdy tylko rozdzielisz klasy. Jeśli interesuje Cię strona marketingowa tego zagadnienia, a nie hydraulika, optymalizacja pod silniki odpowiedzi omawia, co faktycznie sprawia, że strona jest cytowana.
Trzy klasy, nie jedna
Roboty trenujące. Zbierają treści do trenowania modelu. OpenAI dokumentuje swoje boty z osobnym user agentem dla każdego zadania, a Anthropic dokumentuje swojego robota i reguły, których przestrzega w tym samym duchu. Google obsługuje odpowiednik przez token robots zamiast odrębnego robota, co jego przegląd robotów przedstawia obok agentów wyszukiwarki.
Boty pobierające na żywo. Uruchamiają się, gdy ktoś pyta asystenta o coś, a asystent postanawia przeczytać stronę. Perplexity jawnie dokumentuje ten podział, z jednym agentem do indeksowania i drugim do żądań wywołanych przez użytkownika. To rozróżnienie ma większe znaczenie niż jakikolwiek inny punkt w tym artykule: pobranie na żywo to człowiek, tylko o jeden krok dalej.
Indeksery wyszukiwarek. Najstarsza klasa i ta, której zachowanie wobec przekierowań jest najlepiej poznane. Podążają za trwałym przekierowaniem, przypisują treść miejscu docelowemu i traktują krótką domenę jako drogowskaz.
Ta sama infrastruktura, trzy cele. Jedna reguła dla wszystkich prawie zawsze jest złą decyzją.
Co się dzieje, gdy jeden z nich trafia na przekierowanie
Mechanika jest niczym niezwykłym. Agent żąda krótkiego adresu URL, przekierowanie odpowiada kodem 301 lub 302 oraz nagłówkiem Location, a agent podąża za nim, jeśli w ogóle podąża za przekierowaniami. Semantyka HTTP dla przekierowań nie zmieniła się z tego powodu i nigdzie w standardzie nie ma specjalnej obsługi agentów AI.
Wynikają z tego dwie konsekwencje. Krótka domena widzi żądanie, które nie jest człowiekiem, więc trafia ono do Twoich danych o kliknięciach, chyba że coś je odfiltruje. A miejsce docelowe widzi to, co agent robi dalej, co dla bota pobierającego na żywo jest zwykłym odczytem strony.
Częścią, którą ludzie mylą, jest to, na jakim hoście żyją reguły. RFC 9309 definiuje robots.txt jako ograniczony do autorytetu: schematu, hosta i portu. Reguły pod example.com/robots.txt rządzą example.com i niczym więcej. Twoja domena przekierowań to inny host, więc potrzebuje własnego pliku, serwowanego przez cokolwiek odpowiada na tym hoście. Wiele krótkich domen w ogóle nie serwuje robots.txt, co agenty odczytują jako brak ograniczeń.
Co to robi z Twoimi licznikami kliknięć
Ruch automatyczny jest problemem pomiarowym, zanim stanie się problemem polityki.
Każdy link publicznie dostępny będzie gromadził odwiedziny robotów. Linki publikowane na publicznych forach, w dokumentacji i profilach społecznościowych przyciągają ich znacznie więcej niż linki wysyłane do prywatnej listy, a efekt kumuluje się miesiącami, podczas gdy link kampanijny żyje zaledwie dwa tygodnie.
Elido odrzuca znane zautomatyzowane agenty, zanim kliknięcie zostanie zarejestrowane, a nie po fakcie, więc panel pokazuje ludzi. Tego zachowania warto oczekiwać i warto zweryfikować je w każdym narzędziu, którego używasz, bo surowy licznik traktuje przejście robota jak skok ruchu. Co warto mierzyć w analityce krótkich linków omawia różnicę między danymi filtrowanymi a surowymi, a kliknięcia kontra sesje GA4 omawia, z czego składa się pozostała luka.
Jedna praktyczna uwaga: filtrowanie opiera się na sygnaturach, więc nowy agent jest niewidoczny, dopóki jego sygnatura nie jest znana. Jeśli link nagle wykazuje płaskie plateau identycznych żądań, spójrz najpierw na user agenta, a dopiero potem na kampanię.
Co umieścić w robots.txt na domenie przekierowań
Krótkie, obronne stanowisko dla hosta służącego wyłącznie do przekierowań.
Pozwól na boty pobierające na żywo. Te żądania istnieją, bo ktoś zadał pytanie, na które Twoja strona może odpowiedzieć, a blokowanie ich usuwa Cię z odpowiedzi, nie usuwając Cię z danych trenujących, o które się martwiłeś. To pojedyncza linia o największych konsekwencjach w całym pliku.
Decyzję o robotach trenujących podejmij na zasadzie, a nie na podstawie efektu, bo domena przekierowań nie zawiera niczego, na czym można trenować. Jeśli Twoja organizacja ma stanowisko wobec trenowania modeli, zastosuj je tutaj dla spójności i nie oczekuj żadnej mierzalnej zmiany w żadną stronę.
Zostaw indeksery wyszukiwarek w spokoju, chyba że masz powód, by tego nie robić. Podążają za przekierowaniem i przypisują zasługę miejscu docelowemu, a dokładnie tego chcesz.
I pamiętaj, czego robots.txt nie robi. To prośba, nie kontrola dostępu, i nie ma żadnego wpływu na to, czy przekierowanie działa dla człowieka. Linia Disallow nie psuje Twoich linków; prosi zgodnego agenta, żeby ich nie pobierał. Cokolwiek ignoruje robots.txt, jest innym problemem z innymi narzędziami.
Prowadzisz linki na domenie, którą posiadasz i chcesz kontrolować? Własne domeny Elido pozwalają Ci serwować ten host, co jest warunkiem koniecznym, żeby którakolwiek z tych reguł w ogóle miała zastosowanie.
Czy krótki link kosztuje Cię cytowanie?
Nie sam w sobie. Agent, który podąża za przekierowaniem, czyta miejsce docelowe i cytuje to, co tam znalazł, dokładnie tak jak robi to robot wyszukiwarki.
Kosztuje Cię tarcie w skoku. Łańcuch dwóch lub trzech przekierowań przed treścią, rozwiązanie zależne od JavaScriptu, wolna odpowiedź albo miejsce docelowe odpowiadające ekranem pośrednim. Każde z nich to szansa, że pobranie zostanie porzucone, a porzucone pobranie to strona, która nie trafiła do odpowiedzi.
Reguła, którą podałbym zespołowi contentowemu: publikuj kanoniczne adresy URL wewnątrz treści, gdzie model odczytuje je jako adres danej rzeczy, a krótkich linków używaj do dystrybucji, gdzie czyta je człowiek. Dzięki temu cytowanie wskazuje na Twoją stronę, a śledzenie nadal działa na kanałach, gdzie go potrzebujesz. Linki handlu agentowego omawiają przypadek, gdy agent dokonuje transakcji, zamiast czytać.
Mierzenie ruchu, który wraca
Część jest widoczna. Asystenci, którzy wysyłają referrer, pojawiają się jako zwykły wiersz odesłania, a jeden z nich dołącza własny parametr kampanii, dlatego chatgpt.com czasem pojawia się w raportach jako źródło. Reszta przychodzi jako ruch bezpośredni, bo interfejs czatu nie ma obowiązku się identyfikować.
Traktuj widoczną część jako dolną granicę, nie jako całość. Jeśli odesłania z AI są na tyle istotne, by je raportować, uczciwa wersja to kierunkowy trend ze źródeł, które widzisz, plus uwaga, że rzeczywista liczba jest wyższa. Każdy, kto przedstawia precyzyjny procent odesłań z AI, przedstawia tylko tę część, którą mógł zmierzyć.
Przeczytaj serię artykułów fundamentalnych
Ten artykuł należy do klastra inżynieryjnego. Krótkie linki jako Terraform to artykuł fundamentalny dotyczący zarządzania infrastrukturą linków jako kodem, a optymalizacja pod silniki odpowiedzi omawia stronę treściową bycia cytowanym.
Powiązane na blogu
Najczęściej zadawane pytania
Czy roboty AI podążają za krótkimi linkami?
Zasadniczo tak. Przekierowanie to zwykła odpowiedź HTTP, a dobrze zachowujące się agenty podążają do miejsca docelowego, gdzie znajduje się treść, po którą przyszły. Ten skok pojawia się w Twoich logach jako żądanie na krótkiej domenie, a miejsce docelowe widzi wizytę, która następuje.
Czy robots.txt na mojej głównej stronie obejmuje moją krótką domenę?
Nie. Reguły robots stosuje się per host, więc plik serwowany pod example.com nic nie mówi o go.example.com. Domena przekierowań potrzebuje własnego robots.txt, serwowanego przez cokolwiek odpowiada na żądania na tym hoście, w przeciwnym razie agenty potraktują ją jako nieograniczoną.
Czy powinienem blokować roboty AI przed moimi krótkimi linkami?
Na domenie przekierowań nie ma nic wartego trenowania modelu, więc blokowanie robotów trenujących niewiele Cię kosztuje. Blokowanie botów pobierających wywołanych przez użytkownika to inna decyzja: te żądania zdarzają się, bo ktoś zapytał asystenta o coś, a zablokowane pobranie oznacza, że Twoja strona nie trafia do odpowiedzi.
Czy boty AI zawyżają moje liczniki kliknięć?
Zawyżają surowe liczniki. Każde narzędzie publikujące niefiltrowane sumy żądań pokaże ruch automatyczny wymieszany z ludźmi, a publiczne linki przyciągają go więcej niż prywatne. Rozwiązaniem jest filtrowanie znanych agentów przed liczeniem, i warto sprawdzić, czy Twój skracacz robi to domyślnie.
Czy mogę zobaczyć ruch, który przyszedł z asystenta AI?
Częściowo. Niektóre asystenty wysyłają referrer, który da się odczytać, a niektóre dołączają własny parametr kampanii, więc część ruchu jest identyfikowalna w analityce. Reszta pojawia się jako ruch bezpośredni, bo interfejs czatu nie ma obowiązku informować Twojej strony, skąd przyszedł odwiedzający.
Czy użycie krótkiego linku szkodzi moim szansom na cytowanie?
Nie w istotnym stopniu, o ile przekierowanie jest szybkie i prowadzi do strony, którą agent potrafi odczytać. Szkodzi natomiast łańcuch skoków, link wymagający JavaScriptu do rozwiązania albo miejsce docelowe odpowiadające wolno. Publikuj kanoniczne adresy URL w samej treści, a krótkie linki zachowaj do dystrybucji.
Wypróbuj Elido
Wklej URL, otrzymaj krótki link
Bez rejestracji. Link działa 30 dni. Zarejestruj się, aby zachować go na zawsze.
Za darmo, bez rejestracji · 2 dziennie