AI Tarayıcıları ve Kısa Bağlantılar: Botlar Gerçekte Ne Yapıyor

Bağlantılarınıza üç farklı türde otomatik ajan erişir ve her biri farklı bir şey ister. Biri, bir modeli eğitmek için metin topluyor. Biri, bir kişi bir soru sorduğu için şu anda bir sayfayı getiriyor. Biri de bir arama indeksi oluşturuyor. Farklı User-Agent değerleriyle gelirler, farklı kurallara uyarlar ve farklı yanıtları hak ederler.

Bir yönlendirme alan adı, onları yöneltmek için sıra dışı bir hedeftir, çünkü hiçbir içeriği yoktur. Her istek bir arama ve bir Location başlığından ibarettir, bu yüzden bir eğitim tarayıcısı hiçbir işe yaramaz bir şey elde eder ve bir canlı getirici, istediği sayfaya giden yolda bir sıçrama fazladan yapar. Sınıfları ayırdığınızda, işte tam olarak bu asimetri politika kararını basitleştiren şeydir. Borulama tarafı yerine bunun pazarlama tarafına bakıyorsanız, yanıt motoru optimizasyonu bir sayfanın gerçekte neyle alıntılandığını kapsıyor.

Tek Sınıf Değil, Üç Sınıf

Eğitim tarayıcıları. Bunlar, model eğitimi için içerik toplar. OpenAI, botlarını belgeliyor ve her iş için ayrı bir user-agent kullanıyor, Anthropic da kendi tarayıcısını ve uyduğu kuralları aynı ruhla belgeliyor. Google, ayrı bir tarayıcı yerine bir robots token'ı üzerinden eşdeğerini ele alıyor; bunu tarayıcı genel bakışı arama ajanlarıyla birlikte açıklıyor.

Canlı getiriciler. Bunlar, bir kişi bir asistana bir şey sorduğunda ve asistan bir sayfayı okumaya karar verdiğinde çalışır. Perplexity bu ayrımı açıkça belgeliyor: biri indeksleme için, diğeri kullanıcı tarafından tetiklenen istek için olmak üzere iki ayrı ajan kullanıyor. Bu ayrım, bu yazıdaki başka her noktadan daha önemli: bir canlı getirme, bir adım geriden de olsa bir kişidir.

Arama indeksleyicileri. En eski sınıf ve yönlendirmeler etrafındaki davranışı en iyi anlaşılan sınıf. Kalıcı bir yönlendirmeyi takip eder, içeriği hedefe atfeder ve kısa alan adını bir tabela olarak değerlendirirler.

Aynı altyapı, üç farklı amaç. Hepsi için tek bir genel kural koymak neredeyse her zaman yanlış bir karardır.

Biri Bir Yönlendirmeye Eriştiğinde Ne Olur

Mekanizma sıradandır. Ajan kısa URL'yi ister, yönlendirme bir 301 veya 302 ile ve bir Location başlığıyla yanıt verir ve ajan, yönlendirmeleri hiç takip ediyorsa onu takip eder. Yönlendirme için HTTP semantiği bunun için değişmedi ve standardın hiçbir yerinde yapay zeka ajanları için özel bir işlem yoktur.

Bundan iki sonuç çıkar. Kısa alan adı, bir kişi olmayan bir istek görür, bu yüzden bir şey onu filtrelemedikçe tıklama verilerinize düşer. Ve hedef, ajanın bir sonraki yaptığı her neyse onu görür; bu, bir canlı getirici için sayfanın normal bir okunmasıdır.

İnsanların yanlış anladığı kısım, kuralların hangi ana bilgisayara ait olduğudur. RFC 9309, robots.txt'i bir yetkiye kapsamlı olarak tanımlar: şema, ana bilgisayar ve port. example.com/robots.txt adresindeki kurallar yalnızca example.com'u yönetir, başka hiçbir şeyi değil. Yönlendirme alan adınız farklı bir ana bilgisayardır, bu yüzden kendi dosyasına ihtiyacı vardır; bu dosya, o ana bilgisayardaki istekleri yanıtlayan her neyse onun tarafından sunulmalıdır. Pek çok kısa alan adı hiç robots.txt sunmaz ve ajanlar bunu kısıtlama yok olarak okur.

Tıklama Sayılarınıza Ne Yapar

Otomatik trafik, bir politika sorunu olmadan önce bir ölçüm sorunudur.

Herkese açık olarak erişilebilen her bağlantı, tarayıcı isteklerini biriktirir. Herkese açık forumlarda, dokümantasyonda ve sosyal profillerde paylaşılan bağlantılar, özel bir listeye gönderilen bağlantılardan çok daha fazlasını çeker ve bir kampanya bağlantısı yalnızca iki hafta canlı kalırken bu etki aylar boyunca birikir.

Elido, bilinen otomatik ajanları tıklama kaydedildikten sonra değil, kaydedilmeden önce eler, bu yüzden gösterge paneli insanları gösterir. İstenen davranış budur ve kullandığınız herhangi bir araçta bunu doğrulamaya değer, çünkü ham bir sayaç bir tarayıcı taramasını bir trafik sıçraması olarak değerlendirir. Kısa bağlantı analitiğinde neyin ölçülmeye değer olduğu filtrelenmiş ile ham arasındaki ayrımı kapsıyor ve tıklamalar ile GA4 oturumları geriye kalan farkın neden oluştuğunu kapsıyor.

Pratik bir not: filtreleme imza tabanlıdır, bu yüzden yeni bir ajan, imzası bilinene kadar görünmezdir. Bir bağlantı aniden birbirinin aynı isteklerden oluşan düz bir plato gösteriyorsa, kampanyaya bakmadan önce user-agent'a bakın.

Bir Yönlendirme Alan Adında robots.txt'e Ne Koymalı

Yalnızca yönlendirme yapan bir ana bilgisayar için kısa ve savunulabilir bir tutum.

Canlı getiricilere izin verin. Bu istekler var oluyor çünkü birisi, sayfanızın yanıtlayabileceği bir soru sordu ve onları engellemek, endişelendiğiniz eğitim verilerinden sizi çıkarmadan cevaptan sizi çıkarır. Bu, dosyadaki tek başına en sonuç doğurucu satırdır.

Eğitim tarayıcıları hakkındaki kararınızı etkiye göre değil ilkeye göre verin, çünkü bir yönlendirme alan adında üzerinde eğitim verilecek hiçbir şey yoktur. Kuruluşunuzun model eğitimi konusunda bir tutumu varsa, tutarlılık için bunu burada da uygulayın ve her iki durumda da ölçülebilir bir değişiklik beklemeyin.

Bir nedeniniz olmadıkça arama indeksleyicilerine dokunmayın. Yönlendirmeyi takip ederler ve hedefi kaynak gösterirler, istediğiniz şey de tam olarak budur.

Ve robots.txt'in ne yapmadığını unutmayın. Bu bir erişim kontrolü değil, bir ricadır ve yönlendirmenin bir kişi için çalışıp çalışmaması üzerinde hiçbir etkisi yoktur. Bir Disallow satırı bağlantılarınızı bozmaz; uyumlu bir ajandan onları getirmemesini rica eder. robots.txt'i yok sayan her şey, farklı araçlar gerektiren farklı bir sorundur.

Sahip olduğunuz ve kontrol etmek istediğiniz bir alan adı üzerinden bağlantılar mı çalıştırıyorsunuz? Elido'nun özel alan adları, o ana bilgisayarı sunmanızı sağlar; bu kuralların herhangi birinin geçerli olabilmesi için ön koşul da budur.

Kısa Bir Bağlantı Size Bir Alıntıya Mal Olur mu?

Tek başına hayır. Yönlendirmeyi takip eden bir ajan, hedefi okur ve orada bulduğu şeyi, tıpkı bir arama tarayıcısının yaptığı gibi, alıntılar.

Size mal olan şey, sıçramadaki sürtünmedir. İçerikten önce iki veya üç yönlendirmeden oluşan bir zincir, JavaScript'e bağımlı bir çözümleme, yavaş bir yanıt veya bir ara sayfayla yanıt veren bir hedef. Her biri, getirmenin terk edilmesi için bir fırsattır ve terk edilmiş bir getirme, cevaba giremeyen bir sayfadır.

Bir içerik ekibine vereceğim kural şu: kanonik URL'leri, bir modelin onları o şeyin adresi olarak okuduğu içeriğin içinde yayınlayın ve kısa bağlantıları, bir insanın onları okuduğu dağıtım için kullanın. Bu şekilde alıntı sayfanıza işaret eder ve takip, ihtiyacınız olan kanallarda çalışmaya devam eder. Ajan tabanlı ticaret bağlantıları, ajanın okumak yerine işlem yaptığı durumu kapsıyor.

Geri Dönen Trafiği Ölçmek

Bir kısmı görünürdür. Bir referrer gönderen asistanlar normal bir yönlendirme satırı olarak görünür ve bunlardan biri kendi kampanya parametresini ekler; chatgpt.com'un bazen raporlarda bir kaynak olarak görünmesinin nedeni de budur. Geri kalanı doğrudan trafik olarak gelir, çünkü bir sohbet arayüzünün kendini tanıtma zorunluluğu yoktur.

Görünen payı bir toplam olarak değil, bir taban olarak ele alın. Yapay zeka yönlendirmeleri raporlamaya değecek kadar önemliyse, dürüst olan versiyon, görebildiğiniz kaynaklardan yönsel bir eğilim artı gerçek rakamın daha yüksek olduğuna dair bir nottur. Kesin bir yapay zeka yönlendirme yüzdesi sunan herkes, yalnızca ölçebildiği kısmı sunuyordur.

Temel Taşı Serisini Okuyun

Bu yazı mühendislik kümesinde yer alır. Terraform olarak kısa bağlantılar, bağlantı altyapısını kod olarak yönetmenin temel taşıdır ve yanıt motoru optimizasyonu alıntılanmanın içerik tarafını kapsıyor.

Blogda İlgili Yazılar

• Yanıt motoru optimizasyonu: bir sayfayı ne alıntılatır
• Ajan tabanlı ticaret bağlantıları ve makine tarafından okunabilir hedefler
• Kısa bağlantı analitiği: neyi ölçmeye değer
• Kısa bağlantı tıklamaları ile GA4 oturumları
• URL kısaltıcılar SEO'ya zarar verir mi?