llms.txt Nedir, İşe Yarıyor mu? Kim Okuyor, Nasıl Ölçülür ve AI Botları robots.txt ile Nasıl Yönetilir?

llms.txt nedir? (Kısa cevap)

llms.txt, sitenizin kök dizininde (örneğin siteadi.com/llms.txt) duran, büyük dil modellerine (LLM) ve yapay zekâ araçlarına 'bu sitede en önemli içerikler bunlar' diyen düz metin bir dosyadır. Markdown ile yazılır: bir H1 başlık (site ya da proje adı), bir cümlelik özet ve H2 bölümler altında açıklamalı bağlantı listeleri.

Fikri Answer.AI'dan Jeremy Howard Eylül 2024'te llmstxt.org'da önerdi. Amaç, reklam, menü ve JavaScript'le dolu HTML sayfaları yerine yapay zekâya temiz ve kısa bir içerik haritası sunmaktı. Önemli ayrıntı: llms.txt bir W3C ya da IETF standardı değildir; hiçbir AI şirketi dosyayı okumayı resmî olarak taahhüt etmemiştir.

Dosyanın formatı, örnek bir llms.txt ve hangi sayfaların girmesi gerektiği llms.txt Oluşturucu sayfasında ayrıntılı anlatılıyor; bu yazı 'işe yarıyor mu, kim okuyor, nasıl ölçülür' sorularına odaklanıyor.

llms.txt işe yarıyor mu? 2026 verileri ne diyor?

Bugüne kadarki en büyük iki çalışma aynı sonuca varıyor: llms.txt, AI aramalarında görünürlüğü ölçülebilir biçimde artırmıyor ve dosyayı AI arama botlarının çok küçük bir kısmı istiyor.

Ahrefs (Haziran 2026), Mayıs 2026'da trafik alan 137.210 alan adının sunucu loglarını inceledi. Alan adlarının yaklaşık %28'i llms.txt yayınlıyordu (Ahrefs kullanıcıları teknik bir kitle olduğu için bunu üst sınır olarak niteliyor). Bu dosyaların %97'si ay boyunca hiç istek almadı; tüm dosyalara gelen yaklaşık 22 bin isteğin %96'sı botlardan geliyordu ve bu botların %77'si yapay zekâ aracı değil, SEO denetim araçları, genel tarayıcılar ve teknoloji profilleme botlarıydı.

SE Ranking (Kasım 2025) yaklaşık 300 bin alan adında llms.txt varlığı ile büyük dil modellerinin yanıtlarında alıntılanma sıklığını karşılaştırdı. Alan adlarının %10,13'ünde dosya vardı ve iki değişken arasında ilişki bulunmadı; llms.txt değişkenini modelden çıkarmak tahmin doğruluğunu artırdı.

• Ahrefs'te AI ile ilgili tüm kategoriler (ajanlar, eğitim botları, asistanlar, arama botları) toplam isteklerin %19,5'i; yazarlar bunu 'en cömert okuma' olarak tanımlıyor, çünkü dosyanın istenmesi okunduğu anlamına gelmiyor
• AI botları içinde en çok isteyen GPTBot (%4,51); ClaudeBot %0,8, ChatGPT aramasının botu OAI-SearchBot %0,74; PerplexityBot llms.txt'yi Slack'in bağlantı önizleme botundan daha az istedi
• Dikkat çeken istisna: Claude Code adlı kodlama ajanı, GPTBot dışındaki tüm AI arama, asistan ve eğitim botlarından daha fazla istek yaptı — llms.txt'nin bugünkü gerçek okuru geliştirici araçları
• Var olmayan llms.txt dosyalarına (404) gelen isteklerin %98'i insanlardan, sıfırı AI botlarından geliyordu: dosya yoksa AI botları onu aramıyor bile

Google llms.txt hakkında ne diyor?

Google Arama tarafının tutumu açık: Mayıs 2026'da yayımlanan AI arama optimizasyon rehberi, AI Overviews ve AI Mode'da görünmek için llms.txt, yapay zekâya özel metin dosyaları, özel şema ya da içeriği küçük parçalara bölmek gibi işlemlerin gerekmediğini söylüyor. John Mueller, Haziran 2026'da Reddit'te llms.txt için 'şimdilik tamamen spekülatif' dedi ve çoğu site için asıl sorunun ajanları engellemek olacağını ekledi. Daha önce de dosyayı anahtar kelime meta etiketine benzetmişti.

Kafa karıştıran nokta Chrome tarafı: Lighthouse 13.3 (Mayıs 2026) deneysel 'Agentic Browsing' kategorisine bir llms.txt denetimi ekledi ve dosyayı 'gelişmekte olan bir gelenek' olarak tanımlıyor. Bu, tarayıcı ajanlarının geleceğine yönelik deneysel bir kontroldür; Google Arama'da sıralama ya da AI Overviews sinyali değildir. Lighthouse'ta bu uyarıyı görmeniz, sitenizin aramada geri kaldığı anlamına gelmez.

llms.txt eklemeli miyim? Karar listesi

llms.txt'nin maliyeti düşük, getirisi bugün belirsiz. Bu yüzden karar 'herkes eklesin' ya da 'tamamen gereksiz' değil, sitenin kimin için olduğuna göre verilmelidir.

Riskleri de unutmayın: dosya güncellenmezse kaldırılmış sayfalara yönlendirir; Ahrefs, dosyanın yapay zekâ araçlarına talimat gibi okunabilecek metin içerebileceği için (prompt injection) kod gibi yönetilmesini, yani değişikliklerin gözden geçirilmesini öneriyor.

• Ekleyin (öncelikli): API ya da geliştirici dokümanı, SaaS ürün dokümanı, açık kaynak proje — Claude Code ve benzeri ajanlar bu sitelerin gerçek ziyaretçisi
• Ekleyebilirsiniz (30 dakikalık iş, beklenti düşük): içerik ağırlıklı B2B siteleri, danışmanlık ve hizmet siteleri; araçlar ve rehberler gibi derli toplu bir sayfa listeniz varsa
• Öncelik değil: e-ticaret ve yerel işletme siteleri — burada ürün verisi (Merchant Center), Google İşletme Profili, dizine eklenme ve sayfa hızı çok daha etkili
• Yapmayın: llms.txt'yi robots.txt'nin yerine erişim kontrolü sanmak, botlar için ayrı Markdown sayfalar üretip asıl sayfaları ihmal etmek, dosyaya her URL'yi doldurmak

llms.txt, robots.txt ve sitemap.xml arasındaki fark nedir?

Üç dosya da kök dizinde durur ama farklı işler yapar ve birbirinin yerini tutmaz. AI botlarına erişim izni vermek ya da kısıtlamak llms.txt ile değil, robots.txt ile yapılır.

• robots.txt: hangi botun hangi yolları tarayabileceğini söyler (erişim kuralı). Arama ve AI botlarının büyük çoğunluğu uyar
• sitemap.xml: arama motorlarına dizine eklenecek URL'lerin tam listesini ve güncelleme tarihlerini verir (keşif)
• llms.txt: insanların ve yapay zekânın okuyabileceği kısa, açıklamalı bir 'en önemli sayfalar' özeti sunar (bağlam). Hiçbir bot buna uymak zorunda değildir

AI botları robots.txt ile nasıl yönetilir?

AI şirketleri farklı işler için farklı botlar kullanır ve her biri robots.txt'de ayrı ayrı yönetilir. En önemli ayrım: model eğitimi için tarayan botlar, AI arama sonuçları için tarayan botlar ve bir kullanıcının sorusu üzerine o an sayfayı açan botlar. OpenAI belgelerine göre bu ayarlar birbirinden bağımsızdır; eğitimi kapatıp aramada görünmeye devam edebilirsiniz.

Önce politikanızı seçin, sonra robots.txt'ye uygun blokları ekleyin. Değişikliklerin etkisi zaman alır (OpenAI arama için yaklaşık 24 saat diyor). Kullanıcı isteğiyle çalışan botlar (ChatGPT-User, Perplexity-User) robots.txt'ye uymayabilir; içeriği gerçekten kapatmak gerekiyorsa tek çözüm sayfayı herkese açık olmaktan çıkarmaktır.

• Eğitim botları: GPTBot (OpenAI), ClaudeBot (Anthropic), Google-Extended (Gemini uygulamaları ve Vertex AI; Google, bu tokenin Google Arama'da dahil edilmeyi ve sıralamayı etkilemediğini belirtiyor)
• AI arama botları: OAI-SearchBot (ChatGPT arama), Claude-SearchBot (Claude arama), PerplexityBot (Perplexity arama). Bunları engellemek ilgili AI aramada görünürlüğünüzü azaltır
• Kullanıcı isteği botları: ChatGPT-User, Claude-User, Perplexity-User — bir kullanıcı sorduğunda sayfayı o an açar; Anthropic, Claude-User'ı engellemenin kullanıcı yönlendirmeli aramada görünürlüğü azaltabileceğini söylüyor
• Politika 1 — Hepsine açık (çoğu işletme sitesi için önerilen): ek kural gerekmez; 'User-agent: *' ve 'Allow: /' yeterlidir
• Politika 2 — AI aramada görün, eğitime kapat: 'User-agent: GPTBot', 'User-agent: ClaudeBot' ve 'User-agent: Google-Extended' satırlarının her birinin altına 'Disallow: /' yazın; OAI-SearchBot, Claude-SearchBot ve PerplexityBot'a dokunmayın
• Politika 3 — Tüm AI botlarına kapat: yukarıdaki eğitim ve arama botlarının hepsine 'Disallow: /' verin; AI aramalarında kaynak olarak görünme şansınızdan da vazgeçtiğinizi bilerek

llms.txt okunuyor mu? Sunucu logunda nasıl ölçülür?

Ahrefs'in tavsiyesi de bu: karar vermeden önce kendi loglarınıza bakın. Aşağıdaki adımlar bir ay içinde dosyanızı kimin istediğini gösterir. Not: GitHub Pages gibi statik barındırma hizmetleri erişim logu vermez; bu durumda sitenizin önündeki CDN'in bot raporlarını ya da logu tutulan bir barındırmayı kullanmanız gerekir.

Sonucu doğru okuyun: bir botun llms.txt'yi istemesi, içeriği kullandığı ya da sizi alıntılayacağı anlamına gelmez. Anlamlı soru şudur: llms.txt'yi isteyen AI botları, ardından dosyadaki sayfaları da ziyaret ediyor mu? Aynı log üzerinde bu sayfalara gelen OAI-SearchBot, Claude-SearchBot ve PerplexityBot isteklerini dosya eklenmeden önceki ayla karşılaştırın.

• 1. Son 30 günün erişim logunu indirin (Nginx/Apache 'access.log' ya da barındırma panelindeki ham loglar)
• 2. llms.txt isteklerini kullanıcı ajanına göre sayın: grep "llms.txt" access.log | awk -F'"' '{print $6}' | sort | uniq -c | sort -rn
• 3. Sahte botları ayıklayın: kullanıcı ajanı kolayca taklit edilir. OpenAI ve Google botlarının IP aralıklarını yayımlar; IP'leri bu listelerle ya da ters DNS sorgusuyla doğrulayın
• 4. Durum kodlarına bakın: 200 dönen istekler dosyanın sunulduğunu, 404'ler dosyanın olmadığını gösterir; sunucu hataları (5xx) Lighthouse denetiminde de uyarı üretir
• 5. Karşılaştırın: aynı dönemde robots.txt'yi ve asıl sayfalarınızı isteyen AI botlarını sayın; llms.txt'yi isteyen bot sayısı bunun küçük bir kesriyse dosya şu an sizin için bir 'okuma kanalı' değildir

AI aramalarında görünmek için asıl ne işe yarar?

Google'ın AI arama rehberi, üretken AI özellikleri için yapılacak işin ayrı bir disiplin değil SEO'nun parçası olduğunu söylüyor. AI Overviews ve AI Mode'da kaynak gösterilmenin ön koşulu, sayfanın dizinde ve snippet'e uygun olmasıdır. Diğer AI aramalarında da ortak payda aynıdır: botun sayfaya erişebilmesi ve sayfada alıntılanmaya değer, özgün bir bilgi bulunması.

Bu sitede uyguladığımız sıra şöyle: önce sayfaların derleme sırasında üretilmiş tam HTML olarak yayınlanması ve dizine girmesi, sonra her yazının ilk bölümünde sorunun doğrudan cevabı ve kendi hesap örnekleri, en son llms.txt gibi düşük maliyetli ekler.

• Erişim: robots.txt'de AI arama botlarını (OAI-SearchBot, Claude-SearchBot, PerplexityBot) ve Googlebot'u engellemeyin; güvenlik duvarı ya da bot koruması ayarlarının bu botları kesmediğini kontrol edin
• Dizin: önemli sayfalar Google'da dizinde olmalı; Search Console'da 'Keşfedildi – dizine eklenmedi' listesini düzenli temizleyin
• Okunabilir HTML: içeriğin JavaScript çalışmadan da HTML'de bulunması (sunucu tarafı ya da statik üretim) birçok AI botu için önemlidir
• Özgün içerik: Google'ın ifadesiyle 'sıradan olmayan' içerik — kendi verileriniz, hesap örnekleriniz, deneyiminiz. Herkesin yazdığı tanımı tekrarlamak alıntı getirmez
• Cevap önce yapı: soru biçimli başlıklar ve her bölümün ilk cümlesinde net cevap, hem okur hem de AI özetleri için en kolay alıntılanan biçimdir

llms.txt nasıl oluşturulur? (Kısa yol)

Eklemeye karar verdiyseniz iş yarım saati geçmez: H1'e site adını, altına tek cümlelik özeti yazın, en önemli 20–50 sayfanızı 'Araçlar', 'Rehberler', 'Hizmetler' gibi H2 bölümler altında açıklamalı bağlantılar olarak listeleyin ve dosyayı kök dizine yükleyin. Ardından tarayıcıda siteadi.com/llms.txt adresini açarak düz metin olarak göründüğünü kontrol edin.

llms.txt Oluşturucu bu adımları formla yapar, örnek dosyayla başlamanızı sağlar ve H1, özet, bağlantı biçimi, göreli ya da http bağlantı ve tekrar eden URL hatalarını kontrol eder. Statik site üreticisi kullanıyorsanız dosyayı derleme sırasında sayfa envanterinden otomatik üretmek, eski bağlantı riskini ortadan kaldırır; bu sitede de llms.txt her derlemede yeniden üretiliyor.