Index ve Crawl Yönetimi Rehberi

(Google Bot Davranışı, Crawl Budget Optimizasyonu ve Güvenli Indexleme Stratejileri)

SEO’da başarısız olan projelerin büyük bölümü içerik yetersizliğinden değil, yanlış index ve crawl yönetiminden kaybedilir.
Bu durum sohbet sitelerinde daha kritiktir; çünkü:

URL üretimi sınırsızdır

İçerik kalitesi heterojendir

Spam riski yüksektir

Bu rehber, arama motorlarının sitenizi neyi, ne zaman ve neden taradığını kontrol altına almanızı amaçlar.

1. Index ve Crawl Kavramlarının Net Ayrımı

Crawl Nedir?

Arama motoru botlarının sitenizi tarama sürecidir.

Index Nedir?

Taradığı içeriği arama sonuçlarında saklama ve gösterme kararıdır.

Taratılan her URL indexlenmez.
Indexlenen her URL sıralama almaz.

Bu ayrım yapılmadan SEO stratejisi oluşturmak temelden hatalıdır.

2. Crawl Budget Nedir ve Neden Kritiktir?

Crawl Budget Tanımı:

Google’ın sitenize belirli bir zaman diliminde ayırdığı tarama kaynağıdır.

Sohbet sitelerinde crawl budget hızla tükenir çünkü:

Sonsuz sohbet odaları

Parametreli URL’ler

Dinamik sayfalar

Crawl Budget İsrafına Yol Açan Unsurlar

Boş sohbet odaları

Aynı içeriğin farklı URL’leri

Arama filtreleri

Login / kayıt ekranları

3. Sohbet Siteleri İçin Riskli URL Türleri

Aşağıdaki URL’ler varsayılan olarak indexlenmemelidir:

Aktif olmayan sohbet odaları

Kullanıcı profilleri (zayıf içerikliyse)

Arama sonuç sayfaları

Parametreli sayfalar (?ref, ?sort vb.)

Tek mesajlı sayfalar

Bu sayfalar Google için düşük kalite sinyali üretir.

4. Noindex, Nofollow ve Robots.txt Doğru Kullanımı

4.1 Noindex Ne Zaman Kullanılır?

İçerik Google’a taratılabilir ama sonuçlarda gösterilmemelidir

Kalite skoru düşük ama site içi linkleme için gerekli sayfalar

4.2 Robots.txt Ne Zaman Kullanılır?

Botların hiç taramaması gereken alanlar

Crawl budget tasarrufu gereken URL blokları

Robots.txt = Crawl kontrolü
Noindex = Index kontrolü

Bu ikisi birbirinin alternatifi değildir.

5. Canonical Stratejisi ile Index Kirliliği Önleme

Canonical Hataları:

Her sayfaya self-canonical atamak

Parametreli URL’leri canonical bırakmak

Canonical + noindex birlikte kullanmak

Doğru Yaklaşım:

Benzer içerikler tek ana URL’ye yönlendirilir

Parametreli varyasyonlar canonical ile temizlenir

Canonical, sohbet sitelerinde sessiz ama güçlü bir SEO silahıdır.

6. Sitemap Yönetimi: Her URL Sitemap’e Girmez

Yanlış Algı:

“Sitemap’e giren her URL indexlenir”

Doğru Gerçek:

Sitemap, Google’a öncelik listesi sunar.

Sohbet Siteleri İçin Sitemap Kuralları:

Sadece performans üreten sayfalar

Güncellenen ve aktif odalar

Editoryal içerikler

Spam URL’leri sitemap’e eklemek, siteyi bilinçli olarak riske atmak demektir.

7. Google Search Console ile Crawl & Index Takibi

Takip Edilmesi Gereken Raporlar:

Page Indexing

Crawl Stats

Discovered – Currently Not Indexed

Crawled – Not Indexed

Bu raporlar:

Kalite sorunlarını

Algoritmik filtreleri

Crawl israfını gösterir

8. JavaScript ve Render Kaynaklı Crawl Sorunları

Sohbet sitelerinde sık görülen sorunlar:

İçeriğin JS ile sonradan yüklenmesi

Botun mesajları görememesi

Boş DOM algısı

Çözüm:

SSR veya Dynamic Rendering

Bot için statik önbellek

Google, görmediği içeriği indexlemez.

9. Index Kirliliği Belirtileri

Aşağıdaki durumlar alarmdır:

Indexlenen URL sayısı hızla artıyor

Trafik artmadan görünürlük düşüyor

Çok sayıda “Crawled – Not Indexed”

Bu, Google’ın siteyi kalite filtresine soktuğunu gösterir.

10. Güvenli Index & Crawl Yol Haritası (Özet)

Adım Aksiyon
1 URL envanteri çıkar
2 Riskli URL’leri sınıflandır
3 Noindex / robots kararları
4 Canonical yapı kur
5 Sitemap’i sadeleştir
6 GSC ile sürekli izle

Kontrol Edilmeyen Index, Kontrol Edilmeyen Risktir

Index ve crawl yönetimi:

Teknik bir detay değil

SEO’nun omurgasıdır

Özellikle sohbet sitelerinde:

“Az URL, çok kalite” her zaman kazanır.

Author: web