Sitemap.xml ve Robots.txt Sunucu Optimizasyonu Rehberi

Sitemap.xml ve Robots.txt Sunucu Tarafında Nasıl Optimize Edilir?

Arama motoru optimizasyonu (SEO) denildiğinde çoğu kişi içerik kalitesi ve backlink stratejilerini düşünür. Ancak teknik SEO'nun temel taşlarından biri olan Sitemap.xml ve Robots.txt dosyalarının optimizasyonu, web sitelerinin arama motorları tarafından doğru şekilde taranması ve indekslenmesi için kritik öneme sahiptir. Bu rehberde, sunucu tarafında bu iki dosyayı nasıl optimize edeceğinizi detaylı olarak ele alacağız.

Google'ın son verilerine göre, indeksleme sorunu yaşayan web sitelerinin %27'si hatalı veya eksik sitemap dosyalarından kaynaklanmaktadır (Google Search Console 2024 Raporu). Bu nedenle doğru yapılandırılmış bir sitemap ve robots.txt dosyası, sitenizin arama sonuçlarında görünürlüğünü doğrudan etkiler.

Sitemap.xml Nedir ve Neden Önemlidir?

Sitemap.xml, web sitenizin tüm sayfalarını, medya dosyalarını ve diğer kaynaklarını arama motorlarına bildiren bir XML dosyasıdır. Bu dosya, arama motoru örümceklerinin sitenizdeki içerikleri keşfetmesini kolaylaştırır ve özellikle büyük web siteleri için kritik öneme sahiptir.

Sitemap.xml dosyasının temel işlevleri şunlardır:

• Arama motorlarına hangi sayfaların indekslenmesi gerektiğini bildirme
• Sayfaların son güncellenme tarihlerini belirtme
• Sayfalar arasındaki öncelik sıralamasını belirleme
• İçerik değişikliklerini arama motorlarına bildirme

WordPress kullanıcıları için WordPress hosting çözümlerinde bu optimizasyonu kolaylaştıran eklentiler mevcuttur.

Sitemap.xml Türleri

Farklı içerik türleri için farklı sitemap türleri kullanılabilir:

Sitemap Türü	Kullanım Amacı	Örnek
XML Sitemap	Tüm web sayfaları için	standart indeksleme
Image Sitemap	Görseller için	Google Görsel Arama
Video Sitemap	Video içerikleri için	YouTube, video arama
News Sitemap	Haber içerikleri için	Google Haberler
Mobile Sitemap	Mobil sayfalar için	Mobil indeksleme

Sitemap.xml Sunucu Tarafında Nasıl Optimize Edilir?

1. XML Yapısını Doğru Oluşturma

Sitemap.xml dosyası, W3C standartlarına uygun olarak oluşturulmalıdır. Temel yapı aşağıdaki öğeleri içermelidir:

<?xml version="1.0" encoding="UTF-8"?>
<urlset xmlns="http://www.sitemaps.org/schemas/sitemap/0.9">
  <url>
    <loc>https://orneksite.com/sayfa</loc>
    <lastmod>2024-01-15</lastmod>
    <changefreq>weekly</changefreq>
    <priority>0.8</priority>
  </url>
</urlset>

2. Sitemap Boyutunu Optimize Etme

Google'ın sitemap dosyaları için belirlediği sınırlar şunlardır:

• Maksimum URL sayısı: 50.000 URL
• Maksimum dosya boyutu: 50MB (sıkıştırılmamış)
• Sitemap index dosyası: 50.000 sitemap'e kadar desteklenir

Bu sınırları aşan siteler için sitemap index dosyası kullanmanız önerilir. E-ticaret siteleri için e-ticaret hosting gereksinimleri yazımızda bu konuyu detaylı inceledik.

3. Lastmod Etiketini Güncel Tutma

Her URL için <lastmod> etiketi mutlaka eklenmelidir. Bu, arama motorlarına sayfanın en son ne zaman güncellendiğini bildirir. Dinamik içerik yönetim sistemlerinde bu değer otomatik olarak güncellenmelidir.

4. Changefreq Değerlerini Doğru Ayarlama

Sayfa güncelleme sıklığı için doğru değerleri kullanmak önemlidir:

td>Ürün sayfaları

İçerik Türü	Changefreq Değeri
Haber siteleri	daily
Blog yazıları	weekly
weekly veya monthly
Hakkımızda, iletişim	monthly veya yearly

5. Öncelik (Priority) Değerlerini Ayarlama

Priority değerleri 0.0 ile 1.0 arasında belirlenir. En önemli sayfalarınıza 1.0, daha az önemli sayfalara düşük değerler verin. Ana sayfalar için genellikle 1.0, kategori sayfaları için 0.8, ürün sayfaları için 0.6 değerleri önerilir.

6. Sitemap'i Sıkıştırma

Büyük sitemap dosyaları için gzip sıkıştırma kullanılması önerilir. Bu, sunucu yükünü azaltır ve transfer hızını artırır. Örneğin: sitemap.xml.gz

7. Sitemap Index Kullanımı

Büyük web siteleri için sitemap index dosyası kullanmak, yönetimi kolaylaştırır:

<?xml version="1.0" encoding="UTF-8"?>
<sitemapindex xmlns="http://www.sitemaps.org/schemas/sitemap/0.9">
  <sitemap>
    <loc>https://orneksite.com/sitemap-urunler.xml</loc>
    <lastmod>2024-01-15</lastmod>
  </sitemap>
  <sitemap>
    <loc>https://orneksite.com/sitemap-blog.xml</loc>
    <lastmod>2024-01-14</lastmod>
  </sitemap>
</sitemapindex>

8. Sunucu Yanıt Kodlarını İzleme

Sitemap sunarken doğru HTTP yanıt kodları döndürülmelidir:

• 200 OK: Sitemap başarıyla sunuluyor
• 404 Not Found: Sitemap bulunamıyor - hata düzeltilmeli
• 500 Server Error: Sunucu hatası - acil müdahale gerekli

Robots.txt Nedir ve Neden Önemlidir?

Robots.txt, arama motoru örümceklerine web sitenizin hangi bölümlerini tarayabileceğini veya tarayamayacağını bildiren bir metin dosyasıdır. Bu dosya, sunucu kök dizininde (public_html) bulunmalıdır.

Robots.txt dosyasının temel işlevleri:

• Arama motorlarının erişimini kontrol etme
• Sunucu kaynaklarını koruma
• Yinelenen içerik sorunlarını önleme
• Gizli sayfaların indekslenmesini engelleme

Sunucu güvenliği için port kapatma ve güvenlik duvarı ayarlarını da göz önünde bulundurmalısınız.

Robots.txt Directive'leri

Robots.txt dosyasında kullanılan temel directive'ler:

Directive	Açıklama
User-agent	Hangi arama motoru örümceği için kurallar geçerli
Allow	Belirli bir kaynağa erişime izin verme
Disallow	Belirli bir kaynağa erişimi engelleme
Crawl-delay	İstekler arası bekleme süresi
Sitemap	Sitemap dosyasının konumu

Robots.txt Sunucu Tarafında Nasıl Optimize Edilir?

1. Temel Robots.txt Yapılandırması

Standart bir robots.txt dosyası şu şekilde olmalıdır:

User-agent: *
Disallow: /cgi-bin/
Disallow: /tmp/
Disallow: /admin/
Disallow: /uye-giris/

Sitemap: https://orneksite.com/sitemap.xml

2. Arama Motorlarına Özel Kurallar

Farklı arama motorları için farklı kurallar belirlenebilir:

# Tüm örümceklere genel kurallar
User-agent: *
Disallow: /private/

# Googlebot'a özel kurallar
User-agent: Googlebot
Allow: /images/
Disallow: /private/

# Bingbot için özel kurallar
User-agent: Bingbot
Disallow: /admin/

3. Crawl-Delay Ayarı

Sunucu yükünü azaltmak için crawl-delay değeri kullanılabilir:

User-agent: *
Crawl-delay: 2

Bu ayar, örümceklerin 2 saniye beklemesini sağlar. Ancak Googlebot bu directive'i dikkate almaz; bu nedenle Google için Search Console üzerinden hız sınırlaması yapılmalıdır.

4. Önemli Sayfaları Koruma

Önemli içeriklerinizi yanlışlıkla engellemeyin:

# Yanlış kullanım (kaçınılmalı)
User-agent: *
Disallow: /

# Doğru kullanım
User-agent: *
Disallow: /cgi-bin/
Disallow: /tmp/
Allow: /

5. AJAX ve JavaScript İçerikleri

Modern web sitelerinde JavaScript ile oluşturulan içeriklerin taranabilmesi için:

User-agent: *
Allow: /
Allow: /js/
Allow: /css/
Disallow: /ajax.googleapis.com/

6. CDN ve Harici Kaynaklar

İçerik dağıtım ağları (CDN) kullanıyorsanız:

User-agent: *
Disallow: /cdn-cgi/
Allow: /static/

7. WordPress ve CMS Optimizasyonu

WordPress siteleri için önerilen robots.txt:

User-agent: *
Disallow: /wp-admin/
Allow: /wp-admin/admin-ajax.php
Disallow: /wp-includes/
Disallow: /tag/
Disallow: /category/

Sitemap: https://orneksite.com/sitemap_index.xml

Sitemap.xml ve Robots.txt Birlikte Kullanımı

Bu iki dosya birlikte kullanıldığında en iyi sonuçları verir. Robots.txt dosyasında sitemap konumunu belirtmek, arama motorlarının sitemap'i kolayca bulmasını sağlar:

User-agent: *
Disallow: /admin/
Disallow: /sepet/
Allow: /

Sitemap: https://orneksite.com/sitemap.xml
Sitemap: https://orneksite.com/sitemap-blog.xml

E-ticaret siteleri için e-ticaret otomasyon sistemleri yazımızda bu konuyu detaylı olarak inceleyebilirsiniz.

İş Akışı Örneği

1. Robots.txt dosyası sunucu tarafından okunur
2. Engellenmemiş sayfalar taranır
3. Sitemap.xml dosyasındaki URL'ler indekslenir
4. Sayfalar arama sonuçlarında görünür hale gelir

Ortak Hatalar ve Çözümleri

1. Sitemap URL Sayısının Aşılması

Problem: 50.000 URL sınırının aşılması

Çözüm: Sitemap index dosyası kullanarak birden fazla sitemap oluşturun.

2. Yanlış URL Formatı

Problem: Mutlak URL (absolute URL) yerine göreli URL (relative URL) kullanılması

Çözüm: Tüm URL'leri mutlak olarak belirtin: https://orneksite.com/sayfa

3. Robots.txt Konum Hatası

Problem: Robots.txt'nin yanlış dizinde bulunması

Çözüm: Robots.txt mutlaka web sitesi kök dizininde (root) olmalıdır: orneksite.com/robots.txt

4. Disallow Kurallarının Çakışması

Problem: Allow ve Disallow kurallarının birbiriyle çakışması

Çözüm: En spesifik kural her zaman öncelikli olur. Daha spesifik kuralları en üste yazın.

5. HTTP ve HTTPS Karışıklığı

Problem: sitemap'te HTTP ve HTTPS URL'lerin karışması

Çözüm: Sadece canonical URL'leri