WordPress Robots.txt Nasıl Olmalıdır

Evet arkadaşlar… Hazır sistemlerin en çok tercih edileni, bilineni ve gelişim açısından en iyi yolu açık olan sistemi WordPress için codex ve farklı arşivlerde araştırıp, gerçekten olumlu olduğuna inandığım bir robots.txt dosya yapısını size anlatmaya çalışacağım. Ama önce bu robots.txt nedir sorusuna bir cevap vermemiz gerek diye düşünüyorum…

Bu dosya tüm arama motorlarına bağlı örümcekler web sitenize girdiğinde ilk baktığı dosyadır. Bu dosya sizin arama motorlarına vermiş olduğunuz izinlere dayalı indexleme yapar. Yani admin bilgilerinden tutunda kod hatalarına, kişi bilgilerinden tutunda düğme resimlerine kadar herşeyi çekebilir. Bu sizin için olmaması daha mantıklı olan bir şeydir. Bir resimle açıklayayım…

Sol taraftaki resimde Google botları sitenin her yerine dolaştığını ve her yerden index topladığını ve özel dosyalarınıza ulaştığını dahi görebiliyorsunuz. Sağ tarafta ise robots.txt dosyası kullanıldığında istemediğiniz dosyalara erişimi kısıtlıyor ve daha güvenli bir alan sağlıyor… SEO için neden önemli diye soracak olursanız Google her sitede mutlaka belirli başlı bir düzen aramaktadır.

Bunun en önemli çalışması olduğu için bu dosyanızın web sitenizde önemli yer kapladığını söyleyebilirim. Bu dosya bildiğiniz not defteri uzantısı olan txt dosyasıdır ve bu dosyayı sitenizin ANA dizinine atmanız gerekiyor. Yani public_html dosyasının içersine.

WordPress için düzenlenebilecek ve en iyi şekilde optimize edilecek ve SEO kavramına faydası olduğunu düşündüğüm ve kendi kullandığım kodları sizinle paylaşmak istedim…

1 2 3 4 5 6 7 8 9 10 11 12 13 14 15 16 17 18 19 20 21 22

User-agent: Googlebot Disallow: /wp-content/ Disallow: /trackback/ Disallow: /wp-admin/ Disallow: /archives/ Disallow: /index.php Disallow: /*.php$ Disallow: /*.js$ Disallow: /*.css$ Disallow: */feed/ Disallow: */trackback/   User-agent: Googlebot-Image Disallow: /wp-includes/   User-agent: ia_archiver Disallow: /   User-agent: duggmirror Disallow: /   Sitemap: http://www.seomakale.com/sitemap.xml.gz

Evet Arkadaşlar. Sitemap dosyanızı mutlaka robots.txt dosyası alt yada üst kısmında mutlaka belirtin ve Google’ nin veya diğer arama motorlarının sitemap dosyanızı gözünden kaçırma gibi bi lüksü olmasın. Google SEO aracı yani  All-in-SEO yada WpSEO gibi eklenti kullanıyorsanız sitemap.xml.gzdosyanızı robots.txt dosyasında göstermeniz daha ufak boyutta olacağından SEO açısından daha hızlı ve çabuk indexlenmesinde çok büyük faydası olur.

İlerleyen zamanlarda yazılarımda ve makalelerimde daha fazla sistemin araştırmalar sonucu vereceği cevaplara göre sizlere bilgi paylaşımında bulunacağım.

Teşekkürler…