Robots.txt nedir? Nasıl kullanılır?

[BHA]

Robots.txt nedir?

Sitenin ana dizininde (kök dizini) bulunmaktadır.
Çalışması bunun dışında olmamaktadır. ( www.siteadresi.com/robots.txt )
Kullanılmasının en yaygın amacı google sıralamalarında görünmesini engelleme, indexlenmesini engelleme, hariç tutmaktır.

Nasıl kullanılır?

User-agent:
Bu satır bir başlangıç kuralını belirtir. Yani hedeflenen GoogleBot ise aşağısına taranmalı ve taranmamalı olarak yollar eklenir.
Örnek kullanım:
User-agent: GoogleBot
Disallow:
Allow: /wp-content/uploads/

User-agent: *
Eğer yıldız işareti bırakırsanız altına ise Disallow: satırını boş bırakar yazarsanız. siteniz tüm arama motorları tarafından taranmaz halde olacaktır.
Allow: / olarak eklerseniz bütün botların sitenizi görüp taramasına izin vemriş olursunuz.
İdeal kullanımı:
User-agent: *
Allow: /wp-content/uploads/
Disallow: /wp-admin/
Bu şekilde kullanıp taranmasını ve taranmamasını isteyeceğimiz yolları belirtmektir.

Disallow nedir?
Arama motorlarına taranmamasını istediğimiz yolları belirtir.
Örnek kullanım:
Disallow: /wp-includes/js/

Allow nedir?
Arama motorlarına taranmalı diyebileceğimiz yolları belirtir.
Örnek kullanım:
Allow: /wp-content/uploads/


Robots.txt - header.php Kullanımı

Sitenin google tarafından taranmaması için aşağıda kod header.php ye eklenir.
<meta name="googlebot" content="noindex" />

Botlar gelmesine izin verilen bir koddur.Fakat indexlenmesi istenmediği anlamına gelir.
<meta name=”robots” content=”noindex, follow” />


Search Konsolunuzda "noindex" hata sayfaları alıyorsanız header.php de meta tagınızda noindex varlığına bakınız. "noindex" hatalarını eğer konsolunuzda etiket sayfalarınızın olduğunu görüyorsanız düzeltilmesini isteyin.

Robotx.txt dosyanıza mutlaka site haritanızı ekleyin.
Örnek ekleme şu şekilde olmalı:
Sitemap: http://www.siteadresim.com/sitemap_index.xml

Birden çok site haritasını robotx.txt ekleyebilir miyim? - Evet
Birden çok site haritasını search konsola ekleyebilir miyim? - Evet
Birden çok robotx.txt kullanabilir miyim? - Hayır
header.php de yukarıda belirtilen meta tagını kullanmam zorunlu mudur? - Hayır


Sitemap: http://www.google.com/ping?sitemap=h...emap_index.xml
Bu verdiğim linki kendinize göre düzenleyin ve yeni bir sekmede açın.
Site Haritası Bildirimi Alındı. yazısını okudunuz mu?
Öyleyse robots.txt dosyasına eklersem bu pinglemenin bana faydası olabilir.


Örnek bir Robots.txt Kullanımı

Bir çok kişi örnek bir robotx.txt dosyası nasıl olmalıdır diye araştırmalar yapıyor, destek konuları açıyor. Bununla birlikte robots.txt dosyasını seo açısında önemli hale getirmek düşünceleri var olmaktadır.

Google botlarını tek tek yazarak sitemin taranmasını istersem şöyle yapmalıyım.

User-agent: Googlebot-Mobile
Allow: /wp-content/uploads/

User-agent: Twitterbot
Allow: /wp-content/uploads/

User-agent: Googlebot-Image
Allow: /wp-content/uploads/

User-agent: Mediapartners-Google*
Allow: /wp-content/uploads/

User-agent: Adsbot-Google
Allow: /wp-content/uploads/


Şunları da altına yazarım. Bunları tarama indexleme derim.

Disallow: /wp-content/plugins/
Disallow: /wp-content/cache
Disallow: /wp-includes/js

Site haritalarını da altına ekleyebilirim.

Sitemap: https://www.siteadresi.com/sitemap_index.xml
Sitemap: http://www.google.com/ping?sitemap=h...emap_index.xml

Önemli
Search Console eski sürümünde robots.txt bölümünde hata varmı yok mu kesin bakın.
Genel de sadece allow ya da sadece disallow eklenerek alınan hatalar vardır.
Mutlaka hem disallow hem de allow kullanın.

Alıntı​