Robots.txt Nedir?

Robots.txt, arama motoru botlarının web sitemizin hangi sayfalarını ne şekilde tarayacağını/taramayacağını belirleyen txt formatındaki dökümana verilen isimdir.  Robots.txt dosyası, sitenizin tarayıcı trafiğini yönetmek, genellikle bir dosyayı veya sayfayı Google arama motorunun dışında tutmak için kullanılmaktadır. Robots.txt dosyasının ne için kullanılacağı dosyanın/sayfanın türüne bağlı olarak değişiklik göstermektedir.

Robots.txt Dosyası Nereye Eklenmelidir?

Web siteleri için özel olarak oluşturulan robots.txt dosyası sitenin barındırıldığı ana dizine eklenmelidir. Ana dizin genellikle (httpdocs, public_html) olarak bulunmaktadır. Robots.txt dosyasının herhangi bir alt klasör altına eklenmeden doğrudan ana dizin içerisine eklenmesi gerekmektedir.

Robots.txt Dosyası Nasıl Çalışır?

Robots.txt dosyası adından anlaşıldığı gibi .txt formatında oluşturulan ve içerisinde herhangi bir HTML işaretleme barındırmayan son derece kolay oluşturabilir dökümandır. Fakat, yanlış robots.txt ile siteniz Google gibi arama motorlarından kaldırılabilir, görüntülenemeyebilir. Ayrıca, ana dizine eklenen robots.txt dosyası web sitesinin URL uzantısı bölümüne /robots.txt yazarak görüntülenmektedir.

Örneğin: https://www.orbita.com.tr/blog/robots.txt

Web sitesi sahiplerinin veya web tasarım uzmanlarının atladığı, fakat Google gibi arama motoru botlarının en sık uğradığı mutlak adrestir.

Robots.txt Dosyası Nasıl Oluşturulur?

Robots.txt dosyası herhangi bir metin editörü veya metin belgesi ile basit bir şekilde oluşturulabilir. Robots.txt dosyası oluşturulurken bazı protokol formatlar kullanılarak robot taramalarına kolaylıklar sağlar. Protokol formatları kullanılarak arama motoru botlarının hedeflenen klasör/dosya veya sayfaları incelemesi kolaylaşır. Arama motoru botları için kullanılan protokole “Robots Exclusion Protocol” adı verilir.

Robots.txt Örneği

 

User-agent: *

Disallow: /

Robots.txt dosyası içerisinde kullanılan bir diğer protokol sitemap protokolüdür. Sitemap: Arama motoru botlarına sitenin haritasını iletilerek site içerisinde yer alan URL’leri Google botlarına iletmektedir.

Sitemap Nedir? Hakkında detaylı bilgi edinmek için aşağıdaki bağlantıyı ziyaret edebilirsiniz.

Robots.txt Nasıl Olmalıdır?

User-agent: *

Disallow:/

Sitemap: https://www.orbita.com.tr/blog/sitemap.xml

User-Agent Nedir? Nasıl Kullanılır?

Robots.txt içerisinde user-agent kodu yer almaktadır. Peki, user-agent kodu nedir? Ne işe yarar?

User-agent, arama motoru botlarını doğrudan hedeflediğimiz, internette dolaşan her kullanıcı için oluşturulan bilgilendirici kod dizgisidir. Arama motorlarında sorgulama işlemi gerçekleştiren kullanıcılar için oluşturulan user-agent ile ziyaret gerçekleştirilen sunuculara ziyareti gerçekleştiren kişi ile alakalı bilgilendirme sağlanır.

User-agent içerisinde bağlantı gerçekleştirilen bilgisayarın işletim sistemi, bağlantının gerçekleştirildiği tarayıcının ismi gibi bilgiler yer almaktadır.

Örnek: Mozilla/5.0 (Windows NT 6.1; Win64; x64; rv:47.0) Gecko/20100101 Firefox/47.0

Robots.txt dosyası içerisinde user-agent kullanılarak dosya içerisinde yer alan protokol ve direktiflerin hangi user-agent’a sahip bot için oluşturulduğunun bilgisi sağlanmaktadır.

Örneğin: User-agent: Googlebot

ifadesi kullanıldığında user-agent:Googlebot bölümünün altında yer alan ikinci bir user-agent bilgilendirmesine kadar olan direktifi yalnızca Googlebot için geçerli olacaktır.

User-agent: Googlebot

Disallow:/deneme/

Allow:/deneme/orbita.html

Tüm Allow ve Disallow direktifleri Googlebot’u ilgilendirir. Ayırca, Googlebot tarafından takip edilir.

User-agent: Bingbot

Disallow:/deneme/

Tüm Allow ve Disallow direktifleri Bingbot’u ilgilendirir. Ayırca, Bingbot tarafından takip edilir.

Buradaki örnekte Googlebot için deneme klasörünün tamamı taramaya kapatılırken deneme klasörünün altında yer alan orbita.html sayfası taramaya açık bırakılmıştır. Aynı robots.txt dosyası içerisinde siteyi ziyaret eden bingbot için ise yer alan tüm URL adresleri taramalara kapatılmıştır.

Allow, Disallow Nedir? Nasıl Kullanılmalıdır?

Robots.txt içerisinde yer alan allow ve disallow direktifleri siteniz içerisindeki hangi sayfaların taranıp, hangi sayfaların taranmayacağını belirlemektedir. Allow’ın türkçe karşılığı: izin vermek. Disallow’un türkçe karşılığı ise: izin vermemektir. Bu bilgiye istinaden Allow: protokol kullanımı ile site içerisindeki bir dizini, URL’i tümüyle veya kısmen tarama işlemlerine açabilirsiniz. Disallow ile de tam tersi şekilde taramaya kapatabilirsiniz.

Tüm Dizini Taramaya İzin Vermek

User-agent: *

Allow:/

Bu robots.txt dosyası ile oluşturduğunuzda sitenizin tüm dizinini yani tüm URL adreslerini arama motoru botlarına açık hale getirirsiniz.

Yalnızca Bir URL’yi taramalara açmak:

User-agent: *

Disallow:/admin/

Allow:/admin/burasiacik.php/

Yukarıdaki robots.txt dosyasında Allow: kullanımı ile Disallow direktifi kullanılarak tamamen taramalara kapatılan /admin/ alt klasörü içerisinde yer alan admin/burasiacik.php/ URL adresi taramalara açık bırakılmıştır.

Tüm Dizini Taramalara Kapatmak:

User-agent: *

Disallow:/

Robots.txt Dosyasının SEO için Önemi Nedir?

Robots.txt dosyası web sayfalarının arama motorlarında bir sıralama faktörü değildir. Fakat, robots.txt dosyası SEO çalışmaları için önemlidir. Bunun sebebi; Robots.txt web sitenizin arama motorlarında bulunmasını, taranabilir olmasını sağlamaktadır. Yanlış, hatalı veya eksik oluşturulmuş bir robots.txt dosyası sitenizin arama motorlarında yer almasına engel olabilmektedir. SEO çalışmalarında başarılı olsanız dahi arama motoru botları sayfanızı ziyaret etmiyorsa; Google’da herhangi bir sıralama alamazsınız. Googlebot’ un ziyaret edemediği, etmediği bir web sayfasını hiçbir kullanıcı ziyaret edemez. 🙂

Başarılı ve doğru yapılan bir robots.txt dosyası ile arama motoru botlarının sitenizin gereksiz bölümlerine ulaşmasını engelleyebilirsiniz. Ayrıca, sitenizin belirli sayfalarını daha çok taranmasını sağlayabilirsiniz.

Robots.txt Dosyasında Nelere Dikkat Edilmelidir?

• X bir bot için taramaya kapatmak istediğiniz sayfayı veya URL’i yanlışlıkla tüm botlar için kapatmayın.
• Özel oluşturulan direktiflere ve user-agent isimlerine dikkat edin.
• Sitenizde mutlaka doğru bir robots.txt dosyası kullanın.
• Robots.txt dosyanızın ana dizinde yer aldığına emin olun.
• Sitenizin taranmasını istemediğiniz sayfaları muhakkak robots.txt kullanarak engelleyin.
• Robots.txt dosyasınızda site haritanızı ekleyin.
• Subdomain kullanıyorsanız subdomain için ayrı bir robots.txt dosyası kullanın.

Robots.txt Soruları

Robots.txt dosyasını bir alt dizine yerleştirebilir miyim?

Hayır. Robots.txt dosyanızı muhakkak ana dizine yerleştirmeniz gerekiyor.

Robots.txt Dosyasını Hatalı Eklediysem Ne Olur?

Arama motorları genellikle çok esnek olup robots.txt dosyasındaki küçük hatalardan etkilenmez. Genellikle olabilecek en kötü şey, yanlış/desteklenmeyen yönergelerin yok sayılmasıdır.