Robots.txt dosyası nasıl oluşturulur?

6
1276
robots.txt dosyası nasıl oluşturulur

Robots.txt dosyası Seo ve arama motorları için oldukça önemli bir kriterdir. Bu dosysa arama botlarına hangi kısımları indeksleyip hangi kısımları indekslemeyeceklerini gösteren bir harita gibidir. Yanlış düzenlenmiş robots.txt dosyası bazen istemediğiniz kısımların indekslenmesine yada istediğiniz kısımların indekslenmemesine sebep olabilir. Bu yüzden bu dosyayı oluştururken dikkatli ve bilinçli olmak gerekiyor.

Neden robots.txt dosyası kullanmalıyız?

[su_divider top=”no” divider_color=”#dedede” size=”5″][/su_divider]

Sebebin bir kısmını üstte aslında açıkladım. Fakat diğer önemli kriter ise, arama botları yada örümcekleri sitenize gelip indeksleme işlemine başlamadan önce, robots.txt dosyasının paykasa kart içeriğini kontrol ederek buna göre davranış sergilerler. Bu yüzden harita niteliği taşır ve önemlidir demiştik.

Robots.txt dosyası sitenize ait dosyaların bulunduğu ana dizinde yer almakta ve bildiğimiz .txt uzantılı bir dosyadan oluşmaktadır.

Robots.txt dosyası nasıl oluşturulur?

[su_divider top=”no” divider_color=”#dedede” size=”5″][/su_divider]

Herhangi bir dosya editörü ile kolayca oluşturabileceğiniz robots.txt dosyası için ben Notepad++ programını kullanıyorum ve gayet güzel bir program.

Robots.txt  dosyasında hangi komutlar kullanılır?

[su_list icon=”icon: arrow-circle-right” icon_color=”#000000″]

  • User-agent : Hangi arama motorlarının (google,yahoo,bing,msn,altavista…) gibi sitenizi indeksleme izni olduğunu belirtir.
  • Kullanım örneği : user-agent: * (tüm arama motorları indeksleyebilir)
  • Allow : İndekslenmesine izin verilecek olan dosya yada dizin için kullanılan komuttur.
  • Kullanım örneği : Allow: /wp-content/uploads/
  • Disallow : İndekslenmesine izin vermediğiniz, yada istemediğiniz dosya ve klasörler için kullanılır.
  • Kullanım Örneği : Disallow: /wp-admin/

[/su_list]

Robots.txt dosyası oluştururken nelere dikkat edilmeli?

[su_list icon=”icon: arrow-circle-right” icon_color=”#000000″]

  • Dosya içerisindeki komutlarda yorum bulunmamalı
  • Satır başlarında boşluk olmamalı
  • Komutlar yanlış yazılmamalı
  • Komut sıralaması değiştirilmemeli  Örnek :  her robots.txt dosyası user-agent komutu ile başlar
  • Birden fazla dizinin indekslenmemesini istiyorsanız tek satırda belirtebilirsiniz. Örnek : Disallow: /wp-content/wp-plugins/uploads
  • Dosya ve klasör isimlerini küçük harf ile yazın. Örnek : Belirtmek istediğiniz klasör ismi Resimler olsa bile robots.txt dosyasına resimler olarak yazmalısınız.

[/su_list]

Robots.txt örnek kullanımları

[su_accordion] [su_spoiler title=”Örnek 1″ style=”fancy”] User-agent: *
Disallow: /cgi-bin/
Disallow: /wp-admin/
Disallow: /archives/ disallow: /*?*
Disallow: *?replytocom
Disallow: /comments/feed/
User-agent: Mediapartners-Google*
Allow: /
User-agent: Googlebot-Image
Allow: /wp-content/uploads/
User-agent: Adsbot-Google
Allow: /
User-agent: Googlebot-Mobile
Allow: / [/su_spoiler] [su_spoiler title=”Örnek 2″ style=”fancy”] User-agent: *
Disallow: /cgi-bin/
Disallow: /admin/
Disallow: /wp-admin/
Disallow: /wp-includes/
Disallow: /wp-content/
Disallow: /comments/feed/
Disallow: /archives/
Disallow: /search/
Disallow: /search?
Disallow: /search?q=*
Disallow: /*?updated-max=*
Disallow: /*?*
Disallow: *?replytocom
Disallow: /wp-*
Disallow: /author
Disallow: /tag/
Disallow: /category/
Disallow: /trackback/
Allow: /wp-content/uploads
Allow: /
Sitemap: http://sitem.com/sitemap.xml
User-agent: Mediapartners-Google*
Allow: /
User-agent: Googlebot-Image
Allow: /wp-content/uploads/
User-agent: Adsbot-Google
Allow: / [/su_spoiler] [su_spoiler title=”Örnek 3″ style=”fancy”] User-agent: *
Disallow: /wp-login.php
Disallow: /wp-admin/
Disallow: /wp-content/plugins/ # eklenti klasörlerindeki geri bağlantıları engeller
Disallow: /wp-includes/
Disallow: /wp-content/themes/
Disallow: /search/ # arama sorgularını engeller
Disallow: /*?s
Allow: /wp-content/uploads/ [/su_spoiler] [/su_accordion]

6 Yorumlar

  1. Sadri Bey Selamlar, İyi Haftalar,

    Sitemde uzun süredir index problemi yaşıyorum. Robot.txt dosyasına acaba hatalı bir kod eklemiş olabilir miyim diye endişelendim. Sizden ricam aşağıdaki link üzerinden kontrol edebilir misiniz? İndex sorunu yaşatacak bir kod var mıdır?

    http://prntscr.com/gpc2vm

    İyi Çalışmalar Dilerim,

  2. Sadri Bey,

    şu şekilde konsolide ettim, sizce uygun mudur?

    User-Agent: *
    Allow: /wp-content/uploads/
    Disallow: /wp-content/plugins/
    Disallow: /readme.html

    User-agent: *
    Disallow: /cgi-bin/
    Disallow: /wp-admin/
    Disallow: /wp-login.php
    Disallow: /search?
    Disallow: /*?s
    Disallow: *?replytocom
    Disallow: /wp-includes/
    Disallow: /wp-content/plugins/
    Disallow: /wp-content/themes/

    Teşekkürler,

CEVAP VER

Lütfen yorumunuzu giriniz!
Lütfen isminizi buraya giriniz