Cara Mengatasi URL Dicekal Robots.txt

 Klik disni sebelum kamu melakukan tips ini

Pencapai tertinggi visitor blog ini sempat menyentuh angka 1000 visitor per-hari, namun tidak genap satu bulan visitor blog ini mengalami penerunan hingga saat ini visitor hanya mampu bertahan di angka 600 per-hari. Tentu hal ini terjadi dikarenakan ada kesalahan pada blog ini, satu minggu penuh saya online setiap hari dan setiap saat untuk mengecek posisi posting blog ini di mesin pencari, hasilnya sebagian besar posting baru blog ini tidak saya temukan dan ada beberapa yang saya temukan itupun berada di halaman ketiga di google pencarian. hal itu sedik mengendurkan semangat saya untuk mengurusi blog ini, apa penyebab terjadinya senua ini?? saya pun bingung, hingga akhirnya secara tidak sengaja saat saya membukan Google Webmaster saya menemukan 29 URL Dicekal Robots.txt, sebesar itukah dampaknya? saya masih beruntung jika dibanding blog tentangga yang menyatakan banyaknya jumlah posting yang tidak terindek dan menurunya PR secara drastis dari PR 3 menjadi PR 0 dikarenakan 181 URL Dicekal Robot.txt di Google Webmaster. Semetara untuk blog ini PR masih aman-aman saja di angka 1. Jadi bagaimanakah untuk menghilangkan URL yang dicekal itu? berikut saya jelaskan.!

Jika anda yang masih belum tahu apakah url anda dicekal atau tidak, silahkan anda berkunjung ke Google Webmaster , Klik pada "Kesehatan" kemudian anda klik "URL yang dicekal" jika pada blog anda terdapat URL yang dicekal anda akan menemukan keterangan halaman seperti gambar dibawah ini.


Yang lebih jelasnya seperti ini:

User-agent: Mediapartners-Google
Disallow:

User-agent: *
Disallow: /search
Allow: /

Sitemap: http://faridelly.blogspot.com/feeds/posts/default?orderby=UPDATED

Untuk cara menghilangkan URL yang dicekal Robots.txt pada kode di atas, anda hilangkan tulisan yang saya tandai dengan warna merah sehingga mendjadi seperti dibawah ini:


User-agent: Mediapartners-Google
Disallow:

User-agent: *
Disallow:
Allow: /

Sitemap: http://faridelly.blogspot.com/feeds/posts/default?orderby=UPDATED

Dan anda ganti http://faridelly.blogspot.com dengan URL Blog anda kemudian:
  1. Login ke blog anda
  2. Pergi ke Setelan >> Preferense Penelusuran
  3. Pada kolom Perayapan dan pengindeksan pilih edit di menu Robots.txt
  4. Kemudian Aktifkan Robots.txt Khusus
  5. Masukkan kode yang kedua yang telah dirubah tadi (yang telah dihilangkan tulisan "/search" tulisan yang bertanda merah tadi)

Catatan:

Kode yang anda masukkan pada "Robots.txt Khusus" pastikan sudah anda hilangkan tulisan "/seach" pada Disallow. Karena jika masih ada tulisan "/search" pada tulisan Disallow atau Disallow masih tertulis seperti ini "Disallow:/" masih ada garis miringnya saja, itu artinya anda melarang Google untuk mengindeks konten blog anda.

Jika masih bingung atau ada masukan lain dengan cara ini, selahkan tinggalkan komentar anda. Semoga membantu