Kesalahan Memahami URL Dicekat Robot.txt

Kesalahan Memahami URL Dicekal Robot.txt - Kenapa ini saya sebut suatu kasealahan, pada Google Webmaster ada sebuah istilah URL yang dicekal, sebagian besar blogger mengira URL yang di cekal merupakan URL postingan kita, begitu juga dengan saya yang sependapat dengan mereka, hingga ahkirnya saya pun melakukan perubahan pada Robot.txt, dan apa hasilnya? kamu lihat sendiri gambar di atas, blog ini memiliki Duplikasi Deskripsi Meta sebanyak 345 dan Tag judul duplikat sebanyak 537 dan itu disebabkan saya mengatur ulang Robot.txt. Intinya, memang harus ada URL dicekal karena memang tidak semua URL boleh di akses oleh Robot.txt.

Jadi yang dimaksud dengan URL dicekal adalah URL yang memang tidak boleh di akses oleh file Robot.txt sehingga konten tidak akan diakses oleh Google dan mesin telusur lainnya.Contohnya apa? sebu tsaja URL label, Archive Blog dll.

jika kita lihat dari setingan di atas, kita dapat mengartikan

/ garis miring kita anggap merupakan arti URL Home Page faridelly.blogspot.com namun jika tanpa garis miring sepeerti dibawah ini, itu artinya ditujukan untuk semua URL 

Disallow:

Allow:

Jika ada kode setelah kode / seperti dibawah ini:

Disallow: /Search

Artinya kamu melarang mesin telusur untuk merayapi semua URL yang di ikuti dengan kata Search

Contohnya:

http://faridelly.blogspot.com/search/label/....

Fungsi Disallow: /Search pada setting default file Robot.txt yaitu mencegah mesin telusur menelusuri URL label dan Archive yang sudah saya sebutkan tadi, bahwasanya URL inilah yang memang tidak perlu untuk di telusuri, jika hal itu masih dilakukan, akan terjadi Duplikat diskripsi meta dan Tag judul duplikat seperti yang di alami blog ini. Akibatnya apa? lambat-laun artikel blog kamu akan tergeser di Google Search.

Semoga ini menjadi pembelajaran bersama.!