Cara Mengatasi URL Diblock Oleh Robot.txt
Saya mengira bahwa traffic blog saya menurun karena masalah artikel saya yang tidak bisa bertahan lama , dari page view dari 4000 sekarang hanya menjadi 200-300 page view , dan setelah saya membuat beberapa artikel saya mencoba untuk submit URL diwebmaster. Dan artikel saya susah untuk terindek . Setelah saya telusuri saya menemukan masalah yang memebuat traffic blog saya menurun . Penyebabnya adalah artikel saya diblock oleh robot.txt webmaster . Dan pantas saja artikel saya susah terindeks.
Memperbaiki URL yang diblokir robots.txt merupakan dasar untuk langsung yang tepat, bagaimana jika tidak langsung diperbaiki, akan berdampak buruk terhadap publikasi traffick web. Sejumlah blogger yang mengalami trafficknya anjlok karena beberapa url artikelnya diblock oleh robot.txt, dan terjadi tambahan diblog ini sendiri. Dan disini kita akan membahas bagaimana cara mengatasi URL yang diblock oleh robot.txt. Jangan lupa membaca dari awal sampai akhir.
Pertama-tama kita harus mengenal apa itu robot.txt
Apa Robots.txt?
Robots.txt adalah sebuah file berformat text (.txt) yang wajib dimiliki setiap situs diinternet yang didaftarkan pada mesin pencari seperti google, yahoo, dan bing. Jadi robots.txt sangat erat hubungannya dengan SEO. Robot.txt berfungsi untuk mengontrol dan mengatur halaman atau direktori mana yang boleh ditampilkan/diindex mesin pencari.
Cara kerja robot.txt :
Ketika situs anda berdomain namadomain.com didaftarkan pada mesin pencari (misal google), maka secara otomatis anda memperbolehkan atau menyuruh robot perayap mesin pencari tersebut untuk mengunjungi dan merayapi situs namadomain.com. Lalu, Pada saat robot perayap (bot crawler) mesin pencari itu mengunjungi situs anda, file yang pertama kali mereka rayapi adalah robots.txt yang terletak pada . Jadi, file robots.txt harus diletakkan pada direktori utama atau di folder public_html. File robots.txt itu berisi perintah-perintah pada bot crawler mengenai halaman mana saja yang boleh diindex atau ditampilkan di mesin pencari. Hal ini tentu saja untuk melindungi halaman sistem anda untuk diketahui oleh orang-orang. Misalnya halaman Administrator website yang merupakan halaman yang pantang untuk diketahui oleh umum atau diindeks oleh mesin pencari. Disitulah robots.txt melakukan tugasnya. Sama halnya dengan website, Blog juga memiliki file robots.txt. Hanya saja, robots.txt di blog biasanya telah ditetapkan sebagai standar oleh penyedia layanan blognya. Untuk blog blogspot
Bagaimana cara mengatasi url yang diblock oleh robot.txt? Disini saya telah melakukan sebuah cara yang hasilnya cukup efektif .
Dan inilah langkah-langkahnya :
1. Masuk pada blogger Anda.
Hal yang pertama adalah kalian harus login diblogger , karena yang akan dilakukan adalah melakukan editing atau merubah setting robot.txt pada blogger.
2. Kemudian klik pada pengaturan - preferensi pencarian - robots.txt kustom kemudian klik Edit.
Contoh :
Jika sudah masukan kode dibawah ini disetting custom robot.txt:
-Ganti info4infoan.blogspot.com dengan url blog Anda.
-Setelah Itu klik Oke
User-agent: Mediapartners-Google
Disallow:
User-agent: *
Disallow:
Allow: /
Sitemap: http://info4infoan.co.id/feeds/posts/default?orderby=updated
Penjelasan :
1. “User-agent: Mediapartners-Google” : itu berarti bahwa kode yang ditempatkan di bawahnya hanya berlaku untuk Bot Crawler/robot perayap Mediapartners-Google. Mediapartners-Google adalah bot crawler untuk google adsense.
2. “Disallow: ” : Ini berarti bahwa tidak ada batasan halaman merangkak oleh crawler. Dengan kata lain, memungkinkan crawler merangkak semua halaman di situs.
3. “User-agent: *”: ini berarti bahwa kode/perintah yang ditempatkan di bawahnya berlaku padasemua robot crawler (diwakili dengan kode ‘*’).
4. “disallow: /search” : melarang crawler untuk menjelajah url yang memiliki awalan urlbloganda.com/search.
5. “allow: /”: Membiarkan crawler merayapi semua halaman kecuali yang dicantumkan pada perintah disallow.
6. “Sitemap: ” : Ini adalah sitemap dari situs Anda yang diberitahukan kepada crawler agar mudah ketika menjelajahinya lagi. Sitemap berisi semua link yang ada disitus untuk dirayapi crawler.
5.Terakhir harap bersabar dan silahkan menulis artikel berkualitas. Supaya untuk selanjutnya dalam mengindek suatu artikl kita tidak menemukan masalah lagi.
Mungkin itu saja yang bisa saya jelaskan kali ini , semoga bisa bermanfaat bagi kalian semua .
Jika ada yang kurang jelas jangan sungkan untuk bertanya dikolom komentar , saya akan bantu menjawab sebisa saya.
EmoticonEmoticon