Cara Mengatur Robot.txt di Blog agar Valid, Selamat siang teman-teman semua. di posting kali ini saya akan coba membahas tentang cara mengatur robot.txt pada blog agar valid. Sebelum kita ketahap pembuatan robot.txt. pada blog mari kita simak sebentar apa yang dimaksud dengan robot.txt tersebut.
Pengertian Robot.txt :
Yang dimaksud dengan Robots.txt adalah Sebuah file dengan sebuah fungsi yang di gunakan untuk membatasi akses robot mesin pencari (Search engine misal : Google,Bing,Yahoo) yang sedang menjelajahi atau membuka situs web yang anda miliki . Sebelum mereka mejelajahi halaman web, mereka memeriksa terlebih dahulu untuk melihat apakah sebuah file robots.txt ada ataukah tidak, dan di dalam robots.txt ada perintah (command) yang mencegah mereka mengakses untuk halaman tertentu.
Sebelumnya cara mengatur robot.txt pada blog sudah banyak para master blogger yang membahasnya dan semua itu cukup memuaskan dan jelas, tetapi disamping itu kita tidak tahu apakah kode robot.txt tersebut sudah valid ataupun belum karena kebanyakan para blogger hanya memberikan kode untuk di pasang di blog tanpa kita cek terlebih dahulu apakah sudah valid atau tidak dan langsung kita pasang di blog, sebenarnya ini pengalaman saya waktu membuat file robot.txt yang langsung saja tancap di blog ini dan alhasil artikel-artikel kebanyakkan tidak muncul di search engine terutama google. Bayangkan saja bagaimana persaan anda sudah cape2 menulis artikel yang bagus, keren atau sebagainya tapi hasilnya nihil alias tidak muncul di search engine, pasti bosankan membuat artikel selanjutnya? Oke disini saya akan memberikan tutorial dari hasil pengalaman saya untuk membuat dan mengecek robot.txt yang dipasang di blog pakah sudah valid atau tidak, perhatikan caranya di bawah ini...
1. Cek Robots.TXT :
Pengertian Robot.txt :
Yang dimaksud dengan Robots.txt adalah Sebuah file dengan sebuah fungsi yang di gunakan untuk membatasi akses robot mesin pencari (Search engine misal : Google,Bing,Yahoo) yang sedang menjelajahi atau membuka situs web yang anda miliki . Sebelum mereka mejelajahi halaman web, mereka memeriksa terlebih dahulu untuk melihat apakah sebuah file robots.txt ada ataukah tidak, dan di dalam robots.txt ada perintah (command) yang mencegah mereka mengakses untuk halaman tertentu.
Sebelumnya cara mengatur robot.txt pada blog sudah banyak para master blogger yang membahasnya dan semua itu cukup memuaskan dan jelas, tetapi disamping itu kita tidak tahu apakah kode robot.txt tersebut sudah valid ataupun belum karena kebanyakan para blogger hanya memberikan kode untuk di pasang di blog tanpa kita cek terlebih dahulu apakah sudah valid atau tidak dan langsung kita pasang di blog, sebenarnya ini pengalaman saya waktu membuat file robot.txt yang langsung saja tancap di blog ini dan alhasil artikel-artikel kebanyakkan tidak muncul di search engine terutama google. Bayangkan saja bagaimana persaan anda sudah cape2 menulis artikel yang bagus, keren atau sebagainya tapi hasilnya nihil alias tidak muncul di search engine, pasti bosankan membuat artikel selanjutnya? Oke disini saya akan memberikan tutorial dari hasil pengalaman saya untuk membuat dan mengecek robot.txt yang dipasang di blog pakah sudah valid atau tidak, perhatikan caranya di bawah ini...
1. Cek Robots.TXT :
1. Pertama cek terlebih dahulu robots.txt anda yang sebelumnya sudah terpasang di blog sudah valid atau tidak di sini : tool.motoricerca.info caranya masukan URL blog anda dan berikan akhiran robots.txt contohnya seperti ini http://www.fianetmu.com/robots.txt atau perhatikan gambar di bawah ini
2. Setelah mengecek Robots.txt dan terdapat error, seperti di bawah ini
Keterangan :
Perhatikan gambar kotak diatas yang berwarna pink Line 6 Allow: / itu menandahkan bahwa robots.txt pada blog anda mengalami error karena kebanyakan robots.txt yang dipasang oleh para blogger seperti ini :
User-agent: Mediapartners-Google
Disallow:
User-agent: *
Disallow: /search
Allow: /
Sitemap: http://www.namabloganda.com/feeds/posts/default?orderby=UPDATED
Kesalahan robot.txt di atas adalah terletak pada Line 6, disana ada perintah Allow: / padahal perintah itu tidak di terima oleh "User-agent" dan perintah yang di terima "User-agent" adalah "Disallow".
2. Cara Memperbaikinya :
Ganti kode yang telah terpasang sebelumnya di blog anda dengan kode di bawah ini
User-agent: Mediapartners-Google
Disallow:
User-agent: *
Disallow:
Sitemap: http://www.namabloganda.com/feeds/posts/default?orderby=UPDATED
User-agent: Mediapartners-Google
Disallow:
User-agent: *
Disallow:
Sitemap: http://www.namabloganda.com/feeds/posts/default?orderby=UPDATED
Keterangan : Ganti kode yang berwarna merah dengan nama blog anda, apabila anda memakai domain berbayar maka contohnya seperti ini
Sitemap: http://www.namabloganda.com/feeds/posts/default?orderby=UPDATED
dan bilah anda menggunakan blog gratis seperti blogspot maka contohnya seperti ini
Sitemap: http://namabloganda.blogspot.com/feeds/posts/default?orderby=UPDATED
3. Cara memasang robots.txt pada blog :
1. Pertama masuk di blog anda
2. Kemudian Pilih Pengaturan
3. Selanjutnya Pilih Search Preferences --- Custom robots.txt kilik edit Ya dan masukan kode robots.txt yang telah diedit
4. Kemudian save changes dan cek kembali robots.txt anda di tool.motoricerca.info, maka hasilnya seperti gambar di bawah ini
3. Apabilah sesuai dengan gambar diatas maka robots.txt yang anda edit sudah terpasang dengan benar alias sudah Valid.
Cukup sekian cara mengatur robots.txt di blog agar valid, semoga artikel ini bermanfaat buat anda dan jangan lupa berikan komentar anda kritik, saran, atau apa saja asalkan bukan spam di kotak komentar yang telah tersedia dan jangan lupa pula follow blog ini ya...terima kasih
