Cara setting robots.txt yang baik dan benar di blogspot

Cara seting robots.txt yang baik dan benar di blogspot agar SEO Friendly dan tidak error robots.txt

Asalamualaikum Wr Wb.
anibarstudio.com - Melanjutkan lagi tutorial tentang cara membuat dan mengelola blog, sekarang sampailah ke postingan yang ke 15, pada kesempatan kali ini saya akan membagikan tutorial tentang Cara seting robots.txt yang baik dan benar di blogspot agar SEO Friendly.

Buat kamu yang ingin membaca postingan saya sebelumnya, silahkan klik pada judul yang saya tulis di bawah ini :

Pada postingan ini akan saya bahas dari beberapa pertanyaan yang biasanya ditanyakan oleh teman-teman yang baru mulai belajar blog, semoga apa yang saya tulis disini bisa sedikit menjawab pertanyaan-pertanyaan tersebut, diantaranya :

Apa itu Robots.txt
Arti kode dalam robots.txt
Manfaat seting Robots.txt
Cara Mengaktifkan robots.txt
Cara Setting Tag Tajuk Robot Khusus
Cara mengaktifkan pengecualian index

Sekarang kita akan mulai bahas satu per satu dari apa yang saya tulis di atas, perhatikan tulisan saya dibawah ini.

Apa itu Robots.txt?

Robots.txt adalah sebuah file txt yang didalamnya terdapat beberapa baris sederhana untuk mengintruksikan kepada mesin penelusur bagaimana blogmu akan di index atau di rayapi (crawl), artinya ketika kita mempunyai beberapa halaman yang tidak penting yang dimaksudkan tidak ingin terbaca oleh mesin penelusur, maka kamu bisa mengaturnya pada robots.txt ini.
Perlu kita ketahui juga, sebelum mesin penelusur membaca kedalam blogmu terlebih dahulu dia akan membaca robots.txt dan mengikuti intruksinya sesuai yang kamu seting disana, jadi untuk konfigurasi disini, harap harus ber hati-hati dan jangan sembarangan menulis, pastikan kalau kamu sudah benar-benar faham.
ini adalah contoh default dari robots.txt yang ada di blogspot, perhatikan dibawah ini :


User-agent: Mediapartners-Google
Disallow: 

User-agent: *
Disallow: /search
Allow: /

Sitemap: https://www.anibarstudio.com/sitemap.xml

Arti kode dalam robots.txt

Setelah kita mengetahui kode dari robots.txt sekarang kita sedikit pelajari arti dari perintah robots.txt di atas, perhatikan di bawah ini :

User-agent: Mediapartners-Google

Kode diatas adalah kode untuk robots Google Partners, seperti Google Adsense, ini diperlukan buat kamu yang nantinya ingin memasang google adsense pada blogmu, ini juga akan membantu memantau dan menampilkan iklan dengan baik.

Disallow

Arti kata disallow bermakna bahwa bot mesin penelusur dilarang untuk merayapi (crawling)

User-agent: *

Tanda bintang bisa diartikan sebagai pengaturan keseluruhan (universal), dimana pengaturan yang kita buat bisa diterapkan dalam seluruh bot.

Disallow: /search

Kata ‘disallow’ disini menunjukkan bahwa bot mesin penelusur dilarang untuk merayapi (crawling) pada bagian '/search' seperti www.anibarstudio.com/search/blog
kenapa ini tidak di perlu dirayapi, karena di mata mesin penelusur ini kurang bagus.

Allow : /

Artinya bot mesin penelusur boleh merayapi semua URL yang ada di blogmu, kecuali yang sudah di kecualikan 'Disallow' di atas.

Sitemap : https://www.anibarstudio.com/sitemap.xml

Kode yang di tampilkan disini adalah kode yang berupa xml, seperti yang sudah saya jelaskan sebelumnya bahwa bot mesin penelusur akan membaca robots.txt terlebih dahulu sebelum mengindex/merayapi blog kita, disini saya memberitahukan bahwa inilah peta situs yang harus dirayapi oleh bot Search Engine (mesin penelusur).
Jangan lupa untu mengganti www.anibarstudio.com dengan domain blogmu.

Manfaat seting Robots.txt

kalau berbicara manfaatnya, tentu saja dengan membaca apa yang saya jelaskan di atas pun pasti kamu sudah faham, dengan kita menyeting robots.txt kita bisa mengatur dan memaksimalkan blog di mata mesin penelusur (Search Engine) agar bot dari mesin penelusur tersebut bisa mengindex blogmu dengan baik dan benar, jangan salah ini juga dari sebagian trik SEO yang selalu digunakan oleh para bloger.

Cara Mengaktifkan robots.txt

Setelah kamu berkenalan jauh dengan robots.txt, sekarang kamu akan mengaktifkannya pada blogspotmu, caranya, perhatikan tutorial di bawah ini.
Silahkan masuk ke halaman Dashboard dari blogspotmu, kemudian klik Setelan lalu pilih Preferensi Penelusuran dan klik Edit pada robots.txt khusus, perhatikan gambar di bawah ini :

Setelah itu akan tampil seperti pada gambar di bawah ini :

Silahkan isi seperti yang saya contohkan di atas, kodenya ada di bawah ini :

User-agent: Mediapartners-Google
Disallow: 

User-agent: *
Allow: /

Sitemap: https://www.anibarstudio.com/sitemap.xml

Jangan lupa mengganti nama www.anibarstudio.com dengan URL Blogmu sendiri
Kalau sudah selesai, silahkan klik Simpan Perubahan.
Jika ada pertanyaan, ko saya tidak menyertakan Disallow : /search, iya benar memang saya tidak menyertakan secript tersebut disini, entah kenapa beberapa hari yang lalu saya malah mendapatkan error di index meski di blokir oleh robots.txt, akhirnya saya pasangnya di meta tag, untuk kelanjutanya harap baca tutorial ini sampai selesai.
Sampai disini, kita sudah berhasil melakukan setting pada robots.txt, untuk menyempurnakan setingan tersebut, mari kita seting juga Tag Tajuk Robot Khusus, tutorialnya seperti di bawah ini :

Cara Setting Tag Tajuk Robot Khusus

Langkah kedua untuk menyempurnakan konfigurasi robots.txt, mari sama-sama kita seting juga Tag Tajuk Robot Khusus, silahkan masuk ke Dashboard blogspotmu, klik menu Setelan dan pilih Preferensi Penelusuran lalu klik Edit pada Tag Tajuk Robot Khusus, perhatikan gambar di bawah ini :

Setelah kamu klik Edit, akan tampil seperti pada gambar di bawah ini :

Silahkan di samakan dengan pengaturan yang tampil seperti pada gambar di atas.
Setelah selesai, jangan lupa untuk klik Simpan Perubahan.

Cara mengaktifkan pengecualian di meta-tag Disallow:/search

Seperti yang saya singgung di atas, saya tidak mengatur pengecualian /search pada robots.txt, tapi saya menyimpanya dalam meta tag yang ada di head tema blogspot karena yang saya alami, menambahkan Disallow : /search di robots.txt malah menimbulkan error "di index meski di blokir oleh robots.txt".
Lalu bagaimana caranya?, silahkan perhatikan yang saya tulis di bawah ini :
Silahkan masuk ke halaman Dashboard blogspotmu, cari menu Tema lalu klik Edit Html, perhatikan gambar di bawah ini :

Selanjutnya akan akan keluar tampilan HTML dari tema yang kamu gunakan seperti di bawah ini :

Ini Secriptnya di bawah ini :


<!-- Meta Robots.txt -->
<b:if cond='data:view.isSearch or data:view.isArchive'>
    <meta content='noindex, noarchive' name='robots'/>
</b:if>

Silahkan simpan secript diatas diantara <head> ------ </head>
Kalau sudah selesai, silahkan klik Tombol Simpan Tema untuk menyimpan perubahan yang sudah dilakukan.

Kesimpulan

Betapa sangat penting kamu mengatur robots.txt pada blogmu agar bisa di baca oleh mesin pencari (search engine) dengan baik, disini kamu bisa mengatur bagian mana yang boleh dibaca dan tidak boleh dibaca oleh mesin pencari sehingga bisa memaksimalkan kinerja blogmu.

Penutup

Mungkin cukup sekian tulisan saya tentang Cara seting robots.txt yang baik dan benar di blogspot, semoga apa yang saya tulis bisa bermanfaat.
Jika ada pertanyaan, silahkan tulis pada kolom komentar dengan baik dan sopan.