Cara Setting Robots.txt SEO Friendly yang Benar di Blogger

Cara Setting Robots.txt SEO Friendly yang Benar di Blogger

Cara Setting Robots.txt - Jika Anda sudah membaca postingan saya sebelumnya tentang SEO On Page disana menjelaskan bahwa Setting Robot txt dan penyetelan tag tajuk robots khusus pada blog merupakan bentuk mengoptimalkan teknik SEO.

Cara Setting Robots.txt

Pemasangan Robot txt ini sangat penting bagi blog, tidak hanya SEO Friendly? Menerapkan teknik ini pada site, akan memudahkan google untuk mengcrawling / merayapi situs. Tentunya google akan lebih cepat untuk mengindex nya di search engine.

Tapi, bukan hanya itu saja. Ternyata memasang robot.txt ini tidak boleh asal – asalan, Anda harus berhati – hati untuk menerapkan nya di blog.

Jika ada kesalahan saat mensetting robot ini bisa berakibat fatal terhadap blog anda sendiri.

Sebelum ke tahap Cara setting Robot.txt saya akan terlebih dahulu untuk menjelaskan tentang..

Apa itu Robot.txt?


Robot txt adalah sebuah file sederhana dengan format text (.txt) yang fungsinya mengontrol google bot atau robot Perayap yang merayapi website kita untuk mengatur halaman mana saja yang boleh di index oleh mesin pencari.

Sederhananya Jika Anda mendaftarkan situs ke Webmaster tools dengan otomatis anda telah menyuruh atau memerintah googlebot atau robot crawl untuk merayapi situs tersebut dan file yang pertama kali di rayapi oleh googlebot adalah robot.text ini.

Cara Setting Robot txt SEO Friendly yang benar di Blogger


1. Mengunakan Robot.txt Default Bawaan


Settingan Robot txt inilah yang paling aman, bahkan google pun merekomendasikan agar pengaturan robot.txt ini pada mode default saja.

Seperti kata John Mueller di Tread Bantuan Webmaster Google yang juga merekomendasikan untuk untuk mempertahankan pengaturan default adalah solusi yang paling aman sebagai control penuh pada robot.txt Anda.

Dibawah ini adalah tampilan dari Robot.txt Bawaan Blogger yang ada di blog saya : 

User-agent: Mediapartners-Google
Disallow:
User-agent: *
Disallow: /search
Allow: /
Sitemap: https://www.maskitul.com/sitemap.xml

Penjelasan Kode kode Robot txt di atas

  • User-agent: Mediapartners-Google : kode ini bertugas membantu Google Adsense Bot untuk merayapi iklan di blog Anda.
  • User-agent: * : Ini merupakan semua robot search engine.
  • Disallow: /search : Melarang Kata kunci setelah URL pada halaman statis seperti about , contact dan-el-el. jika menghapus ( Disallow: /search ) maka botcrawl akan merayapi seluruh halaman statis untuk di index.
  • Allow: / : Crawl dapat merayapi dan mengindex situs anda
  • Sitemap: https://www.maskitul.com/sitemap.xml : Peta situs atau sitemap blog Anda.


2. Menggunakan Custom Robot.txt


Sekarang lihat diatas ada kata custom yang berarti kita bisa menyesuaikan file robot ini sesuai pilihan. Berarti di sini anda bisa mengatur bot google untuk merapi halaman tertentu.

Contoh Custom Robot.txt bisa di lihat dibawah ini : User-agent: *

Disallow: /search
Disallow: /p/
Allow: /
Sitemap: https://www.maskitul.com/sitemap.xml

Diatas bisa Anda lihat ada perbedaan. Benar pada table Disallow fungsi dari kode diatas yaitu melarang google crawl untuk merayapi halaman Search ( seperti label ), /P (halaman statis) Biasa nya pada about, Contact, Disclaimer dan Privacy Policy.

Cara Memasang Custom Robots.txt di Blogspot


Sebelum Anda Menerapkan Custom Robots.txt ini silahkan anda Pergi ke Google Webmaster Tools untuk terlebih dahulu Cek apakah Custom robot txt yang anda buat sudah benar.

Jika sudah berada dalam Dashboard GWT Anda cari Menu

Perayapan >> Penguji Robots.txt

Ganti Robots txt default Anda dengan yang baru di buat setelah itu Klik >> Uji Coba

Jika Muncul Text Izinkan berarti custom robot anda sudah benar. Selanjutnya Silahkan Anda Klik >> Kirim dan ikuti langkah-langkah nya.

Bisa kalian lihat gambar di bawah ini :

Cara Setting Robots.txt

Untuk Pemasangan Silahkan Pergi ke Dashboard blogger blog milik Anda.

Pergi ke pengaturan >> Preferensi Penelusuran

Cari Robot.txt Khusus >> klik edit lalu pilih YA

Tambahkan kode file robots.txt di atas di dalam kotak kosong , salin kode robot txt yang anda uji di webmaster, lalu tempelkan pada kolom yang tersedia di blogspot

Silahkan anda lihat tampilan yang sudah saya siapkan di bawah ini agar lebih jelas :

Cara Setting Robots.txt

Untuk pengecekan Robot.txt Anda bisa ketikan url ini

https://url-blog-anda.blogspot.com/robot.txt ganti tulisan yang berwarna merah dengan url blog anda, di situ bisa di lihat kode robot txt anda dengan jelas.

Bagaimana Apakah Artikel tentang "Cara Setting Robots.txt SEO Friendly yang Benar dan Aman di Blogger" ini Membantu?

Silahkan dukung saya dengan Subscribe Blog Maskitul.com pada kotak berlangganan gratis, agar jika terdapat artikel terbaru dan menarik terbit tidak ketinggalan untuk Membaca.

Baca juga:

Disqus
Blogger
Pilih Sistem Komentar

9 komentar

Mantapp bang belum sejam udahh masuk pejwan hihi

Balas

Bagus banget bang artikelnya,, cocok buat pemula seperti saya :p

Balas

terimakash anim _ers udah mampir hihi

Balas

Custom robot.txt nya bagaimana itu gan masih bingung?

Balas

Ikuti saja seperti punya saya gan

Balas

Cocok bang,,, artikelnya sangat membantu bagi saya yang masih pemula

Balas

Alhamdulillah Bang kalo Bermanfaat :)

Balas

bagus artikel nya mas bro ,cocok buat saya pemula ..

Balas

saya juga masih pemula kok mbak bro

Balas

Silahkan berkomentar dengan bijak. jangan cantumkan link baik itu hidup atau pun mati karna tidak akan di publish. Sebisa mungkin akan saya jawab dengan Cepat. Arigatou :D