Home Blogging / SEO

Cara Setting Robots.txt Blogger yang Benar

Setting Robots.txt Blogger - Jika Anda sudah pernah membaca postingan saya sebelumnya tentang SEO On Page. disana menjelaskan bahwa Setting Robot txt Blogger dan Custom penyetelan tag tajuk robots khusus pada blog merupakan bentuk mengoptimalkan teknik SEO.

Menambah Robots txt di Blogger ini sangatlah penting bagi perkembangan sebuah situs blog.

bukan hanya SEO Friendly?

Mengaktifkan Robots.txt pada blogger, akan memudahkan google untuk mengcrawling / merayapi situs. Tentunya google akan lebih cepat untuk mengindex halaman-halaman yang ada untuk di tampilkan di search engine.

Tapi, bukan hanya itu saja. Ternyata memasang robots.txt blogger ini melalui google search console tidak boleh asal – asalan, Anda harus berhati – hati untuk menerapkan nya di blog.

Sebab, jika ada kesalahan saat pemuatan robot txt ini, dapat berakibat fatal terhadap blog anda sendiri.

Oleh karena itu, sebelum ke tahap setting Robot.txt Blogger. saya akan terlebih dahulu untuk menjelaskan mengenai...


Apa itu Robots.txt


Cara Setting Robots.txt Blogger yang Benar

Robot txt adalah sebuah file sederhana dengan format text (.txt) yang fungsinya mengontrol google bot atau robot Perayap yang merayapi website kita untuk mengatur halaman mana saja yang boleh di index oleh mesin pencari.

Sederhananya jika Anda mendaftarkan situs ke Google Search console (webmaster tools), maka secara otomatis anda telah menyuruh atau memerintah robot crawl google untuk merayapi situs tersebut dan file yang pertama kali di rayapi oleh googlebot adalah robots.txt blogger ini.

Sekarang, mari kita lakukan proses pemasangan file tersebut ke blogspot.

Setting Robot txt SEO


Dalam tutorial kali ini, ada dua macam metode untuk memasang robot txt di blogger. kedua cara tersebut mempunyai kelebihan dan kekurangan nya masing-masing.

Tapi, perlu saya ingatkan lagi. bahwa jika kita sampai salah mengirim file robot.txt blogger ini ke mesin crawl. itu bisa berdampak ke proses pengindeks-an blog anda di mesin pencari google.

Bahkan, bisa membuat halaman yang anda atur tersebut menjadi deindex dan hilang di search engine.

1. Mengaktifkan Robots.txt Default Bawaan Blogger


Setting-an Robot txt blogger inilah yang bisa di bilang paling aman. bahkan google sendiri pun merekomendasikan agar pengaturan robot.txt ini pada mode default atau bawaan saja.

Seperti hal nya kata John Mueller di Tread Bantuan Webmaster Google yang juga merekomendasikan untuk mempertahankan pengaturan default robots.txt blogger adalah solusi yang paling aman sebagai control penuh pada robot txt Anda.

Bisa dilihat, dibawah merupakan tampilan dari Robot.txt Bawaan Blogger yang ada di blog saya :


User-agent: Mediapartners-Google
Disallow:

User-agent: *
Disallow: /search
Allow: /

Sitemap: https://www.maskitul.com/sitemap.xml

Penjelasan Kode kode Robot txt Blogger di atas

  • User-agent: Mediapartners-Google >> kode ini bertugas membantu Google Adsense Bot untuk merayapi iklan di blog Anda.
  • User-agent: * >> Ini merupakan semua robot search engine.
  • Disallow: /search >> Melarang halaman seperti label agar tidak tampil di mesin pencari.
  • Allow: / >> Crawl dapat merayapi dan mengindex situs anda
  • Sitemap: https://www.maskitul.com/sitemap.xml >> Peta situs atau sitemap blog Anda.

2. Membuat Custom Robot.txt Blogger


Sekarang lihat diatas ada kata custom yang berarti kita bisa membuat file robot ini sesuai keperluan. Berarti di sini anda bisa mengatur bot google untuk merayapi halaman tertentu agar terindeks.

Misal kamu tidak ingin bot google memblokir halaman search / label, karena memblokir halaman tersebut bisa membuat liputan yang ada di google search console terdapat notif peringatan.

Contoh Robots.txt kustom bisa di lihat dibawah ini :


User-agent: *
Disallow:

Sitemap: https://www.maskitul.com/sitemap.xml

Diatas bisa Anda lihat ada perbedaan.

Dan, bila kalian ingin memakai file robots txt ini maka nantinya semua halaman yang ada dalam situs kalian akan di rayapi oleh robot google.

Tetapi jika kalian ingin memblokir bot google untuk merayapi halaman tertentu, misal untuk halaman contact saja.

kalian bisa menambahkan lagi kata "Disallow: /p/contact.html" di bawah disallow pada file di atas.

Maka hasilnya akan seperti ini :


User-agent: *
Disallow:
Disallow: /p/contact.html

Sitemap: https://www.maskitul.com/sitemap.xml

Perlu kalian ketahui, untuk "/p/contact.html" ini adalah url halaman kontak yang ada di blog sobat. jadi harap di teliti untuk pemasangannya.

Setelah kita selesai membuat robots.txt blogger. mari langsung kita aktifkan di pengaturan blogspot.

Cara Setting Custom Robots txt di Blogspot


Sebelum Anda Menerapkan Robots.txt Blogger Kustom ini silahkan anda Pergi ke Google Webmaster Tools untuk terlebih dahulu Cek apakah Custom robot txt yang anda buat sudah benar.

Jika sudah berada dalam Dashboard Google search console, silahkan Anda cari Menu "Perayapan" >> Penguji Robots.txt.

Disana akan ada file robot txt bawaan asli dari blogger. namun, silahkan anda ganti Robots.txt default tersebut dengan yang baru di buat tadi. kemudian klik "Uji Coba".

Jika Muncul Text Izinkan berarti custom robot anda sudah benar. Selanjutnya, silahkan Anda klik kirim dan ikuti langkah-langkah berikut nya.

Bisa kalian lihat gambar di bawah ini adalah membuat file robots.txt blogger yang benar.

Cara Setting Robots.txt Blogger yang Benar

Untuk Pemasangan, Silahkan Pergi ke Dashboard blogger blog milik Anda.

Pergi ke menu "pengaturan" >> "Preferensi Penelusuran".

Cari Robot.txt Khusus >> klik edit lalu pilih YA

Tambahkan kode file robots.txt di atas di dalam kotak kosong tersebut, salin kode robot txt yang anda uji di webmaster, lalu tempelkan pada kolom yang tersedia di blogspot

Silahkan anda lihat tampilan yang sudah saya siapkan di bawah ini agar lebih jelas :

Cara Setting Robots.txt Blogger yang Benar

Untuk pengecekan Robot.txt Anda bisa ketikan url seperti di bawah, ganti domain saya dengan domain kalian.

Jika penasaran dengan file robots.txt blogger punya saya, silahkan bisa di di lihat...

Disini saya membuat robot txt sesuai keperluan saya sendiri.


https://www.maskitul.com/robots.txt

ganti tulisan yang berwarna merah dengan url blog anda, di situ bisa di lihat kode robot txt anda dengan jelas.


Penutup


Bagaimana Apakah Artikel tentang "Cara Setting Robots.txt Blogger SEO" ini Membantu?

Silahkan dukung saya dengan Subscribe Blog Maskitul.com pada kotak berlangganan gratis, agar jika terdapat artikel terbaru dan menarik terbit tidak ketinggalan untuk Membaca.

Kata Kunci buat Artikel ini

  • robot.txt blogger 2019
  • mengaktifkan robots txt
  • cara setting robot txt khusus mas sugeng
  • robot.txt generator
  • setting robot txt igniel
  • cara setting robots txt blogspot
  • robot txt yang benar
  • robot txt example
  • robot txt blogger
  • robot txt seo friendly
  • robots txt seo
  • robot.txt google

9 komentar:

  1. Mantapp bang belum sejam udahh masuk pejwan hihi

    BalasHapus
  2. Bagus banget bang artikelnya,, cocok buat pemula seperti saya :p

    BalasHapus
  3. Custom robot.txt nya bagaimana itu gan masih bingung?

    BalasHapus
  4. Cocok bang,,, artikelnya sangat membantu bagi saya yang masih pemula

    BalasHapus
  5. bagus artikel nya mas bro ,cocok buat saya pemula ..

    BalasHapus

Silahkan berkomentar dengan bijak. jangan cantumkan link baik itu hidup atau pun mati karna tidak akan di publish. Sebisa mungkin akan saya jawab dengan Cepat. Arigatou :D

to Top