Skip to main content

Cara Setting Robots.txt Blogger yang Benar

Cara Setting Robots.txt Blogger yang Benar
Setting Robots.txt Blogger - Jika Anda sudah pernah membaca postingan saya sebelumnya tentang SEO On Page. disana menjelaskan bahwa Setting Robot txt Blogger dan Custom penyetelan tag tajuk robots khusus pada blog merupakan bentuk mengoptimalkan teknik SEO.

Menambah Robots txt di Blogger ini sangatlah penting bagi perkembangan sebuah situs blog.

bukan hanya SEO Friendly?

Mengaktifkan Robots.txt pada blogger, akan memudahkan google untuk mengcrawling / merayapi situs. Tentunya google akan lebih cepat untuk mengindex halaman-halaman yang ada untuk di tampilkan di search engine.

Tapi, bukan hanya itu saja. Ternyata memasang robots.txt blogger ini melalui google search console tidak boleh asal – asalan, Anda harus berhati – hati untuk menerapkan nya di blog.

Sebab, jika ada kesalahan saat pemuatan robot txt ini, dapat berakibat fatal terhadap blog anda sendiri.

Oleh karena itu, sebelum ke tahap setting Robot.txt Blogger. saya akan terlebih dahulu untuk menjelaskan mengenai...

Apa itu Robot.txt?


Cara Setting Robots.txt Blogger yang Benar

Robot txt adalah sebuah file sederhana dengan format text (.txt) yang fungsinya mengontrol google bot atau robot Perayap yang merayapi website kita untuk mengatur halaman mana saja yang boleh di index oleh mesin pencari.

Sederhananya jika Anda mendaftarkan situs ke Google Search console (webmaster tools), maka secara otomatis anda telah menyuruh atau memerintah robot crawl google untuk merayapi situs tersebut dan file yang pertama kali di rayapi oleh googlebot adalah robots.txt blogger ini.

Sekarang, mari kita lakukan proses pemasangan file tersebut ke blogspot.

Cara Setting Robots.txt Blogger yang Benar

Dalam tutorial kali ini, ada dua macam metode untuk memasang robot txt di blogger. kedua cara tersebut mempunyai kelebihan dan kekurangan nya masing-masing.

Tapi, perlu saya ingatkan lagi. bahwa jika kita sampai salah mengirim file robot.txt blogger ini ke mesin crawl. itu bisa berdampak ke proses pengindeks-an blog anda di mesin pencari google.

Bahkan, bisa membuat halaman yang anda atur tersebut menjadi deindex dan hilang di search engine.

1. Menerapkan Robots.txt Default Bawaan ke Blogger


Setting-an Robot txt blogger inilah yang bisa di bilang paling aman. bahkan google sendiri pun merekomendasikan agar pengaturan robot.txt ini pada mode default atau bawaan saja.

Seperti hal nya kata John Mueller di Tread Bantuan Webmaster Google yang juga merekomendasikan untuk mempertahankan pengaturan default robots.txt blogger adalah solusi yang paling aman sebagai control penuh pada robot txt Anda.

Bisa dilihat, dibawah merupakan tampilan dari Robot.txt Bawaan Blogger yang ada di blog saya :

User-agent: Mediapartners-Google
Disallow:

User-agent: *
Disallow: /search
Allow: /

Sitemap: https://www.maskitul.com/sitemap.xml

Penjelasan Kode kode Robot txt Blogger di atas
  • User-agent: Mediapartners-Google >> kode ini bertugas membantu Google Adsense Bot untuk merayapi iklan di blog Anda.
  • User-agent: * >> Ini merupakan semua robot search engine.
  • Disallow: /search >> Melarang halaman seperti label agar tidak tampil di mesin pencari.
  • Allow: / >> Crawl dapat merayapi dan mengindex situs anda
  • Sitemap: https://www.maskitul.com/sitemap.xml >> Peta situs atau sitemap blog Anda.

2. Membuat Custom Robot.txt Blogger


Sekarang lihat diatas ada kata custom yang berarti kita bisa menyesuaikan file robot ini sesuai pilihan. Berarti di sini anda bisa mengatur bot google untuk merapi halaman tertentu agar terindeks.

Contoh Robots.txt kustom bisa di lihat dibawah ini :

User-agent: *

Disallow: /search
Disallow: /p/
Allow: /

Sitemap: https://www.maskitul.com/sitemap.xml

Diatas bisa Anda lihat ada perbedaan. Benar pada table Disallow fungsi dari kode diatas yaitu melarang google crawl untuk merayapi halaman Search ( seperti label ) dan /P (adalah halaman statis) Biasa nya pada about, Contact, Disclaimer dan Privacy Policy.

Setelah kita selesai membuat robots.txt blogger. mari langsung kita aktifkan di pengaturan blogspot.

Cara Memasang Custom Robots.txt Blogger


Sebelum Anda Menerapkan Robots.txt Blogger Kustom ini silahkan anda Pergi ke Google Webmaster Tools untuk terlebih dahulu Cek apakah Custom robot txt yang anda buat sudah benar.

Jika sudah berada dalam Dashboard Google search console, silahkan Anda cari Menu "Perayapan" >> Penguji Robots.txt.

Disana akan ada file robot txt bawaan asli dari blogger. namun, silahkan anda ganti Robots.txt default tersebut dengan yang baru di buat tadi. kemudian klik "Uji Coba".

Jika Muncul Text Izinkan berarti custom robot anda sudah benar. Selanjutnya, silahkan Anda klik kirim dan ikuti langkah-langkah berikut nya.

Bisa kalian lihat gambar di bawah ini adalah membuat file robots.txt blogger yang benar.

Cara Setting Robots.txt Blogger yang Benar

Untuk Pemasangan, Silahkan Pergi ke Dashboard blogger blog milik Anda.

Pergi ke menu "pengaturan" >> "Preferensi Penelusuran".

Cari Robot.txt Khusus >> klik edit lalu pilih YA

Tambahkan kode file robots.txt di atas di dalam kotak kosong tersebut, salin kode robot txt yang anda uji di webmaster, lalu tempelkan pada kolom yang tersedia di blogspot

Silahkan anda lihat tampilan yang sudah saya siapkan di bawah ini agar lebih jelas :

Cara Setting Robots.txt Blogger yang Benar

Untuk pengecekan Robot.txt Anda bisa ketikan url seperti ini. contoh file robots.txt blogger punya saya.

https://www.maskitul.com/robots.txt

ganti tulisan yang berwarna merah dengan url blog anda, di situ bisa di lihat kode robot txt anda dengan jelas.

Bagaimana Apakah Artikel tentang "Cara Setting Robots.txt Blogger yang Benar dan Aman" ini Membantu?

Silahkan dukung saya dengan Subscribe Blog Maskitul.com pada kotak berlangganan gratis, agar jika terdapat artikel terbaru dan menarik terbit tidak ketinggalan untuk Membaca.

You Might Also Like:

Comment Policy: Silahkan tuliskan komentar Anda yang sesuai dengan topik postingan halaman ini. Komentar yang berisi tautan tidak akan ditampilkan sebelum disetujui.
Buka Komentar.