Setelan Robots.txt Kustom User–agent Tag Header Robot custom Blogger
Setelan Robots.txt Kustom User–agent Tag Header Robot custom Blogger
Pada artikel yang lalu saya membahas robots.txt mulai dari cara membuatnya hingga kaitannya berhubungan dengan SEO (Search Engine Optimization) atau dalam bahasa indonesia disebut search engine optimization. Dan sekarang di artikel ini saya akan menjelaskan cara setting custom robots.txt dan custom robots header (X-Robots-Tag). Fungsi sebenarnya tag header robots.txt dan robots memiliki fungsi yang sama yaitu untuk mengontrol crawling dan indexing pada website/blog Anda.
Sebenarnya dalam hal implementasi dan petunjuk detailnya, kedua jenis robot ini tidak sama file robots.txt dipasang di root domain lalu sedangkan tag header robots dipasang di kepala situs, juga ditargetkan ke url (halaman) yang benar jika blog Anda tidak sedang dihosting di blogger.com. Untuk instruksi mendetail, header robots atau X-Robots-Tag memiliki lebih banyak mode instruksi daripada robots.txt.
Dalam menggunakan robots.txt dan robots header tag ini tidak ada kewajiban atau larangan untuk menggunakan keduanya, namun jika anda menggunakan keduanya (custom robots.txt dan custom robots header tag) dan tidak mengaturnya dengan benar salah satunya beresiko menjadi diabaikan oleh crawler (robot web) ) mesin telusur.
Perhatikan file robots.txt berikut, ini adalah format file robots.txt khusus untuk memungkinkan semua robot web merayapi dan mengindeks semua halaman (url) di situs web kecuali url pencarian (pencarian).
User-agent: *
Disallow: /search
Allow : /
Sitemap: https://nameblog.blogspot.com/sitemap.xml
Jika Anda telah menggunakan file robots.txt dengan format yang saya tunjukkan di atas, tidak ada gunanya menggandakan instruksi yang sama, nofollow, bahkan instruksi yang berlawanan, ikuti dengan menggunakan tag header robots, karena crawler cenderung tidak dapat melihat tag header robots di url/pencarian yang telah diblokir. oleh robot. txt.
cara menggunakan custom robots.txt dan custom robots header tag yang baik dan benar di website blogger (blogspot). Yang perlu Anda pahami adalah, file robots.txt tidak boleh memblokir akses perayap mesin telusur ke halaman penting di situs web atau blog Anda. Sebaiknya gunakan file robots.txt seperti di bawah ini agar crawler Google memiliki akses penuh ke situs blog Anda, saya juga menggunakan file robots.txt yang sama.
User-agent: *
Allow : /
Sitemap: https://blogganda.blogspot.com/sitemap.xml
File robots.txt di atas menyiratkan bahwa semua web robot (google, bing dan lainnya) dapat mengakses semua halaman dalam sebuah situs website atau blog Anda tanpa memblokir halaman sama sekali.
Jika Anda baru mengenal blogspot, ikuti beberapa langkah mengaktifkan robots.txt ubahsuaian di bawah ini.
Cara Setting Robots.txt
1. Login ke Blogger
2. Klik Setting
3. Scroll ke bagian Crawlers and indexing
4. Klik tombol Enable custom robots.txt
5. Klik Custom robots.txt
Baca Juga
- Paket Provider Tri.co.id Bima+ Termahal Sedunia
- 3 Tahun 2025 Segera Lupakan Provider Lintah Darat Tri.co.id
- Provider 3 Tri Mencekik Leher dengan Kenaikan Tarif Dengan Mendulang Emas Di Tahun 2025
- Info Seputar X.com & Twitter.com Pergantian Logo X
- Faktanya Mengubah Host Web Dapat Mempengaruhi Peringkat Google Anda
6. Isi file robots.txt Anda , kemudian.
7. Klik Simpan untuk menyimpan pengaturan.
Cara Setting Tag Header Robots
1. Login ke Blogger
2. Klik Setting
3. Scroll ke bagian Crawler dan indexing
4. Aktifkan custom tag header robots
5. Klik Archive and search page tags
6. Pilih noindex
7. Klik Save untuk menyimpan setting.
Kedua pengaturan tersebut, yaitu robots.txt dan robots header tag, dimaksudkan agar robot web khususnya crawler Google dapat melihat tag noindex pada arsip dan url pada mesin pencarian (halaman).
Jika Anda menambahkan code Disallow: /search ke file robots.txt, kemungkinan crawler tidak akan dapat melihat tag header robots yang diterapkan ke halaman arsip dan pencarian di blog Anda.
Setelan tajuk robot untuk laman beranda, pos, dan laman
Secara default Googlebot merayapi dan mengindeks semua laman di situs web jika tidak diblokir oleh robots.txt dan robot tajuk, jadi untuk dan menambahkan atau mengaktifkan tag tajuk robot ubahsuaian untuk laman beranda, pos, dan laman adalah tidak dibutuhkan. Jika masih ingin mengaktifkan custom robots header tag untuk home page, post, dan page, tinggal centang/pilih All sebagai tanda atau perintah ke search engine bot bahwa tidak ada batasan crawling dan indexing untuk home page url, post page gan .
Mengapa memblokir halaman arsip dan pencarian?
Halaman arsip dan halaman pencarian bukanlah halaman penting di situs web/blog untuk dirayapi dan diindeks oleh perayap Google. Jika tidak diblokir dari perayapan dan pengindeksan pada robot web akan membutuhkan sangat banyak waktu untuk merayapi dan mengindeks halaman konten unggulan (halaman posting) di situs web Anda.
Dengan memblokir (tag noindex) dari robot header, proses perayapan dan pengindeksan halaman konten utama di situs web akan lebih cepat. Selain itu, pemblokiran halaman yang tidak penting pada website bertujuan untuk menghindari loading website dari efek crawling oleh bot mesin pencari akibat permintaan crawling yang terlalu banyak.
"File robots.txt pada dasarnya digunakan untuk mengelola lalu lintas perayap ke situs web yang tidak terbebani, tetapi robots.txt bukanlah suatu seperti mekanisme untuk menyembunyikan halaman web dari bot mesin telusur anda untuk menyembunyikan halaman dari bot mesin telusur gunakan perintah seperti noindex menggunakan robot perintah tag tajuk."
