Salah satu usaha untuk membuat blog lebih SEO Friendly adalah dengan cara setting search preference pada pengaturan blogger. Robots.txt digunakan untuk mengatur jalannya mesin crawl yaitu googlebot untuk merayapi semua halaman pada situs. Pengaturan ini dilakukan sedemikian rupa agar memilih halaman mana saja yang boleh di akses dan ditampilkan mesin pencari. Pada akhirnya halaman yang sudah diindeks mesin pencari tidak berdampak negatif pada blog kita.

 

Apa Yang Di Maksud Robots.txt?

Adalah cara unik untuk memberitahu tentang akses halaman yag ada di blog atau website. Dikenal juga dengan sebutan robot protokol, website spiders, robot crawlers, atau web wanderers. Robots ini dipasang pada header untuk mengizinkan maupun membatasi akses crawling dalam cara kerja mesin pencari. Tujuannya adalah keterlihatan halaman pada mesin pencari seperti google, bing, msn atau search engine lainnya. Dengan alasan backlink url berikut adalah contoh yang dirasa tidak mempunyai ‘kemampuan’ dari segi SEO Friendly. URL dengan Halaman label tertentu misalnya hanya untuk mempermudah menelusuri kategori atau labeling dalam blogspot namun tidak mempengaruhi jumlah link berkualitas dalam blogspot jika dikaitkan dengan mesin pencari. Untuk itu sebagian blogger tidak ingin memunculkan pada hasil pencarian. Berikut ini halaman yang biasa tidak di tampilkan di mesin pencari yaitu : 1. Biasanya halaman search label tidak ditampilkan dengan alasan SEO Friendly. https://kwm.web.id/search/label/SEO Halaman dengan url tersebut tidak ditampilkan karena tidak SEO Friendly 2. Halaman URL arsip https://kwm.web.id/2018/7 – Halaman arsip juga tidak seo friendly dan malah menimbulkan masalah di webmaster tools 3. Halaman pencarian https://kwm.web.id/search?cof=FORID:10&ie=ISO-8859-1&q=seo – halaman ini juga akan berdampak buruk karena tidak dihitung sebagai link berkualitas di blog. 4. Halaman Privacy blog → Disclaimer → Term of service → Term of Use Biasanya halaman tersebut tidak akan di ikutsertakan dalam hasil pencarian karena halaman-halaman tersebut menyangkut privasi dari website atau blog tersebut.

Cara Setting Robots.txt di Blogspot

Untuk pengaturannya pada bagian menu setting lalu search preferences dan kemudian pilih custom robots.txt seperti berikut :

Cara Setting Robots.txt di Blogspot

Cara Setting Robots.txt di Blogspot

Copy script berikut ini ke custom robots.txt anda :

User-agent: Mediapartners-Google ← robots tag Google

Disallow: /search ← halaman yang tidak dirayapi

Allow: / ← halaman yang boleh dirayapi 

User-agent: * ← robots agen

Disallow: /search ← halaman yang tidak dirayapi

Allow: / ← halaman yang boleh dirayapi 


Sitemap: https://kwm.web.id/sitemap.xml ← Sitemap standar blogger
Cara mengetahui kunjungan robots?

Apabila kamu sudah mendaftarkan blog milikmu ke Google Webmaster Tools sekarang disebut denganSearch Console, terdapat menu untuk mengetahui laporan kunjungan robot atau kapan terakhir kali dikunjungi robots untuk mengcrawl/mengindeks website kita. Inilah sedikit artikel tentang cara setting robots.txt di blogspot dan cara setting custom robot.txt agar lebih SEO Friendly di Search engine.

Send Message on WhatsApp
Call me
%d bloggers like this: