Copy Pasta Kode Robotts.txt Khusus Untuk Blogger

Apa itu Robots.txt

Robots.txt adalah sebuah file berformat text (.txt) yang wajib dimiliki setiap situs diinternet yang didaftarkan pada mesin pencari seperti google, yahoo, dan bing. Jadi robots.txt sangat erat hubungannya dengan SEO. Robot.txt berfungsi untuk mengontrol dan mengatur halaman atau direktori mana yang boleh ditampilkan/diindex mesin pencari.

Cara Kerja

Ketika situs anda berdomain namadomain.com didaftarkan pada mesin pencari (misal google), maka secara otomatis anda memperbolehkan atau menyuruh robot perayap mesin pencari tersebut untuk mengunjungi dan merayapi situs namadomain.com.

Lalu, Pada saat robot perayap (bot crawler) mesin pencari itu mengunjungi situs anda, file yang pertama kali mereka rayapi adalah robots.txt yang terletak pada .

Jadi, file robots.txt harus diletakkan pada direktori utama atau di folder public_html. File robots.txt itu berisi perintah-perintah pada bot crawler mengenai halaman mana saja yang boleh diindex atau ditampilkan di mesin pencari.

Hal ini tentu saja untuk melindungi halaman sistem anda untuk diketahui oleh orang-orang. Misalnya halaman Administrator website yang merupakan halaman yang pantang untuk diketahui oleh umum atau diindeks oleh mesin pencari. Disitulah robots.txt melakukan tugasnya.

Sama halnya dengan website, Blog juga memiliki file robots.txt. Hanya saja, robots.txt di blog biasanya telah ditetapkan sebagai standar oleh penyedia layanan blognya. Untuk blog blogspot, default robots.txt diatur seperti ini:





Copy Pasta kode di bawah ini:

User-agent: Mediapartners-Google
Disallow:

User-agent: *
Disallow: /search
Allow: /

Sitemap: https://www.namasitus.com/sitemap.xml!!