Buat file robots.txt kustom untuk website Anda secara instan. Atur akses crawler mesin pencari dan tingkatkan SEO situs Anda dengan file robots.txt yang dikonfigurasi dengan benar.
Buat file robots.txt secara instan dengan mengisi formulir di bawah. Cukup masukkan informasi Anda lalu klik tombol Buat Robots.txt untuk menghasilkan teks robot kustom. Klik tombol Buat dan Simpan sebagai Robots.txt untuk mengunduh file-nya.
Path bersifat relatif terhadap root dan harus diakhiri garis miring "/"
Robots.txt adalah file teks yang dibuat webmaster untuk memberi instruksi kepada robot web (biasanya robot mesin pencari) tentang cara meng-crawl dan meng-index halaman di website mereka. File robots.txt adalah bagian dari robots exclusion protocol (REP), sekumpulan standar web yang mengatur cara robot meng-crawl web, mengakses, dan meng-index konten.
File robots.txt diletakkan di direktori root website dan memberi tahu crawler mesin pencari URL mana saja yang boleh diakses di situs Anda. Ini terutama digunakan untuk mencegah situs Anda kelebihan beban permintaan dan mencegah mesin pencari meng-index halaman atau bagian tertentu dari website Anda.
Perlu dicatat bahwa robots.txt bukan mekanisme untuk menyembunyikan halaman web dari Google. Untuk menjauhkan halaman dari hasil pencarian, gunakan metode lain seperti perlindungan password atau meta tag noindex. File robots.txt bisa diakses publik dan dilihat siapa saja hanya dengan menambahkan /robots.txt di belakang nama domain Anda.
Membuat file robots.txt yang benar secara manual bisa menantang, terutama jika Anda belum familiar dengan sintaks dan aturannya. Robots.txt Generator kami menyederhanakan proses ini: