Daftar Isi Artikel
SEO EDU Nezzan – Pernah dengar tentang robots.txt? Kalau kamu punya website dan ingin tahu lebih dalam tentang dunia SEO, robots.txt adalah salah satu istilah yang perlu kamu pahami. Meskipun namanya terdengar teknis, robots.txt itu sangat penting buat website kamu, terutama kalau kamu ingin memaksimalkan kinerja website di mesin pencari seperti Google.
Apa Itu Robots.txt?
Sebelum kita membahas lebih jauh, mari kita pahami dulu apa itu robots.txt. Secara sederhana, robots.txt adalah sebuah file teks yang digunakan untuk memberi tahu mesin pencari (seperti Googlebot atau Bingbot) halaman-halaman mana yang boleh atau tidak boleh mereka akses di website kamu.
Setiap kali Google atau mesin pencari lainnya mengunjungi website kamu untuk merayapi halaman-halaman yang ada di dalamnya (proses yang dikenal dengan istilah crawling), mereka pertama-tama akan mencari file robots.txt di root directory situs kamu (misalnya www.contohwebsite.com/robots.txt).
Nah, kalau di dalam robots.txt itu ada instruksi yang membolehkan atau melarang mereka mengakses halaman tertentu, maka mesin pencari akan mengikuti instruksi itu. Misalnya, kalau kamu ingin Googlebot nggak merayapi halaman admin atau halaman login, kamu bisa menggunakan robots.txt untuk memberi tahu mereka untuk tidak mengakses halaman-halaman tersebut.
Mengapa Robots.txt Itu Penting?
Lalu, kenapa sih kamu harus peduli sama file robots.txt ini? Jawabannya simpel: robots.txt memberikan kontrol penuh kepada kamu sebagai pemilik website untuk mengatur bagian mana dari situs kamu yang boleh atau tidak boleh diakses oleh mesin pencari. Ini adalah alat yang sangat berguna untuk mengoptimalkan SEO dan memastikan bahwa mesin pencari merayapi situs kamu dengan cara yang paling efisien.
Baca Artikel yang ini ya Cara Mengindeks Website ke Google Search Console
Berikut ini ada beberapa alasan kenapa sih membuat robots.txt itu penting untuk website:
1. Mengatur Akses Mesin Pencari
Salah satu alasan utama kenapa robots.txt itu penting adalah karena kamu bisa mengatur akses mesin pencari ke halaman tertentu di website kamu. Misalnya, kamu ingin menghindari agar halaman admin atau halaman login tidak terindeks oleh Google, karena itu bisa menurunkan kualitas SEO atau bahkan menyebabkan masalah keamanan.
2. Mencegah Pengindeksan Konten yang Tidak Perlu
Website sering kali memiliki halaman-halaman yang tidak perlu muncul di hasil pencarian, seperti halaman pencarian internal, halaman dengan konten duplikat, atau halaman yang tidak relevan. Nah, robots.txt memungkinkan kamu untuk mencegah halaman-halaman tersebut terindeks oleh mesin pencari.
Dengan robots.txt, kamu bisa memblokir halaman-halaman yang menurutmu tidak penting atau bahkan mengganggu SEO website kamu. Jadi, pengindeksan hanya akan terjadi pada halaman-halaman yang relevan saja.
3. Mengurangi Beban Server
Proses crawling bisa menjadi sangat berat untuk server, apalagi jika website kamu punya banyak halaman atau konten dinamis. Dengan menggunakan robots.txt, kamu bisa mengatur mesin pencari untuk hanya merayapi bagian-bagian tertentu dari website kamu yang penting. Ini akan membantu mengurangi beban pada server dan membuat proses crawling lebih efisien.
4. Menghindari Konten Duplikat
Di dunia SEO, konten duplikat ini bisa jadi masalah besar. Google mungkin saja bingung memilih halaman mana sih yang harus dan perlu untuk diindeks, dan bisa jadi konten duplikat ini malah mengurangi kredibilitas situs kamu di mata Google. Dengan menggunakan robots.txt, kamu bisa membatasi akses ke halaman-halaman yang mungkin berisi konten duplikat, seperti halaman pencarian internal atau halaman yang sangat mirip dengan halaman lain di website kamu.
Cara Membuat Robots Txt
Untuk bisa membuat dan menaruh kodenya bisa dengan melakukan pembuatan file ke dalam folder public di Cpanel atau bisa menggunakan plugin wp robot txt, kamu bisa mendownloadnya disini juga.
Menambahkan File Robots Txt di Folder Public Cpanel
Setelah selesai menginstall plugin, sekarang kamu bisa membuat file tersebut dengan mengunjungi website
Website Penyedia Generator Robots_txt for SEO
1. Kunjungi website cmlabs
- https://tools.cmlabs.co/id/robotstxt-generator
- Pada pilihan Akses Robot klik untuk penggunaan Allow (izinkan) atau Disallow (Jangan Izinkan)
- Pada Pilihan Penundaan Crawl bisa memilih Tidak Ada Penundaan
- Untuk bagian kolom sitemap, kamu bisa memasukan url seperti contoh https://nezzan.edu.eu.org/wp-sitemap.xml
- Lalu klik tombol Tambah Directive
- Lakukan kembali jika ingin menambah instruksi untuk robots txt
2. Kunjungi website SE Ranking
- https://seranking.com/free-tools/robots-txt-generator.html
- Untuk website wordpress sudah tersedia pada pilihan Suggestion
- Pilih Robots.txt for WordPress
- Lalu Klik Generator Robot
- Copy File dan masukan ke dalam website
Menggunakan Plugin Wp
Untuk mudahnya kamu bisa menggunakan atau menginstal plugin supaya tidak repot juga login ke Cpanel. Berikut link Download plugin https://wordpress.org/plugins/wp-robots-txt/
Free Download Plugin WP
Cara Kerja Robots.txt
Sekarang, mari kita lihat bagaimana robots.txt bekerja. Begini kira-kira prosesnya:
1. Mesin Pencari Mencari File robots.txt
Setiap kali mesin pencari (seperti Googlebot) mengunjungi situs kamu, langkah pertama yang mereka lakukan adalah mencari file robots.txt di root directory. Misalnya, www.contohwebsite.com/robots.txt.
2. Mesin Pencari Membaca Instruksi di robots.txt
Di dalam robots.txt, ada instruksi untuk memberi tahu mesin pencari tentang bagian mana dari website yang boleh atau tidak boleh mereka akses. Berikut adalah contoh format instruksi dalam file robots.txt:
User-agent: *
Disallow: /admin/
Disallow: /login/
Allow: /blog/
- User-agent: Bagian ini menunjuk pada bot mesin pencari yang akan mengikuti instruksi ini. Tanda bintang (*) berarti instruksi ini berlaku untuk semua bot, seperti Googlebot, Bingbot, dll.
- Disallow: Ini berarti kamu melarang bot mengakses bagian tertentu dari website kamu. Dalam contoh ini, bot dilarang untuk mengakses halaman di direktori
/admin/dan/login/. - Allow: Bagian ini memberi tahu bot bahwa mereka boleh mengakses halaman tertentu, meskipun ada instruksi lain yang melarang. Dalam contoh ini, bot boleh mengakses halaman di direktori
/blog/.
3. Bot Mengikuti Instruksi
Setelah membaca file robots.txt, bot akan mengikuti instruksi yang ada. Jika ada instruksi Disallow, bot akan menghindari merayapi halaman yang disebutkan. Sebaliknya, jika ada instruksi Allow, bot akan mengakses halaman tersebut meskipun ada instruksi lain yang melarang.
Format Dasar File Robots.txt
Untuk mempermudah, berikut adalah format dasar dari file robots.txt:
User-agent: [nama-bot]
Disallow: [halaman-yang-tidak-diperbolehkan]
Allow: [halaman-yang-diperbolehkan]
- User-agent: Menentukan bot mesin pencari mana yang harus mengikuti aturan ini (misalnya Googlebot).
- Disallow: Menentukan halaman atau direktori yang dilarang diakses.
- Allow: Menentukan halaman atau direktori yang diizinkan diakses meskipun ada instruksi lain yang membatasi.
Kesalahan Umum dalam Penggunaan Robots.txt
Ada beberapa kesalahan umum yang sering terjadi ketika menggunakan robots.txt. Berikut adalah beberapa yang perlu kamu hindari:
1. Memblokir Halaman
Salah satu kesalahan yang sering dilakukan adalah memblokir halaman penting yang seharusnya diindeks oleh mesin pencari. Misalnya, kamu mungkin secara tidak sengaja memblokir halaman utama atau halaman produk yang ingin kamu promosikan di mesin pencari.
2. Menggunakan Robots.txt untuk Menyembunyikan Konten Sensitif
Beberapa orang menggunakan robots.txt untuk mencoba menyembunyikan konten sensitif seperti data pengguna atau informasi pribadi. Namun, ini tidak efektif, karena meskipun Googlebot tidak akan merayapi halaman tersebut, halaman-halaman tersebut masih bisa diakses oleh siapa saja yang tahu URL-nya.
Jadi, apakah kamu perlu robots.txt di website kamu? Iya, sangat perlu! Robots.txt adalah alat yang sederhana, tetapi sangat powerful untuk mengatur bagaimana mesin pencari merayapi dan mengindeks situs kamu. Dengan menggunakan robots.txt, kamu bisa menghindari masalah SEO, mengurangi beban server, dan menjaga konten duplikat tetap terkendali.
Naah tapi jangan sampai juga kamu secara tidak sengaja malah memblokir halaman yang penting untuk SEO atau pengalaman pengguna. Semoga artikel ini membantu kamu lebih paham tentang robots.txt dan bagaimana cara memanfaatkannya untuk kepentingan website kamu!
