Cara Setting Robots TXT di Wordpress

Sebagai pemilik website, tentu saja ingin website Anda berada di halaman teratas pencarian google, sehingga akan membuat website mudah ditemukan sekaligus meningkatkan traffic pengunjung. Salah satu hal penting agar berada di halaman utama google adalah konten terindex google. Mungkin hal ini adalah kebutuhan utama, karena tanpa terindex google bagaimana website akan berada halaman atas pencarian google.

Agar website mudah terindex oleh google, Anda dapat mendaftarkannya di google webmaster tool, jadi pastikan sudah melakukan hal ini. Namun, google tidak akan membedakan halaman yang boleh dan tidak boleh diindex . Anda perlu melakukan konfigurasi, sehingga tidak semua halaman/konten akan diindex oleh google. Pada kesempatan kali ini kita akan membahas cara setting robots txt di wordpress.

Apa itu Robot.txt ?

Robot.txt merupakan file text yang menyedikan intruksi untuk robot mesin pencari dalam merayapi atau mengindex halaman website atau blog. Dengan adanya robots.txt maka mesin pencari akan lebih mudah dalam memetakan situs Anda.

Robots.txt bertugas untuk memisahkan halaman yang tidak ingin Anda tampilkan ke dalam mesin pencari. Dikarenakan meskipun tidak ada file ini Google tetap akan melakukan proses ‘crawl’ sampai dengan keseluruhan halaman yang ada di situs.

Jadi secara umum, fungsi utama dari robot.txt adalah untuk membantu mesin pencari dalam memilih halaman web yang ingin ataupun tidak ditampilkan pada mesin. Karena tidak semua halaman harus dilakukan index, seperti halaman admin pada jenis website tertentu atau hal lainnya.

Mengapa Perlu Robot.txt ?

Dari beberapa penjelasan sebelumnya, mungkin Anda sudah paham tujuan dan fungsi dari robot.txt. Untuk lebih detail, berikut saya jabarkan alasan utama menggunakan robot.txt :

  • Menjaga keamanan data penting pada website. Bayangkan bila semua data website di index oleh mesin pencari,  maka data akan sangat rentan disalah gunakan oleh pihak yang tidak bertanggung jawab.
  • Mengurangi beban server. Dengan memilih file-file yang perlu diindex oleh google, maka akan mengurangi resource atau beban server atau hosting Anda. Robot.txt ini seperti pengunjung website, sehingga bila semua file harus di crawl, sudah tentu robot.txt harus membuka/mengakses semua file website.
  • Mempercepat indexing. Bila file yang perlu di index banyak, maka semakin lama bila mesin pencari melakukan crawl. Karena akan memerlukan antrian dalam pemrosesan indexing.

Dimana Letak Robot.txt ?

File robot.txt akan disimpan pada folder server dan pada umumnya akan berada di folder public_html. Bentuk dari robot.txt adalah file virtual, sehingga Anda tidak dapat engakses maupun diganti dari direktori manapun. Selain itu Anda juga tidak akan bisa menemukan file robot.txt pada folder public_html.

Sehingga bila ingin melakukan perubahan, maka perlu membuat file robot.txt kemudian menambahkan script ke dalamannya kemudian di simpan. File ini akan menimpa file sebelumnya yang telah Anda konfigurasi.

Rule Robot.txt di WordPress

Pada umumnya wordpress akan memberikan default konfigurasi robot.txt seperti berikut :

User-agent: *
Allow: /
Disallow: /wp-admin/
Disallow: /wp-includes/
Disallow: /wp-admin/admin-ajax.php

Bila Anda ingin mengizinkan mesin pencari melakukan crawal pada halaman maka dapat menggunakan command  Allow. Sedangkan bila Anda ingin memblock mesin pencari melakukan crawl maka bisa menggunakan command Disallow.

Berikut adalah settings robot txt wordpress yang saya rekomendasikan.

User-Agent: *
 
Allow: /wp-content/uploads/
Disallow: /wp-content/plugins/
Disallow: /wp-admin/
Disallow: /wp-includes/
Disallow: /readme.html
Disallow: /refer/
Sitemap: http://www.namadomainAnda.com/post-sitemap.xml
Sitemap: http://www.namadomainAnda.com/page-sitemap.xml

Namun Anda juga masih bisa menambahkan kode lainnya sesuai dengan kebutuhan website Anda.

Perintah sebelumnya menginformasikan kepada robot pencari agar mengindex semua file website besarta gambar wordpress.  Namun jika melarang indexing pada file plugin, admin area, wp-includes, file readme dan tautan affiliasi. Selanjutnya kita akan membahas cara setting robot txt di wordpress.

Cara Setting Robots TXT di WordPress

Berikut ini adalah beberapa cara yang dapat Anda ikuti dalam melakukan konfigurasi robots.txt pada wordpress. Pilihlah langkah yang menurut Anda paling mudah.

Menggunakan Plugin Yoast SEO

Mungkin sebagian dari Anda sudah sangat familiar dengan Yoast SEO. Plugin yang berfungsi untuk memudahkan pengguna wordpress dalam konfigurasi SEO Onpage. Berikut ini adalah langkah-langkah yang diperlukan untuk setting robots.txt di WordPress.

Pertama, Install Plugin Yoast SEO

Cara melakukan install plugin yoast SEO seharusnya Anda sudah mahir dan tidak perlu kita bahas lebih lanjut.

Kedua, Masuk ke Halaman Tools

Selanjutnya silakan Anda cari menu “SEO” dibagian bar kiri >> Pilih “Tools” >> Klik “File Editor“.

Cara Setting Robots TXT di WordPress

Cara Setting Robot TXT di WordPress

Ketiga, Membuat File Robot.txt

Anda akan menemukan pilihan untuk “Create a New Robots.txt”. Pada halaman tersebut, masukkan rule yang ingin diterapkan pada situs web.

Namun bila Anda sudah memiliki konfigurasi .htaccess sebelumnya maka akan langsung berada pada editor robot.txt seperti gambar dibawah.

Cara Setting Robot TXT di WordPress

Menggunakan Plugin All in One SEO Pack

Cara setting robot txt di WordPress kedua adalah dengan menggunakan plugin All in One SEO Pack. Plugin ini fungsinya hampir sama dengan Yoast SEO. Berikut ini adalah langkah-langkah yang diperlukan untuk setting robots.txt di WordPress.

Pertama, Install Plugin All in One SEO Pack

Cara melakukan install plugin All in One SEO Pack seharusnya Anda sudah mahir dan tidak perlu kita bahas lebih lanjut.

Kedua, Masuk ke Halaman Feature Manager

Setelah prose instalasi selesai, silakan untuk Pilih “Feature Manager” >> Aktifkan “Robots.txt“.

Cara Setting Robots TXT di WordPress

Cara Setting Robot TXT di WordPress

Di dalam plugin ini juga terdapat beberapa fitur yang dapat Anda manfaatkan sekaligus, jadi tidak perlu melakukan instalasi plugin yang lainnya.

Ketiga, Settings Robots.txt

Selanjutnya Anda akan menemukan menu “Robots.txt” ketika selesai diaktifkan. Silakan klik menu tersebut dan buat rule robot.txt yang Anda butuhkan.

Cara Setting Robot TXT di WordPress

Cara Setting Robot TXT di WordPress

Manual Unggah Robots.txt

Cara yang terakhir ini mungkin sedikit rumit bila Anda kurang familiar dalam menggunakan hosting ataupun server. Karena konfigurasi yang akan dilakukan perlu masuk ke dalam folder public_html.

Membuat File Robots.txt

Silakan Anda masuk ke file manager hosting Anda >> cari dan open folder “public_html” >> buat file dengan nama “robots.txt“.

Cara Setting Robots TXT di WordPress

Buka file “robots.txt” tersebut dan tambahkan script robots yang Anda butuhkan.

Cara Setting Robots TXT di WordPress

Cara setting robots.txt di wordpress tidaklah rumit. Banyak cara yang dapat Anda lakukan agar dapat melakukan konfigurasi robots.txt. Cara yang paling mudah tentunya mengunakan plugin, karena langsung konfigurasi melalui admin wordpress.

Demikianlah Cara Setting Robots TXT di WordPress, semoga bermanfaat dan dapat membantu Anda. Jangan lupa untuk share artikel ini kepada teman sobat. Agar website novri.web.id dapat lebih maju dan semakin ramai. image by blogspot

Novri K

Halo, saya novri. Pada blog ini saya akan membahas seputar panduan dan tips hosting, email, domain, vps, server, website, linux dan cms. Jangan lupa untuk shared dan bookmark novri.web.id agar lebih mudah mendapatkan informasi tutorial maupun tips dari kami.

Leave a Reply

Your email address will not be published. Required fields are marked *