Mengenal Apa itu Robots.txt dan Bagaimana Mengaturnya

mengenal apa itu robots.txt Sebagai seorang blogger, anda mungkin sudah pernah mendengar kata “robots.txt”. Dan saya yakin, saat pertama kali mendengarnya, anda bingung. Begitu pula dengan saya saat pertama kali mendengarnya. Namun, saat ini insyaallah saya sedikit banyak sudah paham apa itu robots.txt dan bagaimana cara kerjanya. Oleh karena itu, lewat artikel ini saya akan berbagi ilmu yang saya tahu mengenai robots.txt.

Apa itu Robots.txt

Robots.txt adalah sebuah file berformat text (.txt) yang wajib dimiliki setiap situs diinternet yang didaftarkan pada mesin pencari seperti google, yahoo, dan bing. Jadi robots.txt sangat erat hubungannya dengan SEO. Robot.txt berfungsi untuk mengontrol dan mengatur halaman atau direktori mana yang boleh ditampilkan/diindex mesin pencari.

Cara Kerja

Ketika situs anda berdomain namadomain.com didaftarkan pada mesin pencari (misal google), maka secara otomatis anda memperbolehkan atau menyuruh robot perayap mesin pencari tersebut untuk mengunjungi dan merayapi situs namadomain.com. Lalu, Pada saat robot perayap (bot crawler) mesin pencari itu mengunjungi situs anda, file yang pertama kali mereka rayapi adalah robots.txt yang terletak pada . Jadi, file robots.txt harus diletakkan pada direktori utama atau di folder public_html. File robots.txt itu berisi perintah-perintah pada bot crawler mengenai halaman mana saja yang boleh diindex atau ditampilkan di mesin pencari. Hal ini tentu saja untuk melindungi halaman sistem anda untuk diketahui oleh orang-orang. Misalnya halaman Administrator website yang merupakan halaman yang pantang untuk diketahui oleh umum atau diindeks oleh mesin pencari. Disitulah robots.txt melakukan tugasnya. Sama halnya dengan website, Blog juga memiliki file robots.txt. Hanya saja, robots.txt di blog biasanya telah ditetapkan sebagai standar oleh penyedia layanan blognya. Untuk blog blogspot, default robots.txt diatur seperti ini:

User-agent: Mediapartners-Google
disallow:
User-agent: *
disallow: /search
allow: /
sitemap: http://blogURL/feed/posts/default?orderby=UPDATED

Arti dari kode di atas adalah :

1. “User-agent: Mediapartners-Google” : itu berarti bahwa kode yang ditempatkan di bawahnya hanya berlaku untuk Bot Crawler/robot perayap Mediapartners-Google. Mediapartners-Google adalah bot crawler untuk google adsense.

2. “Disallow: ” : Ini berarti bahwa tidak ada batasan halaman merangkak oleh crawler. Dengan kata lain, memungkinkan crawler merangkak semua halaman di situs.

3. “User-agent: *”: ini berarti bahwa kode/perintah yang ditempatkan di bawahnya berlaku padasemua robot crawler (diwakili dengan kode ‘*’).

4. “disallow: /search” : melarang crawler untuk menjelajah url yang memiliki awalan urlbloganda.com/search.

5. “allow: /”: Membiarkan crawler merayapi semua halaman kecuali yang dicantumkan pada perintah disallow.

6. “Sitemap: ” : Ini adalah sitemap dari situs Anda yang diberitahukan kepada crawler agar mudah ketika menjelajahinya lagi. Sitemap berisi semua link yang ada disitus untuk dirayapi crawler.

Kesimpulan :

– File robots.txt memperbolehkan crawler google adsense (User-agent:Mediapartner-Google) untuk menjelajah semua halaman situs anda

– Mengijinkan semua crawler dari mesin pencari manapun (User-agent:*) merangkak semua halaman blog Anda kecuali halaman dengan url yang memiliki awalan urlblog.com/search. Karena halaman dengan url awalan itu merupakan halaman-halaman arsip dan label.

Cara Mengatur Robots.txt

Jika Anda ingin memodifikasi atau mengatur robots.txt Anda, terlebih dahulu Anda harus berhati-hati dan paham betul karena kesalahan pengaturan bisa membuat website anda tidak diindex search engine. Oleh karena itu, sekarang saya akan menjelaskan bagaimana mengatur robots.txt dengan benar.

a. Memblokir url

Tidak hanya kode yang saya jelaskan di atas yang dapat digunakan dalam robots.txt. Contoh kasus, misalnya  anda ingin memblokir posting tertentu agar tidak diindeks oleh semua mesin pencari, anda dapat melakukannya dengan menempatkan kode dibawah ini.

user-agent: *
disalllow: /2012/11/url-permalink-posting.html

Kode yang saya warnai diatas merupakan contoh struktur url permalink posting blogspot yang di blokir tanpa menuliskan nama domain web di depannya.

b. Memblokir Folder/direktori

Untuk memblokir folder atau direktori (termasuk isinya) pada situs anda, Anda dapat melakukannya seperti pada contoh dibawah. Saya menggunakan direktori pada web dengan wordpress self hosted agar lebih familiar.

user-agent: *
disallow: /cgi-bin/
disallow: /wp-admin/
disallow: /wp-includes/
disallow: /wp-content/plugins/
disallow: /wp-content/cache/
disallow: /wp-content/themes/

Kode diatas berarti melarang bot crawler untuk merayapi semua file web yang ada di dalam folder cgbin, wp-admin, wp-includes serta folder plugins, cache, dan themes yang merupakan sub-directory dari folder wp-content.

c. Memblokir URL yang mengandung karakter/kata tertentu

Dengan robots.txt kita juga dapat memblokir url yang memiliki karakter/kata tertentu agar tidak diindeks di mesin pencari. Misalnya saya menggunakan karakter tanda tanya (?) yang biasanya dipakai pada url untuk query string atau pencarian pada web tertentu yang menyebabkan duplikat. user-agent: * disallow: /*?*  #untuk memblok semua url yang mengandung “?”. allow: /*?$ #untuk membolehkan akses pada semua url yang memiliki akhiran “?”

c. Memblokir akses pada ekstensi/format file tertentu

Kita juga dapat mengatur robots.txt untuk memblokir file dalam situs anda dengan format tertentu. Misalnya, kita akan memblokir file dengan format php (php), css (css) dan javascript (js).

user-agent: *
disallow: /*.php$
disallow: /*.js$
disallow: /*.css$

User Agent

Saat mengatur robots.txt, Anda dapat mengatur mana saja bot crawler yang diperbolehkan atau dilarang untuk mengakses atau merayapi web anda secara spesifik. Oleh karena itu, Anda harus mengetahui nama beberapa bot crawler dari mesin pencari paling terkenal.

  • Google Adsense : Mediapartners-google
  • Google Search Engine : Googlebot
  • Altavista : Scooter
  • Lycos : Lycos_Spider_ (T-Rex)
  • Alltheweb : FAST-WebCrawler /
  • Inktomi : Slurp
  • Yahoo : Yahoo Slurp
  • MSN : msnbot

Okey, kali ini tu saja yang bisa saya bagikan. Masih bingung? jangan sungkan buat bertanya di komentar. Insyaallah akan saya jawab sebisa saya. Semoga bermanfaat.

~Muhammad Syakirurohman~

cialis trial buy generic levitra acyclovir 400mg cialis free trial what is cipro viagra for men levitra dosage buy viagra online finasteride hair loss generic cialis tadalafil cipro uses does lexapro cause weight gain cialis 20mg lowest cialis prices what is viagra cialis effects viagra pillen kruidvat cipro zovirax cialis coupon 20 mg ciprofloxacin for dogs azithromycin vs erythromycin generic levitra vardenafil 20mg lexapro for anxiety ciprofloxacin class viagra en ligne livraison 24h tamoxifen side effects in women side effects of acyclovir sophia viagra lexapro weight gain ciprofloxacin finasteride side effects levitra 20 mg cost walmart ciprofloxacin bnf viagra from canada cialis alternative viagra vs cialis vs levitra ciprofloxacin dosierung acyclovir 800 mg for shingles common side effects of ciprofloxacin 500 mg ciprofloxacin drops liquid cialis cialis cost acyclovir ointment 5 lexapro dosing cialis vs viagra ciprofloxacin hcl 500 mg tab levitra vs viagra finasteride 5 mg cipro 500 how does viagra work viagra ohne rezept auf rechnung what is ciprofloxacin prescribed for levitra 20 mg von bayer side effects of lexapro acyclovir ointment ciprofloxacin hydrochloride ophthalmic discount viagra azithromycine 250 mg ciprofloxacin 500mg antibiotics side effects canadian viagra cialis 30 day sample cialis pills for sale side effects of lexapro in women what is finasteride used for cialis generic zithromax acyclovir for shingles azithromycin tablets generic for cialis ciprofloxacin 500 mg cialis 10 mg viagra pill lexapro side effects men viagra activate cialis vs viagra cialis 5mg what does ciprofloxacin treat cialis for men what is cialis tamoxifen side effects in women over 55 is azithromycin penicillin lexapro 10 mg levitra 20mg cost per pill ciprofloxacin used for cialis patent expiration ciprofloxacin 500 mg tabletten cialis prices ciprofloxacin side effects what is acyclovir used for tamoxifen and weight gain what does azithromycin treat acyclovir 800mg viagra canada lexapro dosage cialis pharmacy prices cialis coupons 2017 how long for lexapro to work ciprofloxacin hcl escitalopram 10 mg para que sirve what bacteria does ciprofloxacin kill viagra natural levitra prices how does lexapro work cialis online viamedic cialis cialis medication what does viagra do female viagra cialis generic availability levitra generic azithromycin 500mg viagra without a doctor prescription usa viagra substitute lexapro vs zoloft viagra 100mg tablets retail price cialis 20 mg viagra cialis best price viagra pfizer viagra cialis generic tadalafil ciprofloxacin 500 mg for urinary tract infection what is cipro usually prescribed for side effects of azithromycin azithromycin eye drops acyclovir dose what is ciprofloxacin used for canada viagra levitra 20 mg ciprofloxacin side effects in women viagra vs cialis levitra online side effects of viagra levitra nolvadex lexapro bula levitra rezeptfrei deutschland tamoxifen interaction viagra online cialis coupon tamoxifen canada cialis how long does viagra last cialis tadalafil how much does cialis cost how to wean off lexapro acyclovir cipro for uti finasteride 5 mg tab finasteride 1mg zovirax pills tamoxifen citrate azithromycin coverage viagra generic for lexapro finasteride 5mg side effects viagra vs cialis vs levitra azithromycin where to buy viagra ciprofloxacin hcl 500 mg side effects levitra prezzo in farmacia generic cialis azithromycin drug class escitalopram oxalate how does cialis work levitra 20mg levitra erfahrungen side effects of tamoxifen lexapro side effects in men buy levitra online finasteride 5mg side effects mayo clinic escitalopram 10mg azithromycin 250mg levitra coupons viagra 100 lexapro manufacturer website finasteride dosage viagra ohne rezept aus deutschland viagra tesco azithromycin 250 mg treatment is azithromycin cipro antibiotics azithromycin medscape tamoxifen and bone pain acyclovir vs valacyclovir ciprofloxacin coverage viagra price acyclovir dosing viagra single packs lexapro 10mg lexapro para que sirve cialis copay card cialis daily escitalopram 10 mg what does ciprofloxacin 500mg treat tamoxifen and foods to avoid ciprofloxacin ophthalmic solution viagra nebenwirkungen order viagra zovirax cream 9 levitra at walmart lexapro withdrawal symptoms when will cialis go generic azithromycin 250 lexapro levitra vs viagra azithromycine eg 500 mg bijsluiter cialis coupon print utilisation viagra azithromycin for pneumonia cialas lexapro vs celexa revatio vs viagra is ciprofloxacin a penicillin cost of viagra tamoxifen therapy cialis otc zoloft vs lexapro viagra for sale women viagra cialis dosage generic levitra withdrawal from lexapro price cialis free viagra azithromycin liquid cialis for women acyclovir 200mg generic viagra what is tamoxifen effects of stopping lexapro suddenly viagra prices ciprofloxacin 250mg cialis pricing canadian cialis viagra tablet zithromax z-pak discount cialis side effects of azithromycin 250 mg cialis coupons printable viagra cost escitalopram 20 mg viagra costs cialis professional azithromycin 5 day dose pack azithromycin pregnancy finasteride for women tamoxifen langzeitfolgen what infections does ciprofloxacin treat viagra dosage viagra effects buying viagra side effects of cialis cipro and tendonitis finasteride side effects in men zovirax for cold sores acyclovir 800 mg cialis without a doctor’s prescription cilias viagra generico ciprofloxacin spc free cialis finasteride 5mg lexapro and wellbutrin combination therapy ciprofloxacin side effects after age 60 azithromycin pediatric dosing cipro side effects lexapro side effects in women lexapro benefits for women lexapro and weight gain is lexapro a controlled substance cipro antibiotic finasteride effets secondaires cialis 5mg daily azithromycin side effects azithromycin and alcohol cialis or viagra cialis on line lexapro vs wellbutrin sex viagra for women cialis patent expiration 2017 cialis samples levitra bayer 20mg meilleur prix what is acyclovir for cialis coupons from manufacturer propecia what is tamoxifen used for is tamoxifen chemotherapy online cialis what is ciprofloxacin cialis side effects viagra on line no prec lexapro 5mg viagra wiki ciprofloxacin 500mg ciprofloxacin drug class viagra medicine acyclovir medication what is lexapro used for erectile dysfunction cialis cealis cialis discount azithromycin class levitra 10 mg prezzo azithromycin uses azithromycin pregnancy category finasteride tablets lexapro coupons cialis pills cipro drug class wellbutrin and lexapro cialis sample equipe argentine viagra what is azithromycin used for levitra vs viagra for hardness cialis website levitra coupon levitra 20 mg precio farmacia zithromax 500 mg cialis voucher online viagra viagra 50mg ciprofloxacin 500mg tablets 200 cialis coupon cialis reviews ciprofloxacin dosage side effects lexapro finasteride lexapro dosages viagra samples finasteride permanent side effects cost of cialis cialis dosage recommendations cialis canadian pharmacy viagra sans ordonnance azithromycin dosage viagra alternatives finasteride vs dutasteride what is cipro used for viagra wikipedia escitalopram nebenwirkungen pfizer viagra coupons from pfizer acyclovir 800 mg 5 times a day what does finasteride do side effects of finasteride 5mg acyclovir dosage cheap levitra ciprofloxacin uses viagra bestellen finasteride 5mg tab escitalopram herbal viagra what is lexapro for what is lexapro ciprofloxacin hcl 500 mg tamoxifen lawsuits viagra pills viagra receptfritt lexapro overdose azithromycin 500 lexapro generic name finasteride efectos secundarios ciprofloxacin 250 mg cyalis cialis dosage strengths cipro dosage cialis savings card first few days on lexapro finasteride results cialis from canada viagra tablets ciprofloxacin eye drops side effects of ciprofloxacin azithromycin 250 mg post finasteride syndrome azithromycin three times a week buy cialis what is finasteride azithromycin 500 erfahrungen cialis coupons azithromycine buy viagra lexapro withdrawal side effects of finasteride azithromycin cost cialis price buy generic viagra lexapro side effects zovirax ointment viagra sex cialis testimonials viagra kaufen zovirax dosage viagra generic cialis patent expiration date extended tamoxifen cost lexapro reviews finasteride reviews zithromax antibiotic side effects of lexapro 10 mg cialis for daily use viagra for women cialis azithromycin 500 mg viagra vs cialis azithromycin tablet generic viagra 100mg how to take cialis side effects of ciprofloxacin 500 mg generic cialis at walmart cialis canada generic lexapro acyclovir dosage for cold sores wholesale cialis weaning off lexapro ciprofloxacin nebenwirkungen azithromycin z pak viagra side effects lexapro and weight gain in women acyclovir for cold sores what is acyclovir cialis samples overnight finasteride medication celexa vs lexapro how to wean off lexapro without withdrawals acyclovir 400 mg viagra alternative propecia side effects over the counter viagra lexapro medication cialis cheap levitra without a doctor prescription azithromycin without a doctor’s prescription ciprofloxacin 500mg antibiotics lexapro 20mg how to get off lexapro ciprofloxacin 500 daily cialis how does acyclovir work escitalopram effets secondaires cipro dangers buy cialis online what works better than viagra cipro side effects in elderly what is azithromycin viagra for sale uk azithromycin 250mg tablets 6 pack what is escitalopram cialis 20mg directions vardenafil vs viagra what is azithromycin for ciprofloxacin hydrochloride viagra 100mg finasteride and enlarged prostate cheap viagra ciprofloxacin dose viagra coupon lexapro and weight loss viagra 100 mg tamoxifen nebenwirkungen buy levitra stopping lexapro how long for azithromycin to take effect cialis for bph thuoc azithromycin tamoxifen bijwerkingen acyclovir side effects tamoxifen side effects viagra without a doctor prescription cialis 30 day trial coupon lexapro generic finasteride long term effects vardenafil 20mg natural viagra cheap cialis azithromycin for strep throat viagra soft finasteride for hair loss cialis 5 mg cialis for sale viagra coupons viagra uk effects of stopping finasteride acyclovir cream viagra on line how to use viagra azithromycin for uti escitalopram side effects antibiotic ciprofloxacin zithromax dosage

67 Comments

  1. mantap sekali penjelasannya… terimakasih banyak mas syakirurohman salam santun

  2. Mau tanya gan ? apa efek jika ada url yang mengandung karakter ?

  3. saya suka Tutornya Mas Syakir Rahman sngat detail… kalau gini saya tidak ragu lagi untuk memprakteknya.
    numpang dikit boleh ya Mas. hehe
    http://www.jatibagus.com/sofa-emas-mewah-jepara/

  4. mohon petunjuk cara mengatasi tag judul duplicate seperti ini :
    http://www.dewalaptopku.com/sony-vaio-sve141j11w-core-i3-ivybridge-win-8-ori/
    http://www.dewalaptopku.com/sony-vaio-sve141j11w-core-i3-ivybridge-win-8-ori
    mohon diperhatikan di akhir url ada perbedaan karakter ( / )
    thanks.

  5. maksud sy bagaimana cara blokir di robot.txt salah satu url diatas ?,
    perlu diketahui bahwa jumlah tag judul duplicate jumlah nya ada ratusan.
    tkanks.

  6. mau nanya mas, kalo mau buat sicky sidebar kayak yang website mas punya ini gimana yah. boleh minta tutorial nya gak?

  7. Makasih ya bang infonyaa

  8. wah ane bookmark dulu deh :3

  9. Terima Kasih telah berbagi ilmu yang sangat penting untuk saya, makluk saya masih pemula…hahaha
    Jika Anda membutuhkan Drivers printer silahkan kunjungi situs saya di http://www.agendriver.com/

  10. Kalau blog saya waktu dicek di Webmaster untuk Mediapartners-Google disallow, berarti udah kena bann GA ya ? 🙁

  11. thanks gan infonya..

  12. Owalah, jadi seperti itu ya gan fungsi robot.txt
    Terimakasih infonya, saya jadi mengerti sekarang 🙂
    Jangan lupa baca Artikel Baru !

  13. Kalau saya pakai yang default aja, takut ada apa-apa

  14. Mantab gan artikelnya…
    Ane coba terapin robots d blog ane tapi kadang masih error…
    Coba ane terapi tutorial ini…

    Monggo berkunjung ke web ane mengenai jaringan telekomunikasi d riyadiaja.com

  15. bagus dan sangat detail dan saya jadi lebih ngerti tentang robot txt

    mampir juga ke sini ya http://rampesteam.blogspot.com/

  16. Ulasannya cukup detail, dan cukup gampang untuk dimengerti, izin praktek ya gan.

  17. mengenai tutorialnya sih cukup mudah dimengerti, tp ane masih kwatir ngutak atik masalah robot.txt, salah-salah malah blog gk ke index.

  18. terus cara gunain /modifakasi robot text gimana gan..saya mau coba tapi takut…mungkin ada tutorialnya biar bisa tak praktekin

  19. kalau mengatasi masalah itu di quora.com gmn mas?

  20. Gan mau nanya ..masih newbie
    Jadi kalau kita ubah robot txt tersebut pengaruhnya apa?
    Terima kasih

    Thanks

  21. Gan newbie masih mau tanya ni…

    dimana kita bisa setting robot.txt

  22. Mas, klo mslah yg dicekal sma Robot.txt itu gmn ya? pdhal ga diapa”in, mau otak atik robot.txtny, takut ad ap”, msih newbie soalny, hehe

    • url yang dicekal tidak bisa di index oleh mesin pencari.. kalo belum begitu paham, lebih baik jangan di otak-atik dulu.. defaultnya halaman blog di blogger memang ada beberapa yang seharusnya di cekal kok

  23. ane mau tanya gan. .
    kok di search console ane, kan ada tampilan thumbnail blog/site yang kita punya tuh ya. .
    ane kemaren ganti template blog tapi kok tampilan thumbnail di daftar site search console ane tetep sama aja ya? maksud ane tampilan blog ane yang keliatan di daftar site/blog yang kita daftarkan di search console itu ga berubah, padahal kan udah ganti template.

  24. Robots.txt saya terdapat tanda seru kuning, cara memperbaikinya gimana ya?
    saya pakai wordpress

  25. klo wordpress gmn pakenya gan?

  26. Sangat bermanfaat dan tambah wawasan tp saya masih kurang paham untuk sitemap nya om apa itu lokasi sitemap.xml atau bukan ya. Thx

  27. Cara setting nya dimananya ya mas?

    http://www.friskomayufid.blogspot.com

  28. Kang mau tanya, kalo mau liat robot text kita ada dmn ya? Di edit template atau dimana?

  29. siang mas …
    mw nanya , search console ada tanda seru kuning dan seperti ini /sitemap_index.xml
    2 link warnings , link itu kalau dihapus kira2 gmn mas …

    apakah web kita bisa terbaca mesin pencari / tanda centang hijau kembali …

    tolong infonya … tks

  30. Di search console banyak muncul peringatan pada peta situs, umumnya karena memang saya blok url di robots txt terutama di wp-content imagenya. Yang menjadi pertanyaan apa itu tidak masalah dari sisi seo nya mas? Mohon pencerahannya.

    Salam kenal

    • Hoo, sebaiknya kalo file di wp-content terutama bagian upload jangan di block mas.. kecuali bagian plugin atau themes, itu sah-sah aja di blok

  31. bgaimana kalau robot.txt tersebut tidak ada atau dinon-aktivkan di blog? apa yang terjadi..

    • Kalo menggunakan blogger, maka ngga masalah karena otomatis akan di setting ke default blogger.. kalo website yang independent atau tanpa software CMS, maka itu akan bermasalah karena bisa membocorkan semua informasi di website yang seharusnya tidak ditampilkan di mesin pencari (google)

  32. syukur dah jadi tahu maksudnya robots itu apa,, mksh banyak informasinya..

  33. mas, saya ngecek web saya di small seo tools hasil check Robots.txt testnya “Warning! Your site does not use “robots.txt” file, maksudnya apa? bagaimana memperbaikinya? mohon pencerahannya ane masih pemula

  34. kalo bikin robot txt pada website yg tanpa cms gmn gan,. misalnya pada web berbasis bosstrap spt sellervimax.com ini ..?

    • Harus bikin secara manual.. bootstrap ga ada hubungannya sama ini.. tinggal bikin file robots.txt di folder root websitenya sehingga bisa diakses se[erti ini : namadomain.com/robots.txt .. untuk settingnya, ikuti langkah2 diatas

  35. artikel yang menarik gan.
    gan saya mau tanya kenapa semua artikel saya tidak dapat di baca search engine padahal ada sebagian artikel yang dapat di baca

    ini blog saya gan…
    https://pengrajinrumahkayu.blogspot.co.id/
    mohon pencerahannya

  36. Sangat bermanfaat Gan,.matur suwun..

  37. Sangat bermanfaat postingan nya Gan,.suwun Gan..

  38. terima kasih atas infonya. wat yg ingin cari laptop bekas di surabaya silakan kunjungi toko kami di http://techno-comp.com

  39. oh ernyata gitu gunanya ya kak, baru tau saya

  40. womsurabaya.id
    terima kasih sangat membantu sebagai pemula di dunia website

  41. ow……infonya bermanfaat, ijin bookmark

  42. Mantap banget gan, ilmu nya sangat bermanfaat.. Terimakasih banyakk

  43. mantap terimakasih

  44. terimakasih gan

Tinggalkan Balasan

Alamat surel Anda tidak akan dipublikasikan. Ruas yang wajib ditandai *