Ang usa ka file nga robots.txt nga gitipigan sa gamut sa imong website magsulti sa mga web robot sama sa mga spider sa search engine kon unsa ang mga direktoryo ug mga file nga sila gitugotan sa pag-crawl. Sayon nga gamiton ang file nga robots.txt, apan dunay mga butang nga kinahanglan nimong hinumdoman:
- Ang mga sumbalik nga mga web robot sa Black hat dili manumbaling sa imong file sa robots.txt. Ang labing komon nga tipo mao ang mga bot nga malware ug mga robot nga nangita alang sa mga adres sa email nga anihon.
- Ang ubang bag-ong mga programmer mosulat sa mga robot nga wala magtagad sa robots.txt file. Kini kasagaran nga gibuhat nga sayop.
- Ang bisan kinsa makakita sa imong robots.txt file. Kanunay silang gitawag nga robots.txt ug kanunay nga gitipigan sa gamut sa website.
- Sa katapusan, kung adunay usa ka tawo nga mag-link sa usa ka file o direktoryo nga dili iapil sa file sa robots.txt gikan sa usa ka panid nga wala maapil sa ilang robots.txt file, ang mga search engine mahimo nga makakita niini.
Ayaw gamita ang mga file sa robots.txt aron itago ang bisan unsa nga importante. Hinunoa, imong ibutang ang importante nga impormasyon sa luyo sa mga kasegurohan nga mga password o ibilin kini sa tibuok web.
Unsaon Paggamit Kini nga mga Sample File
Kopyahi ang teksto gikan sa sample nga pinakaduol sa unsay imong gusto buhaton, ug i-paste kini sa imong robots.txt file. Pag-ilis sa robot, direktoryo, ug mga ngalan sa file aron ipares ang imong gusto nga pagsumpo.
Duha ka mga Basic Robots.txt Files
User-agent: *
Wagtangon: /
Kini nga file nag-ingon nga ang bisan unsang robot (User-agent: *) nga access kini kinahanglan nga dili manumbaling sa matag panid sa site (Disallow: /).
User-agent: *
Ayaw itugot:
Kini nga file nag-ingon nga ang bisan unsang robot (User-agent: *) nga access kini gitugutan nga makita ang matag panid sa site (Wagtangon:).
Mahimo usab nimo kini pinaagi sa pagbiya sa imong file nga robots.txt file nga walay sulod o wala sa imong site.
Panalipdi ang Specific Directory gikan sa mga Robot
User-agent: *
Ayaw itugot: / cgi-bin /
Ayaw itugot: / temp /
Kini nga file nag-ingon nga ang bisan unsang robot (User-agent: *) nga mag-access niini kinahanglan nga dili manumbaling sa mga direktoryo / cgi-bin / ug / temp / (Disallow: / cgi-bin / Disallow: / temp /).
Panalipdi ang Pihong mga Pahina Gikan sa mga Robot
User-agent: *
Ayaw itugot: /jenns-stuff.htm
Gidili: /private.php
Kini nga file nag-ingon nga ang bisan unsang robot (User-agent: *) nga ma-access kini kinahanglan dili manumbaling sa mga file /jenns-stuff.htm ug /private.php (Disallow: /jenns-stuff.htm Disallow: /private.php).
Paglikay sa usa ka Tino nga Robot gikan sa Pag-abut sa Imong Site
User-agent: Lycos / xx
Wagtangon: /
Kini nga file nag-ingon nga ang Lycos bot (User-agent: Lycos / xx) wala tugoti nga maka-access sa bisan asa sa site (Gidili: /).
Hatagi ang Usa Ka Tino nga Access sa Robot
User-agent: *
Wagtangon: /
User-agent: Googlebot
Ayaw itugot:
Kini nga file una nga gisalikway ang tanan nga mga robot nga sama sa atong gibuhat sa ibabaw, ug unya tin-aw nga ang Googlebot (User-agent: Googlebot) adunay access sa tanan nga butang (Gidili:).
Pagsagol sa Multiple Lines aron sa pagkuha sa eksakto nga mga dili gusto nga gusto nimo
Samtang mas maayo nga gamiton ang usa ka kinatibuk-ang linya sa User-agent, sama sa User-agent: *, mahimo ka nga espesipiko kung gusto nimo. Hinumdomi nga gibasa sa mga robot ang file. Busa kon ang unang mga linya nagsulti nga ang tanan nga mga robot gibabagan gikan sa tanan, ug unya sa ulahi sa file kini nag ingon nga ang tanan nga mga robot gitugutan nga maka-access sa tanan, ang mga robot makabaton sa tanang butang.
Kung dili ka sigurado kung gisulat nimo ang imong file sa robots.txt sa hustong paagi, mahimo nimo gamiton ang Webmaster Tools sa Google sa pagsusi sa imong file sa robots.txt o pagsulat og usa ka bag-o.