En robots.txt-fil som lagras i roten till din webbplats kommer att berätta för webrobotar som sökrobotar vilka kataloger och filer de får krypa. Det är enkelt att använda en robots.txt-fil, men det finns några saker du bör komma ihåg:
- Blackhat-webrobotar kommer att ignorera din robots.txt-fil. De vanligaste typerna är malware-robotar och robotar som letar efter e-postadresser för skörd.
- Några nya programmerare skriver robotar som ignorerar robots.txt-filen. Detta görs vanligen av misstag.
- Vem som helst kan se din robots.txt-fil. De kallas alltid robots.txt och lagras alltid i roten till webbplatsen.
- Slutligen, om någon länkar till en fil eller katalog som är utesluten av din robots.txt-fil från en sida som inte utesluts av robots.txt-filen, kan sökmotorerna ändå hitta det.
Använd inte robots.txt-filer för att dölja någonting viktigt. Istället bör du lägga viktiga uppgifter bakom säkra lösenord eller lämna det helt från webben.
Så här använder du dessa provfiler
Kopiera texten från det prov som ligger närmast det du vill göra och klistra in det i din robots.txt-fil. Byt robot-, katalog- och filnamn för att matcha din önskade konfiguration.
Två Basic Robots.txt-filer
Användaragent: *Tillåta: / Den här filen säger att någon robot ( Användaragent: *) som åtkomst till det bör ignorera varje sida på webbplatsen ( Tillåta: /). Användaragent: *Inte godkänna: Den här filen säger att någon robot ( Användaragent: *) som åtkomst till den får visa alla sidor på webbplatsen ( Inte godkänna:). Du kan också göra detta genom att lämna din robots.txt-fil tom eller inte ha någon på din webbplats alls. Användaragent: *Tillåt: / cgi-bin /Tillåt: / temp / Den här filen säger att någon robot ( Användaragent: *) som åtkomst till det bör ignorera katalogerna / cgi-bin / och / temp / ( Tillåt: / cgi-bin / Disallow: / temp /). Användaragent: *Tillåt: /jenns-stuff.htmTillåt: /private.php Den här filen säger att någon robot ( Användaragent: *) som åtkomst till det borde ignorera filerna /jenns-stuff.htm och /private.php ( Tillåt: /jenns-stuff.htm Tillåt: /private.php). Användaragent: Lycos / x.xTillåta: / Denna fil säger att Lycos bot ( Användaragent: Lycos / x.x) har inte tillgång till någonstans på platsen ( Användaragent: *Tillåta: /Användaragent: GooglebotInte godkänna: Den här filen förstallokerar alla robotar som vi gjorde ovan och låter uttryckligen Googlebot ( Användaragent: Googlebot) har tillgång till allt ( Medan det är bättre att använda en mycket inkluderande User-Agent-linje, som Användaragent: *, kan du vara så specifik som du vill. Kom ihåg att robotar läser filen i ordning. Så om de första raderna säger att alla robotar är blockerade från allt, och sedan senare i filen står det att alla robotar får tillgång till allt, kommer robotarna ha tillgång till allt. Om du inte är säker på om du har skrivit din robots.txt-fil korrekt kan du använda Googles verktyg för webbansvariga för att kontrollera din robots.txt-fil eller skriva en ny. Skydda specifika kataloger från robotar
Skydda specifika sidor från robotar
Förhindra en specifik robot från att komma åt din webbplats
Tillåt endast en specifik robotåtkomst
Kombinera flera linjer för att få exakt de exklusioner du vill ha
