Wat is robots.txt?
robots.txt is een tekstbestand dat kan worden gebruikt ter beperking van web robots van de toegang tot uw website alleen op een manier waarvan je goedkeuren.
Het robots.txt-bestand blokkeert Google's Imagebot uit de hele website:
User-agent: Googlebot-Image Disallow: /
Voor meer informatie over robots.txt, lees een standaard voor Robot Exclusion.
Controleer de syntaxis van uw robots.txt
Verschillende web-based tools beschikbaar zijn die halen het robots.txt-bestand van uw website en controleren op syntaxisfouten.
Bad Robots
Sommige web robots zullen gebruiken om aanzienlijke bedragen van de bandbreedte en systeem bronnen, terwijl de terugkeer van weinig of geen praktisch nut voor de website eigenaar.
Voor uw gemak hebben we een lijst van enkele van deze slechte robots in robots.txt-formaat.
 |
Bookmark Wat is robots.txt?
