robots.txt

Robots.txt is een webstandaard die gebruikt wordt om instructies te geven aan web crawlers. Deze versie van robots.txt is geschreven op basis van informatie van het GitHub project ai.robots.text. In dit project wordt informatie verzameld over alle bekende web crawlers die gebruikt worden om tekst en afbeeldingen te verzamelen voor het gebruik in datasets voor generatieve AI. Het bijgevoegde bestand is bedoeld als template voor uw eigen robots.txt. Door de inhoud van het bestand toe te voegen aan een bestaand robots.txt worden instructies toegevoegd voor alle bekende AI web crawlers.