- Seit 25 Jahren ist REP als Draft-Mode verfügbar
- Google möchte REP zum Internet-Standard machen
- Jede Suchmaschine hat hierzu unterschiedliche Varianten implementiert
Im allgemeinen geht es darum, nicht dokumentierte Szenarien festzuhalten:
- Jedes Übertragungsprotokoll, das auf URIs (Uniform Resource Identifiern) basiert, kann eine robots.txt verwenden. Dazu gehört nicht nur HTTP, sondern zum Beispiel auch FTP oder CoAP.
- Entwickler / Suchmaschinen müssen mindestens 500 Kilobytes einer robots.txt parsen.
- Eine neue maximale Obegrenze für das Caching von 24 Stunden gibt Webseitenbetreibern die Möglichkeit, ihre robots.txt flexibel anzupassen. Gleichzeitig überfordern Crawler die Websites nicht mit Anfragen an die robots.txt.