FuturewayBot

Der Crawler von Futureway AI

FuturewayBot holt öffentliche Webseiten, die ein Kunde als Wissensquelle in seiner Futureway-Plattform eingerichtet hat — nur seine eigenen oder ausdrücklich erlaubten Hosts, nur zum Aufbau seines Unternehmenswissens.

Was der Bot tut

Kein Suchmaschinen-Index, kein Training: jede Seite landet ausschließlich im Wissensbereich des Kunden, der die Quelle eingerichtet hat.

robots.txt nach RFC 9309 wird beachtet, inklusive Crawl-Delay (bis 5 Sekunden).
„noindex“ und „nofollow“ in Meta-Tags und rel-Attributen werden respektiert.
Er folgt nur Links auf Hosts, die der Kunde ausdrücklich freigegeben hat, und nur bis zu einer eingestellten Tiefe.
Höchstens eine Anfrage gleichzeitig je Host, mindestens 200 ms Abstand, gedeckelte Seitenzahl je Lauf.
Er meldet sich nirgends an, umgeht keine Zugangssperren und lädt keine Formulare ab.
User-Agent: FuturewayBot/1.0 (+https://futureway.ai/bot)

Ausschließen

Wer den Bot nicht auf seiner Seite möchte, trägt ihn in die robots.txt ein — das wirkt beim nächsten Lauf.

User-agent: FuturewayBot
Disallow: /

Fragen oder ein Bot, der sich nicht daran hält? Schreib uns über die Kontaktseite; wir gehen jedem Hinweis nach.