Überprüfen Sie, ob eine IP-Adresse und ein User-Agent wirklich zu Googlebot, Bingbot, OpenAI SearchBot, Yahoo, Seznam, Meta (Facebook), Qwant, DuckDuckGo und anderen großen Crawlern gehören.
JSON-Feeds der Anbieter werden 12 Std. zwischengespeichert; Yandex & Seznam verwenden statische offizielle CIDRs.
Der eigentliche Beweis ist die IP-Adresse: Ein Crawler gilt nur dann als vertrauenswürdig, wenn seine IP in die offiziellen CIDR-Bereiche fällt, die vom Anbieter veröffentlicht werden. Der User-Agent kann helfen, ist aber leicht zu fälschen; Scraper kopieren oft UA-Strings und kommen aus zufälligen Netzwerken. Wenn die IP nicht im Anbieterbereich liegt, kennzeichnen wir die Anfrage, egal was der UA sagt.
Ja, sowohl IPv4- als auch IPv6-Netzwerke werden vollständig unterstützt.
Jede Anfrage über die Live-Demo-Oberfläche verbraucht die gleiche Anzahl an Credits wie ein direkter API-Aufruf.