Crawler des KBK Website-Reports

Sie haben in Ihren Server-Protokollen den Abruf KBK-Websitereport/1.0 (+https://kbk-tech.de/studie/crawler) gesehen? Dann war das unser Mess-Crawler für den KBK Website-Report Münsterland 2026. Hier steht, was er tut und wie Sie widersprechen können.

Worum es geht

Wir untersuchen, wie gut die Websites lokaler Betriebe im Münsterland für Google, KI-Assistenten und rechtliche Grundanforderungen aufgestellt sind. Dafür messen wir eine Zufallsstichprobe von rund 750 Betrieben aus sieben Branchen nach einem vorab veröffentlichten Protokoll.

Veröffentlicht werden nur zusammengefasste Werte je Branche und Kreis. Einzelne Betriebe werden weder genannt noch sind sie erkennbar. Wir schreiben die untersuchten Betriebe auch nicht an.

Was der Crawler abruft

• die Startseite Ihrer Website, einmal, in einem normalen Browser (Chromium) mit Handy-Bildschirmgröße;
• die Dateien /robots.txt und /llms.txt;
• eine Leistungsmessung über Googles PageSpeed-Insights-Dienst. Diese Abrufe kommen von Google, nicht von uns.

Höchstens eine Seite pro Sekunde, keine Formulare, keine Anmeldung, kein Klick auf Cookie-Banner. Gemessen wird von einer deutschen IP-Adresse aus, im November 2026. Eine Wiederholungsmessung nach sieben Tagen betrifft nur einen kleinen Teil der Websites.

Wir umgehen keine Sperren und geben uns nicht als anderer Browser oder Bot aus. Antwortet Ihre Website mit einer Sicherheitsabfrage (zum Beispiel Fehler 403 oder 503), zählen wir sie als „nicht messbar“.

Was wir dabei erfassen

• ob die Seite per HTTPS erreichbar und mobil nutzbar ist;
• Ladezeit und automatisch erkennbare Barrierefreiheitsmängel laut Lighthouse;
• ob Impressum und Datenschutzerklärung auf der Startseite verlinkt sind;
• ob beim Laden, vor jedem Klick auf den Cookie-Banner, Schriften von Google oder Tracking-Dienste geladen und Tracking-Cookies gesetzt werden. Von Cookies speichern wir nur Name und Domain, keine Inhalte;
• ob Seitentitel, Beschreibung, strukturierte Daten und eine Telefonnummer vorhanden sind;
• welche Crawler Ihre robots.txt sperrt (alle Crawler, KI-Training, Gemini, KI-Suche, Abrufe durch Nutzer);
• ob es eine /llms.txt gibt und ob die Seite über Cloudflare ausgeliefert wird (Antwort-Header cf-ray).

Namen von Inhabern oder Mitarbeitenden erfassen wir nicht. Wir beurteilen keine einzelne Website; ob ein Merkmal im Einzelfall rechtlich nötig ist, bewerten wir nicht.

So sperren Sie den Crawler

Der Crawler beachtet die robots.txt. Diese Zeilen sperren ihn vollständig:

User-agent: KBK-Websitereport
Disallow: /

Eine gesperrte Website zählen wir als „nicht messbar“. Sie fließt nicht in die Ergebnisse ein.

Widerspruch und Fragen

Schreiben Sie uns an info@kbk-tech.de mit der Adresse Ihrer Website. Wir nehmen sie aus der Messung heraus und löschen die bereits erhobenen Werte. Die Datenschutzerklärung finden Sie unter kbk-tech.de/datenschutz.

Wer dahintersteht

Buschkötter, Kläs & Kroll GbR, Böttcherstraße 98, 48165 Münster. KBK Tech ist eine Webagentur und hat damit ein wirtschaftliches Interesse am Thema. Protokoll, Methodik und Code der Studie werden offen veröffentlicht.