Crawler
LookyBot, der Looky-Crawler
LookyBot ist das Programm, mit dem Looky eine öffentliche Website liest, wenn ihr Inhaber Looky darum gebeten hat. Wenn du ihn in deinen Server-Logs gesehen hast, erklärt diese Seite, was er tut und wie du ihn stoppst.
User-Agent
LookyBot/1.0 (+https://getlooky.ai/bot)Jede Anfrage von LookyBot sendet diesen Header.
Was er abruft
- Öffentliche Seiten einer Website, die ein Looky-Kunde als eigene oder als Website eines Wettbewerbers eingegeben hat, um ein Markenprofil aufzubauen, die Seite auf Such- und KI-Sichtbarkeit zu prüfen und Änderungen zu erkennen.
- Zuerst die Datei robots.txt und die Sitemap, wenn dort eine angegeben ist.
- Nur Seiten, die jeder ohne Anmeldung öffnen kann. Er sendet nie Formulare, meldet sich nicht an und rät keine versteckten Adressen.
Wie er sich verhält
- Er beachtet robots.txt. Ein Pfad, den du für LookyBot oder für alle Robots sperrst, wird nicht abgerufen.
- Er beachtet eine Crawl-delay-Zeile und wartet sonst mindestens eine halbe Sekunde zwischen Anfragen an dieselbe Website.
- Er liest pro Lauf nur eine begrenzte Zahl von Seiten, eine Website nach der anderen, und bleibt auf der angegebenen Website.
Crawler
So stoppst du ihn
Trag Folgendes in deine robots.txt ein, dann liest LookyBot deine Website nicht mehr:
User-agent: LookyBot Disallow: /