Zum Hauptinhalt

DraupnirBot, der Abrufer von Draupnir

DraupnirBot ruft öffentliche Webseiten zu Förderprogrammen, Acceleratoren und Investoren ab. Draupnir baut daraus seinen Katalog und prüft ihn an den Quellseiten.

Woran Sie DraupnirBot erkennen

Anfragen von DraupnirBot tragen diesen User-Agent:

DraupnirBot/1.0 (+https://grant.mithgard.ai/bot; grant-ai@mithgard.ai)

Was DraupnirBot abruft und wozu

  • Seiten und Listen von Förderprogrammen, Acceleratoren und Investoren, um Fakten wie Fristen, Förderbeträge und Antragswege zu erfassen.
  • Die Programmseiten, auf die Draupnir verlinkt, um zu prüfen, ob sie noch erreichbar sind und ob sie sich geändert haben.
  • Einzelne Seiten, wenn jemand das in Draupnir anstößt, etwa die Website des eigenen Unternehmens.

Um Fakten aus einer Seite zu lesen, kann Draupnir ihren Text an ein Sprachmodell geben.

Seit R18 (26. September 2026) abgeschaltet: das Lesen öffentlicher Beiträge auf Reddit und Hacker News, der Firmenverzeichnisse von Y Combinator und Techstars und der Liste der EXIST-Geförderten sowie das Sammeln von Investorenprofilen.

Wie sich DraupnirBot verhält

  • DraupnirBot gibt sich nie als Browser eines Menschen aus.
  • DraupnirBot hält sich an Ihre robots.txt (RFC 9309); die Einzelheiten stehen unten.
  • DraupnirBot beachtet Content-Signal in der robots.txt und den TDM-Nutzungsvorbehalt (tdm-reservation, /.well-known/tdmrep.json): Mit search=no liest er Ihre Seiten nicht mehr für den Katalog, mit ai-input=no gibt Draupnir keine Ihrer Seiten an ein Sprachmodell, und mit einem TDM-Vorbehalt prüft er nur noch, ob ein Link erreichbar ist.

Wie DraupnirBot Ihre robots.txt liest

Bevor DraupnirBot eine Seite Ihrer Website anfragt, prüft er ihre Adresse gegen Ihre robots.txt. Die robots.txt selbst fragt er mit dem User-Agent oben an.

  • DraupnirBot folgt den Gruppen, deren User-agent-Zeile DraupnirBot nennt, gleich ob groß oder klein geschrieben. Nur wenn es keine gibt, folgt er den Gruppen für alle Crawler (User-agent: *).
  • Von den Allow- und Disallow-Regeln dieser Gruppen entscheidet die längste passende; sind eine Allow- und eine Disallow-Regel gleich lang, gewinnt Allow, und passt keine, ist die Seite erlaubt. * und $ wirken wie in RFC 9309.
  • Setzen diese Gruppen ein Crawl-delay (eine Zahl von Sekunden), lässt DraupnirBot zwischen dem Beginn zweier Seitenanfragen an Ihren Host mindestens so viele Sekunden verstreichen, bei mehreren Werten den größten. Er kürzt die Wartezeit nie: Müsste er länger als fünf Minuten warten, lässt er die Anfrage aus.
  • Auch ohne Crawl-delay lässt er zwischen dem Beginn zweier Seitenanfragen an denselben Host eine Pause; wie lang, hängt von der Aufgabe und vom Host ab.
  • Antwortet Ihr Server auf die Anfrage nach der robots.txt mit 408, 502, 503 oder 504 oder gar nicht, fragt DraupnirBot sie bis zu zweimal erneut an, jeweils wenige Sekunden später; es gilt die letzte Antwort. Ist sie 429 oder ein Fehler (5xx), oder bleibt sie aus, fragt er die robots.txt frühestens 30 Minuten nach dem ersten Versuch wieder an und bis dahin keine Seite Ihrer Website.
  • Antwortet Ihr Server auf die Anfrage nach der robots.txt mit 401, 403 oder 451, gilt Ihre ganze Website für DraupnirBot als gesperrt. Das ist strenger als RFC 9309, das in diesem Fall das Abrufen erlaubt.
  • DraupnirBot entscheidet mit einer Kopie Ihrer robots.txt, die höchstens 24 Stunden alt ist.
  • Draupnir kann in mehreren Prozessen zugleich laufen. Jeder hält seine eigene Kopie Ihrer robots.txt und seine eigenen Abstände; all das gilt deshalb je Prozess, und zwei Prozesse können Ihren Server in kürzerem Abstand erreichen, als Ihr Crawl-delay verlangt.

Diese Regeln gelten für jede Anfrage mit dem User-Agent oben, auch für Seiten, die jemand in Draupnir anfordert.

So sperren Sie DraupnirBot

Für Ihre ganze Website genügen diese zwei Zeilen in Ihrer robots.txt:

User-agent: DraupnirBot
Disallow: /

Weil DraupnirBot mit einer bis zu 24 Stunden alten Kopie Ihrer robots.txt entscheidet, wirkt die Sperre nicht sofort.

Lehnen Sie an Ihrem Server oder Ihrer Firewall Anfragen ab, deren User-Agent DraupnirBot enthält, etwa mit 403. Prüfen Sie nur auf den Namen: Der Rest der Kennung kann sich ändern.

Kontakt

Fragen und Beschwerden zu DraupnirBot richten Sie bitte an: grant-ai@mithgard.ai

Wer Draupnir betreibt, steht im Impressum: Impressum