KI-Glossar · KI-Begriff 213 von 218
Was ist OAI-SearchBot?
Crawler von OpenAI, mit dem Websites in den Suchergebnissen der Suchfunktionen von ChatGPT erscheinen. Sperrt eine Website OAI-SearchBot in der robots.txt, zeigt ChatGPT sie laut OpenAI nicht in Suchantworten, als Navigationslink kann sie aber weiter auftauchen. Die Einstellung ist unabhängig von GPTBot, dem Crawler für das Training; nach einer Änderung der robots.txt kann es laut OpenAI rund 24 Stunden dauern, bis die Suche sie berücksichtigt.
Hans erklärt's mit Schrauberhänden 🔧
Wie ein Reporter, der nur für die Trefferliste recherchiert, nicht für ein Lehrbuch.
Merksatz: OAI-SearchBot entscheidet über Suchantworten in ChatGPT, GPTBot getrennt davon über das Training.
Beispiel aus der Praxis
Ein Onlineshop erlaubt in der robots.txt OAI-SearchBot und sperrt GPTBot. Seine Seiten können so in Suchantworten von ChatGPT verlinkt werden, gecrawlte Inhalte sollen aber nicht ins Training fließen.
Darauf kommt es an
Willst du in den Suchantworten von ChatGPT auftauchen, lass OAI-SearchBot in der robots.txt zu und blockier die von OpenAI veröffentlichten IP-Bereiche nicht in deiner Firewall. Prüf nach einer Änderung erst nach etwa einem Tag, ob sie wirkt.
Weiter lernen: Passende Seite auf mentat.codes →
Verwandte Begriffe
- robots.txtTextdatei im Stammverzeichnis einer Website, in der du Crawlern mitteilst, welche Bereiche sie abrufen dürfen und welche nicht. Seriöse Crawler halten sich daran, ein Zugriffsschutz ist sie aber nicht.
- KI-CrawlerAutomatisches Programm eines KI-Anbieters, das Webseiten abruft, um Inhalte für Training, Suchindex oder Antworten auf Nutzerfragen zu sammeln. Über die robots.txt kannst du je Crawler festlegen, was er lesen darf.
- GEO (Generative Engine Optimization)Optimierung von Inhalten dafür, in Antworten von KI-Suchen und KI-Assistenten genannt und zitiert zu werden. Den Begriff hat eine Forschungsarbeit von Aggarwal und anderen geprägt, die im November 2023 auf arXiv erschienen ist.
- TrainingsdatenDie Texte, Bilder oder anderen Daten, aus denen ein Modell gelernt hat.
Kurz gefragt
Was ist OAI-SearchBot?
Crawler von OpenAI, mit dem Websites in den Suchergebnissen der Suchfunktionen von ChatGPT erscheinen. Sperrt eine Website OAI-SearchBot in der robots.txt, zeigt ChatGPT sie laut OpenAI nicht in Suchantworten, als Navigationslink kann sie aber weiter auftauchen. Die Einstellung ist unabhängig von GPTBot, dem Crawler für das Training; nach einer Änderung der robots.txt kann es laut OpenAI rund 24 Stunden dauern, bis die Suche sie berücksichtigt.
Was ist ein Beispiel für OAI-SearchBot?
Ein Onlineshop erlaubt in der robots.txt OAI-SearchBot und sperrt GPTBot. Seine Seiten können so in Suchantworten von ChatGPT verlinkt werden, gecrawlte Inhalte sollen aber nicht ins Training fließen.
Worauf sollte ich bei OAI-SearchBot achten?
Willst du in den Suchantworten von ChatGPT auftauchen, lass OAI-SearchBot in der robots.txt zu und blockier die von OpenAI veröffentlichten IP-Bereiche nicht in deiner Firewall. Prüf nach einer Änderung erst nach etwa einem Tag, ob sie wirkt.
Weiter geht's 🧭
Diese Seiten hat mein Algorithmus aus Kaffee und Textvergleich für dich rausgesucht.
Passt dazu 6
- GlossarWas ist eine llms.txt? Einfach erklärt mit Beispiel
- GlossarWas ist der Googlebot? Einfach erklärt mit Beispiel
- RatgeberKI-Crawler in der robots.txt steuern und prüfen
- RatgeberPrüfplan: Nennen ChatGPT, Perplexity und Google deine Marke?
- SkillKI-Sichtbarkeit (GEO): Skill für ChatGPT, Claude, Gemini
- SeiteSEO und GEO Guide: in Google und KI-Antworten
Wer hierher verlinkt 7
Gut vernetzt: 7 Seiten zeigen auf diese hier. Die passendsten:
- GlossarWas ist PerplexityBot? Einfach erklärt mit Beispiel
- GlossarWas ist eine robots.txt? Einfach erklärt mit Beispiel
- GlossarWas ist eine llms.txt? Einfach erklärt mit Beispiel
- GlossarWas ist Google-Extended? Einfach erklärt mit Beispiel
- GlossarWas ist GEO? Einfach erklärt mit Beispiel
- RatgeberKI-Crawler in der robots.txt steuern und prüfen
Warum so kurz erklärt?
Weil ein Glossar zum Nachschlagen da ist. Wer tiefer will, findet unten die Seiten, auf denen der Begriff in der Praxis vorkommt.
Heute bei mentat.codes
Gratis-Perle des Tages
Jeden Tag eine handverlesene Gratis-Perle mit Dofollow-Link. Alle Gratis-Portale
Prompt des Tages
Jeden Tag eine andere Vorlage zum Kopieren. Zur Prompt-Bibliothek
Tool des Tages
Jeden Tag ein anderes KI-Tool mit Preisen laut Anbieter. Alle Steckbriefe
Fragen, Tool-Vorschlag oder einen Fehler gefunden?