Robots.txt

Schöner Nachruf bei Heise: „Abschied von robots.txt (1994-2025) – Das freiwillige Compliance-Protokoll, das das Internet zivilisierte, ist von uns gegangen.“

Ich habe auch so etwas. Ich hoffe, die Datei fühlt sich nicht einsam, wenn keiner mehr vorbeikommt.
User-agent: *
Disallow: /seminar140219/
Disallow: /becker/
Disallow: /cabrera/
Disallow: /fg/
Disallow: /bj/
Disallow: /freevideo/
Disallow: /upload/
Disallow: /txt/

Bei der Bilderzeugung ist hier ChatGPT (oben) mit demselben Prompt erheblich besser als Midjourney.

^{Eine humorvolle, metaphorische Szene, die zeigt, wie eine kleine, unscheinbare Textdatei namens „robots.txt“ auf einer Website liegt, während riesige, glänzende Suchmaschinen-Roboter (mit Logos wie generischen Suchsymbolen, keine echten Marken) achtlos an ihr vorbeilaufen oder sie übersehen. Die Datei winkt oder hält ein Schild mit „Bitte nicht indexieren!“ hoch, aber die Roboter ignorieren sie und durchsuchen den Rest der Website. Stil: moderne digitale Illustration, leicht satirisch, mit klaren technischen Details (z. B. HTML-Seiten, Crawler, Server). Farbpalette: blau, grau und grün. Atmosphäre: ironisch, aber professionell.}

Oktober 17, 2025 | abgelegt unter Internet and Computer

Kommentare

4 Kommentare zu “Robots.txt”

Godwin am Oktober 17th, 2025 7:53 p.m.

Kann es mal einer für den DAU runterbrechen?

Google KI gibt an
„Sie ist eine einfache Textdatei, die von Website-Betreibern genutzt wird, um Suchmaschinen-Crawlern mitzuteilen, welche Bereiche der Website sie nicht durchsuchen sollen.“

Ähm ja
Und??
Ich dachte immer man will gefunden werden.
Ich dachte immer es sei schlecht, wenn man bei Google nicht mehr gelistet wird.
Oder was ist jetzt genau das Problem?
Oder geht es darum, dass irgendwelche Zugriffe künstlich generiert werden, obwohl keine real existierende Person die Seite angeklickt hat?
U d was wäre da das Problem?
Dumme Leute schalten dort Werbung, die niemand wahrnimmt…
blu_frisbee am Oktober 17th, 2025 7:55 p.m.

https://www.google.com/search?q=selbst+auf+Gefahr+des+Galgens

Mord ist verboten, Drogen sind verboten.
Dennoch passierts.
juri nello am Oktober 17th, 2025 8:30 p.m.

Solange man KI nutzt, sind Tracking und Seitencrawler oder Indizes wohl weniger ein Problem für einen selbst. Das Thema kann man dann immer noch schön für eine Show nutzen. Anubis hin oder her.
Nur die Anderen sind halt blöd.
bentux am Oktober 17th, 2025 8:55 p.m.

Gefunden werden schon, aber nicht mit den falschen Stichworten. Das ist mehr so eine Art Empfehlung, nach dem Motto, da gibt es nix zu sehen.
Die Roboter richten sich danach, aber da die AI/KI sich nen Dreck drum schert und alles mit nimmt was nicht bei drei auf den Bäumen ist. Die Suchmaschinen den KI Schwachfug mit einbinden.
Ist Robot.txt nicht tot, sondern obsolet.
Der geneigte Seitenbetreiber muss jetzt aktiv gegen den KI/AI Crawler vorgehen und erkennen was da so vorbei kommt und die Sachen dann diesem Teil vor enthalten. :*)

Also wird es eine Webseite für Mensch geben und eine für den Crawler, der die Seite so darstellt wie der Seitenbetreiber das wünscht oder hofft zu zeigen.
Plus die KI fasst mehrere Seiten zusammen, liefert die dann direkt an das Suchende, Browsende Volk. Da hat dann der Seitenbetreiber nix von. Keine Klicks keine Knete, kein Geschäft, halt nur für den AI/KI Betreiber.

<8*) Andere reden auch vom Tod des Internet, nur wenn sich dann nur Mr. Nobody die Mühe macht den Text zu verzapfen. Woher soll so ein LLM dann seinen Stoff beziehen?