Latest / Marketing-Automatisierung 2026 / Lizenzierung und Robots für maximale Inklusion: Wie man KI-Crawler willkommen heißt

Transcript

Lizenzierung und Robots für maximale Inklusion: Wie man KI-Crawler willkommen heißt · Marketing-Automatisierung 2026

0:00
SPEAKER_00: Lizenzierung und Robots für maximale Inklusion Wie man künstliche Intelligenz-Crawler willkommen heißt.
0:08
SPEAKER_00: Aktualisiert am 25.
0:10
SPEAKER_00: August 2026.
0:12
SPEAKER_00: Websites haben heute mehr als eine Möglichkeit, ein Publikum zu erreichen.
0:17
SPEAKER_00: Eine Seite kann über die Google-Suche gefunden, von Chat-GPT zusammengefasst, von Perplexity zitiert, in der Clode-Suche verwendet, über Apple-Dienste angezeigt oder von einem öffentlichen Webarchiv gesammelt werden.
0:31
SPEAKER_00: Diese Systeme verwenden nicht alle denselben Crawler oder folgen denselben Regeln.
0:37
SPEAKER_00: Eine Website, die GPT-Bot blockiert, kann dennoch in der Chat-GPT-Suche erscheinen, wenn sie OAI Searchbot zulässt.
0:45
SPEAKER_00: Eine Website, die Applebot zulässt, kann in der Apple-Suche sichtbar bleiben, während AppleBot Extended vom Training von Modellen künstlicher Intelligenz ausgeschlossen wird.
0:56
SPEAKER_00: Googles Google Extended ist überhaupt kein normaler Crawler, es ist ein Robots TXT-Kontrolltoken.
1:03
SPEAKER_00: Die beste Strategie ist daher nicht einfach, künstliche Intelligenz zulassen oder künstliche Intelligenz blockieren.
1:10
SPEAKER_00: Vielmehr geht es darum, separate Berechtigungen zu erstellen für Suche und Entdeckung, vom Benutzer angeforderte Abrufe, Modellentwicklung und Training, öffentliche Datensätze, sensible, private oder eingeschränkte Materialien.
1:25
SPEAKER_00: Dieser Artikel bietet eine aktuelle Crawler-Bestandsaufnahme, Robots.txt-Beispiele, Metatech-Anleitungen, Methoden zur Überprüfung von Internet-Protokolladressen, Ratschläge zur Creative Commons-Lizenzierung, juristische Standardformulierungen und eine Risiko-Nutzen-Matrix.
1:43
SPEAKER_00: Die vier Kontrollen, die jeder Publisher verstehen sollte.
1:46
SPEAKER_00: Robots.txt steuert angefordertes Crawling.
1:50
SPEAKER_00: Ein Robots.txt-Dokument teilt konformen automatisierten Clients mit, welche Seiten Sie anfordern dürfen.
1:57
SPEAKER_00: Sie ist nützlich für die Verwaltung des Scrawler-Traffics und zur Äußerung der Präferenzen eines Publishers.
2:03
SPEAKER_00: Robots.txt ist jedoch kein Zugriffskontrollsystem.
2:07
SPEAKER_00: Das Robots Exclusion Protocol besagt, dass seine Regeln keine Zugriffsberechtigung darstellen.
2:12
SPEAKER_00: Google warnt auch davor, dass eine blockierte Adresse immer noch in den Suchergebnissen erscheinen kann, wenn andere Seiten darauf verlinken.
2:21
SPEAKER_00: Verwenden Sie Passwörter, Authentifizierung oder serverseitige Zugriffskontrollen für vertrauliche Informationen.
2:28
SPEAKER_00: Metatex steuern Indexierung und Snippets.
2:32
SPEAKER_00: Robots Metatex und der x-Robotstag-Antwortheader können steuern, ob eine Seite indexiert wird oder ob eine Suchmaschine ein Snippet anzeigen darf.
2:41
SPEAKER_00: Diese Kontrollen sind normalerweise erst sichtbar, nachdem ein Crawler die Seite abrufen durfte.
2:47
SPEAKER_00: Wenn Robots.txt die Seite zuerst blockiert, sieht der Crawler den Metatag möglicherweise nie.
2:54
SPEAKER_00: Netzwerkkontrollen vervizifieren den Crawler.
2:57
SPEAKER_00: Ein User-Agent-Name lässt sich leicht kopieren.
3:00
SPEAKER_00: Ein Angreifer kann eine Anfrage senden, die vorgibt, GPT-Bot, Google-Bot oder PerplexityBot zu sein.
3:08
SPEAKER_00: Ein stärkerer Ansatz kombiniert.
3:10
SPEAKER_00: Der angegebene User Agent, ein veröffentlichter Internetprotokoll-Adressbereich, Reverse-Domain Name-System, DNS-Verifizierung, Forward-Domain-Name-System, DNS-Verifizierung, Ratenbegrenzungen und Anfragenüberwachung.
3:26
SPEAKER_00: Eine Lizenz gewährt Wiederverwendungsrechte.
3:29
SPEAKER_00: Robots.txt gibt an, was ein Crawler tun soll.
3:34
SPEAKER_00: Eine Lizenz gibt an, was Personen oder Organisationen rechtlich mit Material tun dürfen, wenn eine Urheberrechtserlaubnis erforderlich ist.
3:43
SPEAKER_00: Dies sind unterschiedliche Werkzeuge.
3:46
SPEAKER_00: Eine permissive Lizenz kann die rechtliche Unsicherheit verringern, garantiert aber nicht, dass ein Crawler die Seite besucht, dass ein Modell sie verwendet oder dass ein Assistent sie zitiert.
3:58
SPEAKER_00: Inventar wichtiger Crawler.
4:00
SPEAKER_00: Das folgende Inventar wurde anhand der am 25.
4:03
SPEAKER_00: August 2026 verfügbaren Anbieterdokumentation überprüft.
4:09
SPEAKER_00: User-Agent-Namen, Zwecke und Internetprotokoll-Adressbereiche können sich ändern.
4:14
SPEAKER_00: Daher sollten Produktionssysteme die aktuelle Dokumentation und Live-Adress-Feeds des Anbieters verwenden.
4:21
SPEAKER_00: For the full table, please open this article on autopod.co.
4:26
SPEAKER_00: Openai dokumentiert seine Such-, Trainings-, Werbe- und benutzergesteuerten Crawler als separate Kontrollen.
4:34
SPEAKER_00: Die Dokumentation empfiehlt ausdrücklich, OAI Searchbot für die Chat-GPT-Suche zuzulassen, während EPT-Bot separat für Trainingspräferenzen verwendet wird.
4:45
SPEAKER_00: Google trennt ebenfalls Googlebot, Google Other und Google Extended.
4:50
SPEAKER_00: Google Extended hat keinen eigenen HTTP-Anfrage User Agent und das Blockieren entfernt eine Seite nicht aus der Google-Suche.
4:58
SPEAKER_00: Enthropic dokumentiert separate Rollen für CloudBot, Cloud Searchbot und Claud User.
5:05
SPEAKER_00: Enthropic gibt auch an, dass seine Bots Robots.txt befolgen und die nicht standardisierte Crawl-Delay-Direktive unterstützen.
5:13
SPEAKER_00: Perplexity unterscheidet zwischen automatischem Suchcrawling und benutzerangefordertem Abruf.
5:20
SPEAKER_00: Die aktuelle Dokumentation besagt, dass PerplexityBot Robots.txt respektiert, während Perplexity User dies im Allgemeinen nicht tut, da es auf eine Benutzeranfrage reagiert.
5:32
SPEAKER_00: Apples aktuelle Dokumentation macht dieselbe Unterscheidung zwischen Suche und Training.
5:37
SPEAKER_00: AppleBot unterstützt die Entdeckung, während AppleBot Extended es Publishern ermöglicht, die Trainingsnutzung zu kontrollieren, ohne Seiten aus der Apple-Suche zu entfernen.
5:48
SPEAKER_00: Empfohlene Robots.txt-Konfigurationen.
5:51
SPEAKER_00: Platzieren Sie Robots.txt im Stammverzeichnis jedes Hosts, zum Beispiel Text.
5:57
SPEAKER_00: Regeln gelten für den spezifischen Host, das Protokoll und den Port, unter dem die Datei bereitgestellt wird.
6:04
SPEAKER_00: Eine separate Subdomain benötigt möglicherweise eine eigene Datei.
6:09
SPEAKER_00: Konfiguration 1.
6:11
SPEAKER_00: Maximale Inklusion.
6:13
SPEAKER_00: Verwenden Sie dies, wenn öffentliche redaktionelle Inhalte von konformen Crawlern gefunden, zusammengefasst, zitiert, indexiert und gesammelt werden dürfen.
6:24
SPEAKER_00: Text.
6:25
SPEAKER_00: Public Pages are available to compliant crawlers.
6:28
SPEAKER_00: User Agent Allow.
6:30
SPEAKER_00: Keep private, transactional and administrative paths out.
6:34
SPEAKER_00: Disallow, Account, Disallow, Admin, Disallow Checkout, Disallow Private, Disallow API Private, Disallow Internal Search Site.
6:44
SPEAKER_00: Dies erlaubt benannten Crawlern, einschließlich OpenAI, Google, Anthropic, Perplexity, Apple, Common Crawl, Microsoft und Amazon.
6:53
SPEAKER_00: Es sei denn, eine andere spezifische Regel blockiert Sie.
6:57
SPEAKER_00: Platzieren Sie keine pauschale Regel wie UserAgent X, Disallow unterhalb dieser Konfiguration.
7:04
SPEAKER_00: Eine spätere oder spezifischere Gruppe kann die Interpretation der Datei durch einen Crawler ändern.
7:11
SPEAKER_00: Konfiguration 2.
7:12
SPEAKER_00: Suche zulassen, aber Crawler für die Modellenentwicklung blockieren.
7:17
SPEAKER_00: Dies ist oft der beste Kompromiss für Publisher, die Zitate und Suchtraffic wünschen, aber keine Erlaubnis für die Sammlung zur Modellenentwicklung signalisieren möchten.
7:27
SPEAKER_00: Text Block OpenAI Model Development Crawling.
7:30
SPEAKER_00: User Agent GPTBot.
7:32
SPEAKER_00: Disallow.
7:33
SPEAKER_00: BlockAnthropic Model Development Crawling.
7:36
SPEAKER_00: User Agent ClaudBot.
7:37
SPEAKER_00: Disallow.
7:38
SPEAKER_00: Block Google Model Training and Related Grounding Use.
7:41
SPEAKER_00: User Agent Google Extended.
7:43
SPEAKER_00: Disallow.
7:44
SPEAKER_00: Block Apple Foundation Model Training Use.
7:46
SPEAKER_00: User Agent AppleBot Extended.
7:49
SPEAKER_00: Disallow.
7:49
SPEAKER_00: Optional Block Common Crawl Dataset Collection.
7:52
SPEAKER_00: User Agent Catsebot.
7:54
SPEAKER_00: Disallow.
7:55
SPEAKER_00: Allow ordinary search and retrieval crawling, except for sensitive paths.
7:59
SPEAKER_00: User agent X, allow, disallow, account, disallow, admin, disallow, checkout, disallow private, disallow API private, disallow internal search site.
8:11
SPEAKER_00: Diese Konfiguration lässt OAI Searchbot, Cloud Searchbot, PerplexityBot, Googlebot und AppleBot von der Wildcard-Gruppe abdecken.
8:20
SPEAKER_00: Sie hält auch Such- und Trainingsberechtigungen getrennt.
8:23
SPEAKER_00: Für Apple bewahrt das Blockieren von AppleBot Extended, bei gleichzeitiger Zulassung von AppleBot die Auffindbarkeit über Apple Dienste.
8:32
SPEAKER_00: Für Google blockiert das Blockieren von Google Extended die normale Google-Suche nicht.
8:37
SPEAKER_00: Konfiguration 3.
8:39
SPEAKER_00: Ausgewählte Suchcrawler explizit zulassen.
8:42
SPEAKER_00: Wenn eine bestehende robots.txt-Datei alle Crawler blockiert, fügen Sie separate Gruppen für die Suchcrawler hinzu, die Sie willkommen heißen möchten.
8:51
SPEAKER_00: User Agent OAI Searchbot.
8:54
SPEAKER_00: Allow, Disallow Account, Disallow Admin, Disallow Checkout, Disallow Private.
9:00
SPEAKER_00: User Agent Claude Searchbot.
9:03
SPEAKER_00: Allow.
9:03
SPEAKER_00: Disallow account.
9:05
SPEAKER_00: Disallow admin.
9:06
SPEAKER_00: Disallow checkout.
9:07
SPEAKER_00: Disallow private.
9:09
SPEAKER_00: User agent perplexity bot.
9:11
SPEAKER_00: Allow.
9:12
SPEAKER_00: Disallow account.
9:13
SPEAKER_00: Disallow admin.
9:14
SPEAKER_00: Disallow checkout.
9:15
SPEAKER_00: Disallow private.
9:17
SPEAKER_00: User agent GoogleBot.
9:19
SPEAKER_00: Allow.
9:19
SPEAKER_00: Disallow account.
9:20
SPEAKER_00: Disallow admin.
9:22
SPEAKER_00: Disallow checkout.
9:23
SPEAKER_00: Disallow private.
9:24
SPEAKER_00: User agent AppleBot.
9:26
SPEAKER_00: Allow.
9:27
SPEAKER_00: Disallow account.
9:28
SPEAKER_00: Disallow admin.
9:29
SPEAKER_00: Disallow checkout.
9:31
SPEAKER_00: Disallow private.
9:32
SPEAKER_00: User agent Bingbot.
9:34
SPEAKER_00: Allow.
9:34
SPEAKER_00: Disallow account.
9:35
SPEAKER_00: Disallow admin.
9:37
SPEAKER_00: Disallow checkout.
9:38
SPEAKER_00: Disallow private.
9:39
SPEAKER_00: User agent CC bot.
9:41
SPEAKER_00: Allow.
9:42
SPEAKER_00: Disallow account.
9:43
SPEAKER_00: Disallow admin.
9:44
SPEAKER_00: Disallow checkout.
9:45
SPEAKER_00: Disallow private.
9:47
SPEAKER_00: User agent AM search bot.
9:49
SPEAKER_00: Allow.
9:49
SPEAKER_00: Disallow account.
9:50
SPEAKER_00: Disallow admin.
9:52
SPEAKER_00: Disallow private.
9:53
SPEAKER_00: Keep all other crawlers out.
9:55
SPEAKER_00: User agent disallow private.
9:57
SPEAKER_00: Bei der Verwendung spezifischer Gruppen wiederholen Sie die Regeln für sensible Pfade innerhalb jeder Gruppe.
10:03
SPEAKER_00: Einige Crawler verwenden die spezifischste übereinstimmende Gruppe, anstatt sie mit der Wildcard-Gruppe zu kombinieren.
10:09
SPEAKER_00: Bing dokumentiert dieses Verhalten direkt und Google bietet separate Anleitungen für crawler-spezifische Gruppen.
10:16
SPEAKER_00: Wichtige Robots.txt-Einschränkungen.
10:18
SPEAKER_00: Ein Crawler kann Robots.txt ignorieren.
10:21
SPEAKER_00: Ein bösartiger Crawler kann vorgeben, ein vertrauenswürdiger Crawler zu sein.
10:26
SPEAKER_00: Eine blockierte Seite kann immer noch durch ihren Titel oder ihre Webadresse bekannt sein.
10:31
SPEAKER_00: Robots.txt schützt keine Passwörter, privaten Dateien, Kundendaten oder vertraulichen Anwendungsprogrammierschnittstellen.
10:39
SPEAKER_00: Eine Crawl-Delay-Direktive ist nicht Teil des Kerns des Robots Exclusion Protocol und wird nicht von jedem Crawler unterstützt.
10:47
SPEAKER_00: Anthropic und Bing dokumentieren die Unterstützung, während Apple angibt, dass AppleBot Crawl Delay nicht befolgt.
10:54
SPEAKER_00: Metatags und HTTP-Header.
10:56
SPEAKER_00: Beispiel für eine öffentliche Seite.
10:58
SPEAKER_00: Verwenden Sie für einen öffentlichen Artikel einen klaren Titel, Autor, eine kanonische Webadresse, das Veröffentlichungsdatum und das Änderungsdatum.
11:07
SPEAKER_00: HTML Head.
11:09
SPEAKER_00: Titel How to Welcome Artificial Intelligence Crawlers.
11:13
SPEAKER_00: Titel Link RHEL Canonical HRF.
11:15
SPEAKER_00: MetaName Author Content Example Publishing.
11:18
SPEAKER_00: MetaName Robots Content Index Follow MacSnippet 1.
11:22
SPEAKER_00: MetaProperty Article Published Time Content 2026 0825 T0900 200.
11:31
SPEAKER_00: MetaProperty Article Modified Time Content 2026 0825 T0900 2400.
11:39
SPEAKER_00: Die MacSnippet Direktive ist primär für Google dokumentiert.
11:43
SPEAKER_00: Gehen Sie nicht davon aus, dass jeder KI-Crawler jede Metadirektive unterstützt.
11:48
SPEAKER_00: Beispiel für eine private oder sensible Seite HTML, MetaMame Robots Content No Index, No Follow, No Snippet.
11:56
SPEAKER_00: Verwenden Sie dies für Seiten, die nicht in den Suchergebnissen erscheinen sollen.
12:01
SPEAKER_00: Die Seite muss lange genug crawlbar bleiben, damit der Crawler die Direktive sehen kann.
12:06
SPEAKER_00: Wenn die Seite wirklich privat bleiben muss, verwenden Sie stattdessen Authentifizierung oder Passwortschutz.
12:13
SPEAKER_00: Nur sensible Abschnitte aus Suchsnippets ausblenden.
12:16
SPEAKER_00: Google unterstützt Data No-Snippet für bestimmte Teile einer HTML-Seite.
12:21
SPEAKER_00: HTML ⁇ This Paragraph may be shown in a search result.
12:25
SPEAKER_00: DV, Data No-Snippet, Personal Telephone Numbers, Private E-Mail Addresses or Internal Notes go here.
12:32
SPEAKER_00: Die VIS, dies ist nützlich für Kontaktdaten, interne Notizen oder benutzergenerierte Informationen.
12:39
SPEAKER_00: Es ist keine universelle Anweisung für jedes System künstlicher Intelligenz.
12:44
SPEAKER_00: Verwenden Sie den X-Robots Tag Header für Dateien.
12:47
SPEAKER_00: Metatags können nicht in einer Portable Document File, einem Bild oder einer Videodatei platziert werden.
12:54
SPEAKER_00: Verwenden Sie stattdessen einen HTTP-Antwortheader, Text X-Robots.
12:58
SPEAKER_00: Tag, NoIndex, NoSnippet.
13:01
SPEAKER_00: Für eine Seite, die durchsuchbar bleiben, aber keinen Text für Snippets oder KI-Antworten liefern soll, verwenden Sie TextXrobots.
13:09
SPEAKER_00: Tag, NoSnippet.
13:10
SPEAKER_00: Google dokumentiert X-Robots.
13:12
SPEAKER_00: Tag für nicht-HTML-Ressourcen und Apple unterstützt es auch für AppleBot.
13:17
SPEAKER_00: Apple-spezifische Kontrollen.
13:19
SPEAKER_00: Apple unterstützt HTML-Metaname AppleBot Content NoSnippet.
13:24
SPEAKER_00: Apple gibt an, dass NoSnippet verhindert, dass die Seite als zusätzlicher Kontext und aktueller Inhalt verwendet wird.
13:31
SPEAKER_00: Wenn Apple Modelle Ausgaben generieren, die Seite kann weiterhin über Apple Search, Spotlight, Siri und Safari auffindbar bleiben.
13:39
SPEAKER_00: Für Paywall-Seiten unterstützt Apple auch strukturierte Daten mit Add Context, is accessible for free, false.
13:47
SPEAKER_00: Apple gibt an, dass solche Seiten weiterhin für Suchergebnisse in Frage kommen können, aber nicht als zusätzlicher Kontext für KI-Antworten verwendet werden.
13:56
SPEAKER_00: So überprüfen Sie die Internet-Protokolladressen von Crawlern, warum User Agent Matching nicht ausreicht.
14:03
SPEAKER_00: Eine Regel wie diese ist schwach.
14:05
SPEAKER_00: Text-If User Agent contains GPT-Bot.
14:08
SPEAKER_00: Allow.
14:09
SPEAKER_00: Jeder kann diesen Text senden.
14:11
SPEAKER_00: Eine bessere Regel lautet, Text if User Agent is a known crawler and Source Internet Protocol Address is in the provider's official range.
14:19
SPEAKER_00: Allow or Rate Limit else, Challenge, Rate Limit or Block.
14:23
SPEAKER_00: Vertrauen Sie einem X-Forwarded Forheader nicht, es sei denn, er stammt von einem Proxy oder Content Delivery Network, das Ihre Organisation kontrolliert.
14:33
SPEAKER_00: Anbieter-Verifizierungsmethoden.
14:35
SPEAKER_00: For the full table, please open this article on autopod.co.
14:39
SPEAKER_00: Google, Apple, Common Crawl, OpenAI, Anthropic und Perplexity veröffentlichen alle anbieterspezifische Methoden oder Adressfeeds.
14:49
SPEAKER_00: Diese Listen können sich ändern.
14:51
SPEAKER_00: Daher ist ein geplanter Aktualisierungsprozess sicherer, als eine permanent manuell kopierte Liste.
14:58
SPEAKER_00: Ein einfaches Firewall-Design könnte so aussehen.
15:01
SPEAKER_00: Text Allow OAI Searchbot, only when Source Address is in the current OpenAI Search Range.
15:08
SPEAKER_00: Allow GPT-Bot, only when Source Address is in the current OpenAI Training Range.
15:13
SPEAKER_00: Allow PerplexityBot, only when Source Address is in the current PerplexityBot Range.
15:19
SPEAKER_00: Allow AppleBot only when reverse and forward DNS verification succeeds.
15:23
SPEAKER_00: Allow CCBot, only when Reverse DNS and the current common crawl range match.
15:28
SPEAKER_00: Rate Limit All Verified Crawlers, block or challenge unverified requests claiming to be trusted crawlers.
15:35
SPEAKER_00: Wenden Sie keine pauschale Erlaubnisregel auf einen gesamten Cloud-Anbieter an.
15:40
SPEAKER_00: Ein legitimer Crawler kann Cloud-Infrastruktur nutzen, aber der größte Teil des Traffics von diesem Cloud-Anbieter ist nicht unbedingt der Crawler.
15:48
SPEAKER_00: Wie offene Lizenzierung die Inklusion beeinflusst.
15:51
SPEAKER_00: CC By 4.0 in einfacher Sprache.
15:54
SPEAKER_00: Die Creative Commons Attribution 4.0 Internationallizenz, gemeinhin als CC By4.0 bezeichnet, erlaubt es Personen zu, das Werk zu kopieren und weiter zu verbreiten, es anzupassen, zu übersetzen, zu remixen und darauf aufzubauen, es kommerziell zu nutzen.
16:12
SPEAKER_00: Die Hauptbedingungen sind Angemessene Namensnennung, auf die Lizenz verlinken, angeben, ob Änderungen vorgenommen wurden, nicht suggerieren, dass der ursprüngliche Urheber die Wiederverwendung befürwortet, keine rechtlichen oder technischen Beschränkungen hinzufügen, die durch die Lizenz erlaubte Nutzungen verhindern.
16:30
SPEAKER_00: Creative Commons warnt auch davor, dass die Lizenz möglicherweise keine Datenschutzwächte, Persönlichkeitsrechte, Urheberpersönlichkeitsrechte, Markenrechte, Patentrechte oder Materialiendritter abdeckt.
16:44
SPEAKER_00: Eine Lizenz ist keine Crawler-Einladung an sich.
16:47
SPEAKER_00: Das Anbringen von CC BY 4.0 auf einer Seite garantiert nicht, dass eine Organisation diese crawlen wird.
16:53
SPEAKER_00: Ein Crawler kann weiterhin blockiert werden durch robots.txt, ein Content Delivery Network, eine WebApplication Firewall, Ratenbegrenzung, eine JavaScript-Challenge, eine Login-Wall, eine schlechte Serverantwort, eine unzugängliche Sitemap.
17:10
SPEAKER_00: Umgekehrt gewährt das Zulassen eines Crawlers nicht automatisch jede für jede spätere Nutzung erforderliche Urheberrechtserlaubnis.
17:18
SPEAKER_00: Robots.txt und Lizenzierung sollten gemeinsam gestaltet werden.
17:23
SPEAKER_00: Warum CC BY eine breitere Inklusion unterstützen kann.
17:27
SPEAKER_00: Eine klare permissive Lizenz kann die Richtlinien eines Publishers für Datenteams, Suchsysteme und Assistentenbetreiber leichter verständlich machen.
17:36
SPEAKER_00: Sie kann die Unsicherheit in Bezug auf das Kopieren anpassen, die kommerzielle Nutzung, die Übersetzung und die Weiterverbreitung verringern, wenn diese Aktivitäten eine urheberrechtliche Genehmigung erfordern.
17:48
SPEAKER_00: Creative Commons erklärt jedoch, dass das Training künstlicher Intelligenz rechtlich komplex ist.
17:54
SPEAKER_00: Eine restriktive Lizenz ist nicht immer ein effektiver Weg, um das Training zu verhindern, da einige Trainingsnutzungen durch Urheberrechtsausnahmen oder Beschränkungen zulässig sein können.
18:07
SPEAKER_00: Creative Commons weist auch darauf hin, dass Lizenzbedingungen schwierig auf maschinelles Training und Modellausgaben anzuwenden sein können.
18:17
SPEAKER_00: Die praktische Lehre ist, verwenden Sie CC BY, wenn Sie tatsächlich eine breite rechtmäßige Wiederverwendung wünschen.
18:25
SPEAKER_00: Verwenden Sie keine restriktive Creative Commons Lizenz als garantierten Opt-out für das Training künstlicher Intelligenz.
18:34
SPEAKER_00: Attribution verbessert die Quellenklarheit.
18:37
SPEAKER_00: Creative Commons empfiehlt die TASEL-Methode.
18:40
SPEAKER_00: Titel Autorquelle Lizenz.
18:42
SPEAKER_00: Zum Beispiel Lizenzierung und Robots für maximale Inklusion.
18:47
SPEAKER_00: Beispiel Verlag lizenziert unter Creative Commons Attribution 4.0 International.
18:52
SPEAKER_00: Vorgenommene Änderungen, Crawler-Iventar aktualisiert.
18:56
SPEAKER_00: Eine klare Namensnennung zwingt nicht jeden Assistenten, eine Seite zu zitieren.
19:01
SPEAKER_00: Sie erleichtert jedoch die korrekte Zitierung, wenn ein System den Titel, den Autor, die Quelle und die Lizenzinformationen der Seite extrahiert.
19:11
SPEAKER_00: Strukturierte Artikelinformationen hinzufügen.
19:14
SPEAKER_00: Verwenden Sie sichtbare Informationen und strukturierte Daten zusammen.
19:19
SPEAKER_00: HTML, Script Type Application, LD plus JSON.
19:23
SPEAKER_00: Add Context Add Type Article.
19:26
SPEAKER_00: Headline: Licensing and Robots for Maximum Inclusion.
19:29
SPEAKER_00: Author Add Type Organization, Name Example Publishing, URL.
19:34
SPEAKER_00: Publisher, Add Type Organization, Name Example Publishing, URL.
19:40
SPEAKER_00: Date Published 2022 18822, Date Modified 2022 1882, Main Entity of Page.
19:50
SPEAKER_00: Google empfiehlt klare Autoreninformationen, Autorenseiten, Veröffentlichungsdaten, Änderungsdaten und stabile kanonische Seiten.
20:00
SPEAKER_00: Diese Signale können Suchsystemen helfen zu verstehen, wer das Material erstellt hat und welche Version maßgebend ist.
20:07
SPEAKER_00: Sie garantieren keine Platzierung, Aufnahme oder Zitierung.
20:12
SPEAKER_00: Rechtliche Standardformulierungen für eine offene, zitierfreundliche Website.
20:17
SPEAKER_00: Das folgende ist ein Beispieltext, keine Wegberatung.
20:20
SPEAKER_00: Lassen Sie es von einem Anwalt an Ihre Gerichtsbarkeit, Eigentümerstruktur, Datenschutzpflichten und Inhalte Dritter anpassen.
20:28
SPEAKER_00: CC BY 4.0 Lizenzhinweis.
20:31
SPEAKER_00: Text Inhaltslizenz.
20:33
SPEAKER_00: Sofern nicht anders angegeben, sind der Originaltext und die originalen redaktionellen Materialien auf dieser Seite unter der Creative Commons Attribution 4.0.
20:44
SPEAKER_00: Null International Lizenz lizenziert.
20:47
SPEAKER_00: Diese Erlaubnis gestattet das Kopieren, die Weiterverbreitung, Anpassung, Übersetzung, kommerzielle Nutzung, maschinenlesbare Verarbeitung, Suchindexierung, den Abruf, die Zusammenfassung und die Verwendung in Systemen künstlicher Intelligenz, sofern die Lizenzbedingungen eingehalten werden.
21:06
SPEAKER_00: Bevorzugte Namensnennung, Seitentitel von Autor oder Organisation, kanonische Seitenadresse, veröffentlicht oder aktualisiert am Datum, lizenziert unter Creative Commons Attribution 4.0 international.
21:20
SPEAKER_00: Vorgenommene Änderungen, Änderungen beschreiben oder keine angeben.
21:25
SPEAKER_00: Bitte bewahren Sie die Informationen zu Autor, Publisher, Quelle, Lizenz und Änderungen nach Möglichkeit auf.
21:32
SPEAKER_00: Dieser bevorzugte Leitfaden zur Namensnennung fügt der Creative Commons Lizenz keine Einschränkungen hinzu und ersetzt dem Lizenztext nicht.
21:40
SPEAKER_00: Der Satz Einschließlich Systemen künstlicher Intelligenz verdeutlicht die Absicht des Publishers.
21:46
SPEAKER_00: Er sollte nicht verwendet werden, um vorzugeben, dass der Publisher Rechte an Material besitzt, das von jemand anderem erstellt wurde.
21:54
SPEAKER_00: Hinweis zu Marke, Datenschutz und Rechten Dritter: Die oben genannte Lizenz Deckt nur die als lizenziert gekennzeichneten Originalmaterialien ab.
22:04
SPEAKER_00: Sie gewährt keine Genehmigung zur Nutzung von Marken, Dienstleistungsmarken, Logos oder Handelsaufmachung, Namen, Bildern oder Abbildungen von Personen, privaten, vertraulichen, Konto, Gesundheits-, Finanz- oder Sicherheitsinformationen, Benutzereingaben.
22:21
SPEAKER_00: Es sei denn, sie sind separat als lizenziert gekennzeichnet.
22:25
SPEAKER_00: Fotografien, Illustrationen, Karten, Videos, Musik, Zitaten oder anderen Materialien Dritter.
22:38
SPEAKER_00: Die Verwendung des Namens, der Logos und Marken des Beispielverlags darf keine Förderung, Genehmigung, Partnerschaft oder Unterstützung suggerieren.
22:47
SPEAKER_00: Bitte verlinken Sie auf die Originalseite und unterscheiden Sie deutlich Zitate, Paraphrasen, Zusammenfassungen und generiertes Material.
22:56
SPEAKER_00: Diese Formulierung ist wichtig, da Creative Commons Lizenzen nicht automatisch jede Art von rechtlichem Recht gewähren, das mit einer Seite verbunden ist.
23:05
SPEAKER_00: Leitlinien für Such- und Assistentenzitierung Wir begrüßen die konforme Suchindexierung, den Benutzer angeforderten Abruf, die Zitierung und die Zusammenfassung des lizenzierten Materials auf dieser Website.
23:18
SPEAKER_00: Wenn Sie diese Website zitieren, verwenden Sie bitte den Seitentitel, den Autor oder Publisher, die kanonische Seitenadresse, das Veröffentlichungs- oder Aktualisierungsdatum und einen direkten Link zur Quelle.
23:31
SPEAKER_00: Bitte identifizieren Sie die Quelle als eine Eingabe unter allen verwendeten Quellen.
23:37
SPEAKER_00: Unterscheiden Sie generierte Analysen von zitiertem Material und geben Sie nicht an oder implizieren Sie, dass der Beispielverlag eine generierte Antwort, ein Produkt, eine Person oder einen Dienst befürwortet.
23:51
SPEAKER_00: Diese Richtlinie soll die Genauigkeit und Attribution verbessern.
23:55
SPEAKER_00: Sie gewährt keine Rechte über die anwendbare Inhaltslizenz hinaus und lizenziert keine Marken, persönlichen Informationen, vertraulichen Informationen oder Materialien Dritter.
24:06
SPEAKER_00: Wenn Sie Suchsichtbarkeit wünschen, aber keine breite Trainingslizenz gewähren möchten, Text, Suchzugriff und Urheberrecht.
24:14
SPEAKER_00: Unsere öffentlichen Seiten können von konformen Such- und Abrufcrawlern, die in unserer Robots.txt-Datei aufgeführt sind, aufgerufen werden.
24:23
SPEAKER_00: Diese Erlaubnis soll die Entdeckung, Suchergebnisse, Benutzerangeforderten Abruf und Zitierung unterstützen.
24:37
SPEAKER_00: Der Zugriff auf eine öffentliche Seite gewährt keine separate Lizenz für Modellentwicklung, Training, Weiterverbreitung, kommerzielle Wiederverwendung oder die Erstellung abgeleiteter Werke über die durch anwendbares Recht gewährten Rechte hinaus.
24:52
SPEAKER_00: Bitte zitieren Sie die kanonische Seitenadresse und den Publisher, wenn Sie auf dieses Material verweisen.
24:59
SPEAKER_00: Nichts auf dieser Website gewährt die Erlaubnis zur Nutzung von Marken, Logos, persönlichen Informationen, vertraulichen Informationen oder Inhalten Dritter.
25:15
SPEAKER_00: Identifizieren Sie klar, welche Lizenz für welchen Inhalt gilt.
25:20
SPEAKER_00: Risiko-Nutzen-Matrix für offene Lizenzierung.
25:23
SPEAKER_00: Das Urhaberrecht und die Regeln für das Training künstlicher Intelligenz unterscheiden sich je nach Land und sind weiterhin ungeklärt.
25:31
SPEAKER_00: Das US-amerikanische Copyright Office untersucht diese Fragen weiterhin, während Creative Commons das Training künstlicher Intelligenz als fallsspezifisch und rechtlich komplex beschreibt.
25:43
SPEAKER_00: For the full table, please open this article on autopodco.
25:48
SPEAKER_00: Die ausgewogenste Strategie für viele Organisationen ist CC BY 4.0 für originalen öffentlichen redaktionellen Text.
25:57
SPEAKER_00: Separate Kennzeichnungen für Materialien Dritter.
26:00
SPEAKER_00: Keine öffentlichen persönlichen oder vertraulichen Informationen.
26:04
SPEAKER_00: Such- und Abrufcrawler zulassen.
26:07
SPEAKER_00: Crawler für die Modellentwicklung nur zulassen, wenn die Organisation diese Nutzung wirklich akzeptiert.
26:13
SPEAKER_00: Klare Namensnennung und kanonische Links verwenden.
26:17
SPEAKER_00: Marken durch einen separaten Markenhinweis schützen.
26:20
SPEAKER_00: Eine praktische Implementierungscheckliste.
26:23
SPEAKER_00: Inhalt und Lizenzierung.
26:25
SPEAKER_00: Identifizieren Sie, wem jede Seite, jedes Bild, Diagramm, Video und Zitat gehört.
26:31
SPEAKER_00: Lizensieren Sie nur Material, für das Ihre Organisation die Rechte kontrolliert.
26:36
SPEAKER_00: Markieren Sie Materialdritter separat.
26:39
SPEAKER_00: Fügen Sie einen sichtbaren Lizenzhinweis hinzu.
26:43
SPEAKER_00: Geben Sie eine bevorzugte Zitierung mit Titel, Autor, Quelle und Lizenz an.
26:48
SPEAKER_00: Halten Sie Logos, Marken, persönliche Daten und vertrauliche Informationen außerhalb des Lizenzumfangs.
26:55
SPEAKER_00: Robots.txt.
26:56
SPEAKER_00: Erstellen Sie eine öffentliche Robots.txt-Datei im Stammverzeichnis jedes Hosts.
27:02
SPEAKER_00: Erlauben Sie Suchcrawler getrennt von Trainingscrawlern.
27:06
SPEAKER_00: Blockieren Sie administrative, Konto, Checkout, private und interne Anwendungsquade.
27:12
SPEAKER_00: Verlassen Sie sich bei der Sicherheit nicht auf Robots.txt.
27:16
SPEAKER_00: Testen Sie die Datei nach jeder größeren Website-Bereitstellung.
27:20
SPEAKER_00: Metatex.
27:21
SPEAKER_00: Verwenden Sie kanonische Links.
27:23
SPEAKER_00: Fügen Sie Autor, Veröffentlichungsdatum und Änderungsdatum hinzu.
27:27
SPEAKER_00: Verwenden Sie NoIndex für Seiten, die nicht in der Suche erscheinen sollen.
27:32
SPEAKER_00: Verwenden Sie NoSnippet oder Data NoSnippet für sensible Auszüge, wo unterstützt.
27:38
SPEAKER_00: Verwenden Sie X-Robots-Tag für Portable Document Files, Bilder und andere nicht-HTML-Ressourcen.
27:45
SPEAKER_00: Denken Sie daran, dass ein Crawler eine Seite abrufen können muss, bevor er Ihre Metatext lesen kann.
27:51
SPEAKER_00: Netzwerksicherheit.
27:53
SPEAKER_00: Protokollieren Sie User-Agent-Strings, Quelladressen, Antwortcodes und Anforderungspfade.
27:59
SPEAKER_00: Verifizieren Sie vertrauenswürdige Crawler mit Hilfe offizieller Adressfeeds oder Domain Name System DNS-Methoden.
28:06
SPEAKER_00: Aktualisieren Sie Adressfeeds automatisch.
28:09
SPEAKER_00: Kombinieren Sie User-Agent- und Quelladressenprüfungen.
28:13
SPEAKER_00: Begrenzen Sie die Rate verifizierter Crawler, anstatt Ihnen uneingeschränkten Zugriff zu gewähren.
28:19
SPEAKER_00: Fordern Sie Anfragen heraus oder blockieren Sie diese, wenn Sie vorgeben, vertrauenswürdige Crawler zu sein.
28:26
SPEAKER_00: Die Verifizierung aber fehlschlägt.
28:28
SPEAKER_00: Messung.
28:29
SPEAKER_00: Verfolgen Sie Besuche von KI-Suchdiensten.
28:32
SPEAKER_00: Verweise auf die Originalseite.
28:34
SPEAKER_00: Zitationshäufigkeit.
28:36
SPEAKER_00: Serverners pro Crawler.
28:38
SPEAKER_00: Anfragen, die 403, 404 oder 429 zurückgeben.
28:43
SPEAKER_00: Crawler-Zugriff auf unbeabsichtigte Pfade, ob aktuelle Artikel nach der Veröffentlichung gefunden werden.
28:49
SPEAKER_00: Fazit.
28:50
SPEAKER_00: Maximale Inklusion erfordert selektive Offenheit, nicht eine einzige pauschale Genehmigung.
28:56
SPEAKER_00: Verwenden Sie Robots.txt, um die Suche, den Benutzerabruf, das Training und das Crawling öffentlicher Datensätze zu trennen.
29:04
SPEAKER_00: Verwenden Sie Metatex und HTTP-Header, um die Indexierung und Snippets zu verwalten.
29:10
SPEAKER_00: Verwenden Sie Authentifizierung für alles Private.
29:14
SPEAKER_00: Überprüfen Sie die Internetprotokolladressen von Crawlern, anstatt sich allein auf User-Agent-Namen zu verlassen.
29:20
SPEAKER_00: Eine permissive Lizenz wie CC BY 4.0 kann die breite Wiederverwendung erleichtern, wenn Sie dies wirklich wünschen.
29:28
SPEAKER_00: Klare Attributionsinformationen.
29:30
SPEAKER_00: Titel, Autor, Quelle, Lizenz, kanonische Seite und Aktualisierungsdatum können Suchsystemen und Assistenten auch erleichtern, die korrekte Quelle zu identifizieren und zu zitieren.
29:43
SPEAKER_00: Die stärkste Veröffentlichungsstrategie ist daher, öffnen Sie die öffentlichen Inhalte, die Sie entdeckt wissen möchten.
29:50
SPEAKER_00: Lizensieren Sie klar das Material, das Sie wiederverwenden möchten.
29:54
SPEAKER_00: Kennzeichnen Sie das Material, das Ihnen nicht gehört, schützen Sie private Informationen auf Serverebene und geben Sie jedem Crawler eine separate, überprüfbare Genehmigung.
30:05
SPEAKER_00: Alle Quellenlinks finden Sie in der Textversion dieses Artikels.
30:09
SPEAKER_00: Den vollständigen Artikel finden Sie auf autopod.co.