Często pojawia się pozornie proste pytanie: Czy powinniśmy dodać llms.txt, aby sztuczna inteligencja prawidłowo odczytywała naszą stronę, a jednocześnie nie wykorzystywała naszych treści do trenowania? Nie ma uniwersalnej odpowiedzi tak lub nie. Wymieszano trzy różne kwestie: dostęp robotów, widoczność w wyszukiwarce i wskazówki dla agentów AI.
Rozdzielenie tych kwestii ma większe znaczenie niż sam plik. W przeciwnym razie możemy zablokować ruch, którego chcemy, a jednocześnie nie uzyskać oczekiwanej ochrony.
Najpierw wyjaśnij, co chcesz osiągnąć
- Chcę, aby Google lub ChatGPT Search znalazły stronę. Zajmij się indeksowaniem, technicznym SEO i zasadami konkretnego robota wyszukiwarki.
- Nie chcę udostępniać treści do trenowania modeli. Zajmij się robotem treningowym i warunkami usługi.
- Chcę zaoferować agentowi zwięzłą mapę dokumentacji. W tym przypadku
llms.txtmoże mieć sens. - Chcę chronić niepubliczne treści. Żaden plik tekstowy nie wystarczy. Potrzebujesz uwierzytelniania, autoryzacji i prawdziwych zabezpieczeń.
Te decyzje są niezależne technicznie. Robot wyszukiwarki i robot treningowy danej firmy mogą mieć różne nazwy i zasady.
Czym jest llms.txt — i czym nie jest
LLMs.txt to propozycja prostego pliku Markdown w katalogu głównym strony. Oferuje agentowi krótki opis i odnośniki do ważnych źródeł. W przypadku obszernej dokumentacji może być katalogiem obejmującym produkt, API, warunki i typowe procedury.
Nie jest to polityka dostępu. Nie określa wiążąco, kto może wykorzystywać treści do trenowania, nie uniemożliwia pobrania strony ani nie gwarantuje cytowania w wynikach. Google wyraźnie mówi, że jego funkcje AI w wyszukiwarce nie wymagają specjalnego pliku AI oraz że llms.txt niczego nie dodaje do Google Search.
Na stronie firmowej wdrożyłbym go wtedy, gdy możemy utrzymywać krótką, dokładną i użyteczną listę źródeł — nie jako pusty gest SEO. Nieaktualna mapa jest gorsza niż jej brak, ponieważ może wskazywać nieprawidłowe ceny, stare instrukcje lub usunięte strony.
Robots.txt kontroluje crawlowanie, a nie zaufanie ani bezpieczeństwo
Plik robots.txt mówi współpracującym robotom, dokąd mogą wejść, a dokąd nie. Jest publiczny, jego zasady zależą od agenta użytkownika i nie jest zaporą sieciową przeciwko nieposłusznemu robotowi.
Blokowanie za pomocą robots.txt nie jest niezawodnym sposobem na usunięcie adresu URL z wyszukiwarki. Google może znać adres z innych odnośników, nawet jeśli nie może odczytać jego treści. W przypadku danych niepublicznych użyj logowania. Dla strony, która nie powinna pojawiać się w wynikach, zwykle używa się noindex na stronie dostępnej do indeksowania lub odpowiedniego kodu statusu.
Nie ma jednego przełącznika dla wszystkich robotów AI
OpenAI: wyszukiwanie i trenowanie można rozdzielić
Dokumentacja OpenAI opisuje osobne roboty. OAI-SearchBot odkrywa treści na potrzeby wyszukiwania ChatGPT, podczas gdy GPTBot może być wykorzystywany do ulepszania modeli generatywnych. Możesz więc zezwolić pierwszemu i zablokować drugiego:
User-agent: OAI-SearchBot
Allow: /
User-agent: GPTBot
Disallow: /ChatGPT-User oznacza żądanie wywołane przez użytkownika i nie jest mechanizmem uwzględniania strony w wyszukiwarce. Czytaj aktualne warunki dostawcy zamiast kopiować starą listę agentów użytkownika.
Google: Search i Google-Extended to nie to samo
Zgodnie z dokumentacją Google Search, AI Overviews i AI Mode korzystają z indeksu wyszukiwarki oraz jego systemów. Dostęp Googlebota wpływa zatem na zwykłe wyszukiwanie i kwalifikację do tych funkcji.
Google-Extended to osobny token produktu dotyczący wykorzystywania treści do ulepszania modeli Gemini oraz ugruntowywania odpowiedzi w niektórych produktach. Google mówi, że jego zablokowanie nie wpływa na uwzględnianie ani pozycjonowanie w wyszukiwarce. Nie zastępuje zasad dotyczących Googlebota.
Inne usługi mają własne zasady
Anthropic rozróżnia ClaudeBot, Claude-SearchBot i wczytywanie zainicjowane przez użytkownika. Perplexity opisuje PerplexityBot dla swojego indeksu wyszukiwania. Nazwy i zastosowania mogą się zmieniać. Prowadź listę ważnych usług i porównuj ją z ich podstawową dokumentacją.
Jak podjąłbym decyzję w przypadku strony firmowej
- Zapisz cel biznesowy. Czy zależy mi na ruchu organicznym, cytowaniach, ochronie płatnych treści, czy na wszystkim tym przy różnych zasadach?
- Sprawdź techniczne podstawy. Kanoniczne adresy URL, indeksowanie, kody statusu, mapa witryny i linkowanie wewnętrzne. Żaden specjalny plik nie uratuje brakujących podstaw.
- Rozdziel roboty według przeznaczenia. Wyszukiwanie, trenowanie i wczytywanie wywołane przez użytkownika to różne kategorie.
- Rzeczywiście zabezpiecz niepubliczne dane. Oferty dla klientów, panel administracyjny i dokumenty wewnętrzne nie są chronione wyłącznie przez wydanie instrukcji robotowi.
- Dodaj LLMs.txt tylko z właścicielem treści. Ktoś musi pilnować, aby odnośniki i opisy pozostały aktualne.
- Zmierz rezultat. Monitoruj logi, Search Console i wizyty z odpowiednich źródeł; samo istnienie pliku nie oznacza zakończenia optymalizacji.
Jeśli chcesz stać się źródłem odpowiedzi AI, zacznij od treści i dowodów, a nie od pliku w katalogu głównym strony. Omawiam to w artykule Jak AI i Google wybierają źródła. Aby przejrzeć ustawienia robotów bez ryzyka utraty ruchu organicznego, skorzystaj ze strony kontaktowej.