Robots.txt to plik w katalogu głównym witryny, który mówi robotom, jakie adresy mogą pobierać, a których nie powinny odwiedzać.
Co to znaczy
Reguły są przypisane do nazw robotów. Blokada pobrania strony utrudnia odczytanie jej treści, ale sama nie gwarantuje usunięcia adresu z wyników Google. Jeżeli robot nie może wejść na stronę, nie zobaczy też umieszczonego na niej znacznika noindex.
Powiązane pojęcia: OAI-SearchBot, AI Overviews.
Źródło definicji: Google Search Central, Introduction to robots.txt.
Dlaczego to ważne
Przy audycie widoczności w Google i odpowiedziach AI sprawdź najpierw dostęp robotów. Dobry tekst nic nie pomoże, jeśli wybrany bot nie może go pobrać albo serwer odrzuca żądania.
Po zmianie konfiguracji WordPressa dział SEO testuje adres artykułu w robots.txt i weryfikuje, czy Googlebot oraz wybrany bot wyszukiwania AI mają dostęp do strony.
Czym to nie jest
Robots.txt nie służy do ukrywania poufnych danych. Nie jest też zamiennikiem noindex ani hasła dostępu.
Jak rozpoznać
Plik jest dostępny pod adresem domeny zakończonym /robots.txt; typowe dyrektywy to User-agent i Disallow.