Co to jest crawl budget?
Crawl budget opisuje zakres zasobów, które wyszukiwarka może i chce przeznaczyć na skanowanie danej witryny. Łączy ograniczenia wydajności pobierania z zapotrzebowaniem na odwiedzanie adresów. Skanowanie nie jest tym samym co indeksowanie: pobrana strona może zostać pominięta w indeksie. Pojęcie ma największe znaczenie dla dużych lub szybko zmieniających się serwisów, a nie jako domyślne wyjaśnienie każdego problemu małej strony.
Możliwość i potrzeba pobierania
Serwer musi odpowiadać stabilnie, aby robot nie przeciążał go wieloma połączeniami. Jednocześnie system ocenia potrzebę ponownego odwiedzenia znanych adresów. Błędy serwera, opóźnienia i rozległe przestrzenie duplikatów mogą utrudniać efektywne pobieranie. Nie ma jednak prostego przełącznika zwiększającego limit dowolnie. Usunięcie kilku adresów nie gwarantuje, że robot natychmiast przeznaczy dokładnie tyle samo żądań na inne strony.
Jak rozpoznać rzeczywisty problem?
Porównaj logi zweryfikowanych robotów ze statystykami skanowania i stanem indeksowania w Search Console. Sprawdź, czy ważne adresy są odkrywane i pobierane, a nie tylko czy liczba żądań rośnie. Dużo żądań do parametrów lub kalendarza może oznaczać marnowanie zasobów. Brak indeksacji już pobranej strony wymaga też analizy jakości, duplikacji i canonical. Samo przyspieszenie serwera nie naprawi nieprzydatnej treści.
Porządkowanie przestrzeni URL
Ogranicz generowanie niepotrzebnych wariantów filtrów, sortowań i identyfikatorów sesji. Aktualizuj mapę strony, skracaj łańcuchy przekierowań i zwracaj właściwy status usuniętych zasobów. Dobór robots.txt, canonical i noindex zależy od celu: blokada pobierania nie jest równoważna usunięciu z indeksu. Robot musi pobrać stronę, aby odczytać noindex. Nie łącz sprzecznych instrukcji bez zrozumienia, która z nich będzie w ogóle dostępna.
Czego nie optymalizować pozornie?
Nie usuwaj wartościowych stron i linków wyłącznie po to, aby zmniejszyć licznik URL. Nie wymuszaj częstych zmian daty lastmod bez faktycznej aktualizacji. Duża liczba żądań nie jest celem sama w sobie. Ważniejsze, czy robot sprawnie dociera do aktualnej, istotnej treści. W małym serwisie z prawidłowym pobieraniem priorytetem może być odpowiedź na potrzeby odbiorców i dobra architektura, a nie zaawansowane zarządzanie budżetem skanowania.
Jak oceniać poprawę?
Zapisz punkt wyjścia: udział żądań do ważnych stron, błędy, czas odpowiedzi i opóźnienie odkrywania zmian. Po wdrożeniu obserwuj porównywalny okres i nie przypisuj każdej różnicy jednej regule. Wahania aktywności robota są naturalne. Skuteczna poprawa zwiększa sprawność dostępu do potrzebnych materiałów bez psucia nawigacji i indeksacji. Raport powinien rozdzielać dowody z logów od hipotez dotyczących decyzji wyszukiwarki.
Przykład problemu z przestrzenią parametrów
Sklep może mieć umiarkowany katalog, ale generować wiele kolejności filtrów, sortowań i identyfikatorów sesji. Robot odwiedza wtedy liczne warianty tej samej listy. Zanim zwiększysz serwer, sprawdź, czy można ograniczyć zbędne adresy i zachować dostęp do wartościowych kombinacji. Nie każda taka sytuacja oznacza już limit pobierania, lecz porządek pomaga zarówno diagnostyce, jak i stabilności struktury.
Porównuj żądania zweryfikowanego robota do mapy ważnych URL. Zwracaj uwagę na statusy, czas i częstotliwość zmian. Wzrost pobrań po migracji może wynikać z ponownego przetwarzania adresów, a spadek z mniejszej potrzeby aktualizacji. Nie traktuj obu ruchów licznika jako automatycznego sukcesu lub porażki. Cel to sprawne pobieranie potrzebnych treści, a nie możliwie najwyższa liczba żądań.