Techniczne SEO

Crawl budget — budżet skanowania

Crawl budget opisuje zakres zasobów, które wyszukiwarka może i chce przeznaczyć na skanowanie danej witryny. Łączy ograniczenia wydajności pobierania z zapotrzebowaniem na odwiedzanie adresów.

Publikacja: Aktualizacja: 3 min czytania
Schemat: Crawl budget — budżet skanowania. Możliwość — Zapotrzebowanie — Skanowanie.

Co to jest crawl budget?

Crawl budget opisuje zakres zasobów, które wyszukiwarka może i chce przeznaczyć na skanowanie danej witryny. Łączy ograniczenia wydajności pobierania z zapotrzebowaniem na odwiedzanie adresów. Skanowanie nie jest tym samym co indeksowanie: pobrana strona może zostać pominięta w indeksie. Pojęcie ma największe znaczenie dla dużych lub szybko zmieniających się serwisów, a nie jako domyślne wyjaśnienie każdego problemu małej strony.

Możliwość i potrzeba pobierania

Serwer musi odpowiadać stabilnie, aby robot nie przeciążał go wieloma połączeniami. Jednocześnie system ocenia potrzebę ponownego odwiedzenia znanych adresów. Błędy serwera, opóźnienia i rozległe przestrzenie duplikatów mogą utrudniać efektywne pobieranie. Nie ma jednak prostego przełącznika zwiększającego limit dowolnie. Usunięcie kilku adresów nie gwarantuje, że robot natychmiast przeznaczy dokładnie tyle samo żądań na inne strony.

Jak rozpoznać rzeczywisty problem?

Porównaj logi zweryfikowanych robotów ze statystykami skanowania i stanem indeksowania w Search Console. Sprawdź, czy ważne adresy są odkrywane i pobierane, a nie tylko czy liczba żądań rośnie. Dużo żądań do parametrów lub kalendarza może oznaczać marnowanie zasobów. Brak indeksacji już pobranej strony wymaga też analizy jakości, duplikacji i canonical. Samo przyspieszenie serwera nie naprawi nieprzydatnej treści.

Porządkowanie przestrzeni URL

Ogranicz generowanie niepotrzebnych wariantów filtrów, sortowań i identyfikatorów sesji. Aktualizuj mapę strony, skracaj łańcuchy przekierowań i zwracaj właściwy status usuniętych zasobów. Dobór robots.txt, canonical i noindex zależy od celu: blokada pobierania nie jest równoważna usunięciu z indeksu. Robot musi pobrać stronę, aby odczytać noindex. Nie łącz sprzecznych instrukcji bez zrozumienia, która z nich będzie w ogóle dostępna.

Czego nie optymalizować pozornie?

Nie usuwaj wartościowych stron i linków wyłącznie po to, aby zmniejszyć licznik URL. Nie wymuszaj częstych zmian daty lastmod bez faktycznej aktualizacji. Duża liczba żądań nie jest celem sama w sobie. Ważniejsze, czy robot sprawnie dociera do aktualnej, istotnej treści. W małym serwisie z prawidłowym pobieraniem priorytetem może być odpowiedź na potrzeby odbiorców i dobra architektura, a nie zaawansowane zarządzanie budżetem skanowania.

Jak oceniać poprawę?

Zapisz punkt wyjścia: udział żądań do ważnych stron, błędy, czas odpowiedzi i opóźnienie odkrywania zmian. Po wdrożeniu obserwuj porównywalny okres i nie przypisuj każdej różnicy jednej regule. Wahania aktywności robota są naturalne. Skuteczna poprawa zwiększa sprawność dostępu do potrzebnych materiałów bez psucia nawigacji i indeksacji. Raport powinien rozdzielać dowody z logów od hipotez dotyczących decyzji wyszukiwarki.

Przykład problemu z przestrzenią parametrów

Sklep może mieć umiarkowany katalog, ale generować wiele kolejności filtrów, sortowań i identyfikatorów sesji. Robot odwiedza wtedy liczne warianty tej samej listy. Zanim zwiększysz serwer, sprawdź, czy można ograniczyć zbędne adresy i zachować dostęp do wartościowych kombinacji. Nie każda taka sytuacja oznacza już limit pobierania, lecz porządek pomaga zarówno diagnostyce, jak i stabilności struktury.

Porównuj żądania zweryfikowanego robota do mapy ważnych URL. Zwracaj uwagę na statusy, czas i częstotliwość zmian. Wzrost pobrań po migracji może wynikać z ponownego przetwarzania adresów, a spadek z mniejszej potrzeby aktualizacji. Nie traktuj obu ruchów licznika jako automatycznego sukcesu lub porażki. Cel to sprawne pobieranie potrzebnych treści, a nie możliwie najwyższa liczba żądań.

Źródła i dalsza lektura

Dokumentacja źródłowa pozwala sprawdzić zasady i ograniczenia opisane w opracowaniu.

Jak opracowujemy słownik?

Łączymy autorskie opracowanie, wsparcie AI przy redagowaniu oraz weryfikację zasad w podlinkowanej dokumentacji. Przykłady mają charakter objaśniający, o ile nie wskazano inaczej. Nie stanowią deklaracji wyników klientów. Daty odnoszą się do publikacji i rzeczywistych zmian treści.

Od wiedzy do działania

Potrzebujesz pomocy we wdrożeniu?

Opisz swoją stronę lub proces. Ustalimy zakres i następny praktyczny krok.

Porozmawiajmy o projekcie