Gdy „dobry” bot ubija sklep PrestaShop

Sklep internetowy Optima Cars na PrestaShop z częściami do samochodów ciężarowych i dostawczych na laptopie i smartfonie

Case study · optymalizacja PrestaShop

W skrócieCase study z dwóch analiz przeciążenia serwera. Oba sklepy PrestaShop miały ten sam objaw: skoki obciążenia procesora i bazy danych, błędy 500 i przestoje. W żadnym z nich nie było ataku DDoS ani awarii hostingu.

Wybierz wersję artykułu

Ten sam case w dwóch wersjach. Prosta tłumaczy, co się działo i co z tym zrobić. Wersja dla zaawansowanych pokazuje logi, kody odpowiedzi, zapytania API oraz gotowe reguły .htaccess i robots.txt.

Liczby z analizy

14%

żądań obsługiwanych przez PHP pochodziło od klientów sklepu

4-5 mln

zapytań do bazy dziennie generowała jedna integracja: BaseLinker

5,6 tys.

kombinacji filtrów przeszedł bot SEO w ciągu tygodnia

494

błędy 500 w trzy minuty jednej serii bota

Sklepy z tego case study

Dwa sklepy PrestaShop, jeden objaw

Sklep internetowy Optima Cars na PrestaShop z częściami do samochodów ciężarowych i dostawczych na laptopie i smartfonie

Przypadek 1 · pułapka indeksacyjna

Optima Cars

Części do samochodów ciężarowych i dostawczych, sklep w dwóch językach i dwóch walutach. Przełącznik języka i waluty tworzył robotom nieskończone adresy.

Sklep internetowy Multicleaners na PrestaShop z częściami do robotów sprzątających na laptopie i smartfonie

Przypadek 2 · integracja, bot SEO i scraper

Multicleaners

Oryginalne części do robotów sprzątających i odkurzaczy, PrestaShop 8 i zamówienia w BaseLinkerze. Integracja, bot SEO w filtrach i scraper naraz.

Czytasz wersję prostąZmień na wersję dla zaawansowanych ↑

Sklep działał, a mimo to co jakiś czas padał

Dwa sklepy na PrestaShop, ten sam problem. Na co dzień wszystko działało, ale co jakiś czas sklep nagle zwalniał, pokazywał klientom stronę błędu, czyli tak zwany błąd 500, a hosting alarmował o przeciążeniu bazy danych. Pierwsza myśl: atak hakerski albo za słaby serwer. Prawda była inna.

Sklepy przeciążały automaty: roboty wyszukiwarek, narzędzia do analizy SEO, integracje z innymi systemami i programy kopiujące dane. W Google Analytics ich nie widać, bo to nie ludzie. A potrafią zlecić sklepowi więcej pracy niż wszyscy klienci razem.

W jednym ze sklepów klienci odpowiadali tylko za około 14% pracy, którą wykonywał sklep. Resztę zlecały automaty.

Dlaczego jeden robot potrafi zablokować sklep

Wyobraź sobie restaurację. Zdjęcia i wygląd strony to napoje z lodówki: podaje się je od ręki, bez udziału kuchni. Ale strona kategorii, wynik wyszukiwania czy lista z filtrami to danie gotowane od zera. Sklep musi sprawdzić ceny, promocje i dostępność, zapytać bazę danych i ułożyć wszystko w całość.

Na tańszym hostingu kuchnia ma z góry określoną liczbę stanowisk. Gdy robot zamawia setki takich dań na minutę, kuchnia się zapycha. Kolejny gość, także prawdziwy klient, słyszy: dziś nie obsłużymy. To właśnie błąd 500.

Sklep 1: robot zgubiony w labiryncie adresów

Pierwszy przypadek to Optima Cars, sklep z częściami do samochodów ciężarowych i dostawczych, który działa w dwóch językach i dwóch walutach. Sklep przeciążał robot dużej platformy społecznościowej. Nie atakował sklepu. Po prostu chodził po linkach, które sklep sam mu podsuwał.

Strona bestsellerów sklepu PrestaShop Optima Cars z zaznaczonym przełącznikiem języka, przełącznikiem waluty i sortowaniem
Trzy niewinne elementy: wybór języka (1), wybór waluty (2) i sortowanie bestsellerów (3). Razem tworzyły labirynt adresów.

Błąd siedział w przełączniku języka i waluty. Każde kliknięcie dopisywało do adresu strony kolejny fragment, zamiast podmienić poprzedni. Adres rósł bez końca, a dla robota każdy dłuższy adres był nową stroną do odwiedzenia. Sklep sam zbudował labirynt bez wyjścia.

Adres, po którym chodził robot

×100+

powtórzeń tego samego fragmentu w jednym adresie. Dla robota każdy taki adres to nowa strona do odwiedzenia.

Najbardziej oberwała strona bestsellerów, bo można ją sortować i dzielić na strony na dziesiątki sposobów. Kilkadziesiąt tysięcy wejść robota oznaczało tyle samo pełnych przeliczeń sklepu: cen, rabatów i zapytań do bazy danych.

Co zrobiliśmy

  • Zatrzymaliśmy tego robota, zanim dotarł do sklepu. Serwer odprawia go od drzwi, więc nie zabiera kuchni klientom. Robota, który robi podglądy linków w mediach społecznościowych, zostawiliśmy, bo jest potrzebny do udostępnień.
  • Zapętlone adresy oznaczyliśmy jako usunięte na stałe. Roboty dostały jasny sygnał, że nie warto tam wracać.
  • Naprawiliśmy przełącznik języka i waluty, żeby nie tworzył już nowych adresów.
  • Ograniczyliśmy sortowanie bestsellerów do kilku sensownych opcji.
  • Uciszyliśmy tysiące nieistotnych komunikatów w logach, które zasłaniały prawdziwe błędy.

Sklep 2: trzech niewidzialnych gości naraz

Drugi przypadek to Multicleaners, sklep z oryginalnymi częściami do robotów sprzątających i odkurzaczy. Właściciel widział tylko tyle, że co jakiś czas baza danych się przeciąża. Przejrzeliśmy tydzień zapisów z serwera, około 190 tysięcy wejść, i sprawdziliśmy, kto naprawdę zleca sklepowi pracę.

  • Integracja BaseLinker (base.com)49,1%
  • Robot narzędzia SEO17,1%
  • Klienci sklepu14,3%
  • Inne roboty: Google, Meta, Bing, AI12,3%
  • Panel administracyjny5,0%
  • Program kopiujący dane2,2%

Kto zlecał sklepowi pracę przez tydzień. Klienci to tylko co siódme zadanie.

Gość 1: BaseLinker, który co półtorej minuty czytał całą historię zamówień

Integracja z BaseLinkerem (dziś Base, base.com), systemem do obsługi zamówień, pytała sklep o zamówienia mniej więcej co 80 sekund, dzień i noc. Za każdym razem prosiła o całą historię, choć potrzebowała tylko nowych. To tak, jakby kurier co półtorej minuty prosił o wydruk wszystkich zamówień od założenia firmy. Dla bazy danych oznaczało to kilka milionów zapytań dziennie, i to coraz więcej z każdym nowym zamówieniem.

Zgłosiliśmy to do supportu BaseLinkera. Nie udało się za pierwszym razem: pierwsze dwie osoby z supportu nie bardzo wiedziały, o co chodzi, i odpowiadały tylko twierdząco albo przecząco. Dopiero kolejne zgłoszenie, poparte konkretnymi danymi z logów, trafiło do kogoś, kto zmienił ustawienia. Teraz integracja zagląda do sklepu co około 10 minut, a liczba jej zapytań spadła mniej więcej trzykrotnie.

Wskazówka: zgłaszając taki problem, od razu podaj liczby. Ile razy na dobę integracja pyta sklep, o co dokładnie prosi i ile zapytań do bazy to kosztuje. Na ogólne pytanie łatwo dostać ogólną odpowiedź.

Gość 2: robot SEO, który klikał każdą kombinację filtrów

Robot narzędzia do analizy linków przeklikiwał filtry: marka, model, typ części i kolejne strony wyników. W tydzień odwiedził 5,6 tysiąca różnych kombinacji. Filtry to najcięższe strony sklepu, bo przy każdej sklep przelicza, ile produktów pasuje do każdej opcji. Gdy robot przyspieszył do kilku stron na sekundę, po czterech minutach sklep zaczął pokazywać błędy.

Kategoria sklepu PrestaShop Multicleaners z zaznaczonymi podkategoriami, filtrami fasetowymi i aktywnymi filtrami w adresie z parametrem q
Filtry w sklepie Multicleaners: marki (1), typy części (2) i aktywne filtry (3). Dla klienta wygoda, dla robota tysiące stron do przeklikania.

Gość 3: automat udający zwykłą przeglądarkę

Najbardziej podstępny był program, który kopiował dane ze sklepu i podszywał się pod zwykłego użytkownika przeglądarki Chrome. Osiem adresów naraz, około 200 stron na minutę. Po sześciu minutach błędy zobaczyli też prawdziwi klienci i robot Google. Takiego gościa nie zatrzyma prośba w pliku robots.txt, bo on jej po prostu nie czyta.

Co zrobiliśmy i co to dało

Nie zaczęliśmy od droższego serwera. Najpierw odcięliśmy pracę, której klienci w ogóle nie potrzebowali.

  • Roboty, które obciążały sklep, są zatrzymywane przez serwer, zanim uruchomi się PrestaShop.
  • Strony z filtrami są zamknięte dla robotów, a dla klientów działają tak samo jak wcześniej.
  • Integracja odpytuje sklep rzadziej i nie pobiera w kółko tych samych zamówień.
  • Każdą regułę sprawdziliśmy na kopii sklepu i na pięciu dniach prawdziwego ruchu, zanim trafiła na produkcję.

Jak to zwykle bywało

Sklep pracował dla robotów

  • Automaty zabierały większość mocy sklepu
  • Serie robotów kończyły się błędami 500
  • Jedyny pomysł: większy, droższy hosting

Co zmieniliśmy · jak jest teraz

Sklep pracuje dla klientów

  • Mniej pracy dla serwera i bazy danych
  • Filtry tylko dla ludzi, nie dla robotów
  • Klienci i zamówienia bez żadnych blokad

31%

mniej żądań, które uruchamiają PrestaShop

93%

mniej wejść w strony z filtrami

0

zablokowanych klientów i zamówień z integracji

1400 z 1411

żądań odciętych w serii, która wcześniej kończyła się błędami

Wyniki symulacji na pięciu dniach prawdziwego ruchu, przed wdrożeniem zmian w sklepie.

Czy Twój sklep ma ten sam problem? 6 sygnałów

  • Sklep co jakiś czas zwalnia albo pokazuje błąd, choć w Google Analytics nie widać więcej klientów.
  • Hosting informuje o przekroczonych limitach procesora albo bazy danych.
  • Błędy pojawiają się seriami i same znikają po kilku minutach.
  • Sklep ma integracje z hurtowniami, platformami sprzedażowymi albo systemem zamówień.
  • Sklep ma rozbudowane filtry: marki, modele, rozmiary, kolory.
  • Jedyną propozycją hostingu jest droższy pakiet.

Jeśli rozpoznajesz u siebie dwa albo trzy z nich, zanim zapłacisz za większy serwer, warto zajrzeć do logów. Zrobimy to za Ciebie i pokażemy, co realnie obciąża sklep. Zobacz też, jak budujemy i rozwijamy sklepy internetowe.

Najważniejsze pytanie nie brzmi: który robot wszedł do sklepu. Brzmi: dlaczego sklep dał mu tyle pracy i ile z tej pracy było potrzebne klientom?

Chcesz szczegółów: logów, kodów odpowiedzi i gotowych reguł .htaccess?Przełącz na wersję dla zaawansowanych ↑

Czytasz wersję dla zaawansowanychZmień na wersję prostą ↑

Nagły wzrost użycia procesora i bazy danych nie zawsze oznacza atak, awarię hostingu albo źle wykonaną aktualizację PrestaShop. Czasami wystarczy legalny robot indeksujący i jeden błędnie wygenerowany link, żeby sklep sam stworzył mu praktycznie nieskończoną liczbę adresów URL. Innym razem przyczyną jest integracja, która co chwilę czyta całą historię zamówień, albo bot SEO, który przeklikuje każdą kombinację filtrów.

Poniżej opisujemy dwa przypadki z naszej pracy przy optymalizacji sklepów PrestaShop. W obu sklep działał poprawnie dla klientów, a mimo to okresowo dławił się pod ruchem, którego w Google Analytics w ogóle nie widać.

W jednym ze sklepów przeglądarki klientów odpowiadały za około 14% żądań obsługiwanych przez PHP. Resztę generowały integracje, boty i automaty.

Co tak naprawdę obciąża PrestaShop

Zdjęcia, pliki CSS i JavaScript serwuje sam serwer WWW, bez udziału bazy danych. Kosztowne są żądania dynamiczne: strony kategorii i produktów, filtry, wyszukiwarka, koszyk, panel administracyjny i API. Każde takie żądanie uruchamia:

  • PHP i cały kontekst PrestaShop
  • dziesiątki lub setki zapytań do bazy danych
  • obliczanie cen, rabatów i promocji
  • moduły podpięte do hooków
  • przy listach produktów także filtry fasetowe, paginację i sortowanie
  • renderowanie całego szablonu

Dlatego w analizie nie liczymy wizyt, tylko żądania dynamiczne, i sprawdzamy, kto je wysyła. Na hostingu współdzielonym liczba jednoczesnych procesów PHP i połączeń z bazą jest ograniczona. Gdy się wyczerpie, PrestaShop nie może połączyć się z bazą i zwraca błąd 500. Klient widzi stronę błędu, choć serwer formalnie działa.

Przypadek 1: pułapka indeksacyjna z przełącznika języka i waluty

Sklep działał poprawnie dla użytkowników, ale okresowo zużycie procesora i pracy bazy danych rosło wielokrotnie. Hosting raportował setki gigabajtów operacji bazodanowych, pojawiały się błędy 500, a sklep zaliczał przestoje. To sklep Optima Cars z częściami do samochodów ciężarowych i dostawczych, który działa w dwóch językach i dwóch walutach.

Strona bestsellerów sklepu PrestaShop Optima Cars z zaznaczonym przełącznikiem języka, przełącznikiem waluty i sortowaniem
Optima Cars: przełącznik języka (1), przełącznik waluty (2) i sortowanie bestsellerów (3). Z kombinacji tych elementów powstawały kolejne adresy dla robota.

Pierwsze podejrzenie: bot SEO

Naturalnym podejrzanym były narzędzia SEO. Wcześniej w logach pojawiały się crawlery takie jak Ahrefs, więc łatwo było założyć, że kolejna analiza SEO znów przeciążyła sklep. Logi pokazały jednak coś innego:

  • w dniu największego skoku ruchu Ahrefs praktycznie nie było
  • dominował crawler powiązany z platformą społecznościową
  • robot wysyłał około dwóch żądań na sekundę przez wiele godzin
  • większość żądań trafiała do dynamicznych stron PrestaShop
  • niemal każdy odwiedzany adres URL był inny

To nie był klasyczny atak. Bot konsekwentnie podążał za linkami, które wygenerował sam sklep.

Sklep sam tworzył nieskończone adresy

Źródłem problemu okazało się połączenie selektora języka i waluty. Zmiana języka generowała adres, który zawierał już parametry, a szablon doklejał kolejne po następnym znaku ?, zamiast połączyć je przez &. Powstawały adresy takie jak:

/lista-produktow?order=price&page=5?zmiana_waluty=1

Po zakodowaniu adresu i kolejnym przejściu przez przełącznik języka lub waluty parametr trafiał do URL-a jeszcze raz:

/lista-produktow?...%3Fzmiana_waluty%3D1...%3Fzmiana_waluty%3D1...

Niektóre adresy zawierały ten sam parametr dziesiątki, a nawet setki razy. Dla robota każdy z nich był nową stroną. Tak powstała pułapka indeksacyjna, po której crawler mógł chodzić praktycznie bez końca.

Pułapka indeksacyjna: URL po kolejnych przejściach

×100+

powtórzeń parametru zmiana_waluty w jednym adresie. Każdy wariant to dla crawlera nowy URL i pełne uruchomienie PrestaShop.

Dlaczego najbardziej ucierpiały bestsellery

Najwięcej zapytań trafiało na stronę bestsellerów i jej warianty:

  • kolejne strony paginacji
  • różne kierunki sortowania
  • sortowanie po cenie, nazwie, pozycji i indeksie
  • różne języki i waluty
  • kombinacje wszystkich powyższych parametrów

Jedno wejście na stronę bestsellerów nie jest problemem. Kilkadziesiąt tysięcy wejść na unikalne warianty tej samej strony to tyle samo pełnych uruchomień PrestaShop, z liczeniem cen, sortowaniem i zapytaniami do bazy. Setki gigabajtów raportowane przez hosting nie oznaczały, że baza tyle waży. To suma danych odczytanych i przetworzonych przez powtarzające się zapytania.

Logi maskowały właściwą awarię

Log błędów urósł w ciągu jednego dnia do setek megabajtów. Zdecydowaną większość stanowiły komunikaty Deprecated generowane przez starsze moduły po aktualizacji PrestaShop lub PHP. Same deprecjacje zwykle nie psują sklepu, ale:

  • zwiększają liczbę zapisów na dysk
  • powiększają logi
  • obciążają serwer przy każdym żądaniu
  • utrudniają znalezienie prawdziwych błędów

W tym szumie kryły się rzeczywiste błędy 500. Powstawały, gdy zniekształcony URL trafiał do parsera sortowania, a kierunek sortowania wyglądał na przykład tak:

asc?zmiana_waluty=1

PrestaShop oczekiwał wartości asc albo desc, więc odrzucał taki parametr wyjątkiem.

Zastosowane rozwiązania

  1. Zatrzymanie bota przed PHP. Reguła serwera WWW blokowała wskazanego crawlera już na poziomie Apache, więc jego żądania nie uruchamiały PrestaShop ani bazy. Nie zablokowaliśmy bota, który generuje podglądy linków w mediach społecznościowych, bo jest potrzebny do udostępnień.
  2. Wygaszenie zapętlonych adresów. Adresy z zagnieżdżonymi lub wielokrotnie powtórzonymi parametrami dostały odpowiedź 410 Gone. Ten kod mówi robotom, że adres zniknął na stałe i powinien wypaść z kolejki indeksowania.
  3. Poprawienie generatora linków. Przełącznik języka przestał doklejać parametry waluty, a zmiana waluty została osobną operacją. Linki przełączania waluty dostały atrybut nofollow, żeby roboty nie budowały z nich kolejnych wariantów stron.
  4. Ograniczenie sortowania bestsellerów. Na stronie bestsellerów zostały tylko kontrolowane opcje sortowania. Nieobsługiwane warianty ceny, pozycji i indeksu są przekierowywane na podstawową wersję strony, zanim uruchomi się PrestaShop. Backend dostał dodatkowo listę dozwolonych pól sortowania, więc ręcznie przygotowany URL nie wymusi kosztownego zapytania.
  5. Ograniczenie logów produkcyjnych. Na produkcji wyłączyliśmy zapisywanie E_DEPRECATED i E_USER_DEPRECATED, zostawiając ostrzeżenia, błędy i błędy krytyczne. Przestarzałe moduły nadal trzeba poprawić, ale nie powinny generować setek tysięcy identycznych wpisów dziennie.

Przypadek 2: integracja, bot SEO i scraper naraz

Drugi sklep, Multicleaners z oryginalnymi częściami do robotów sprzątających i odkurzaczy, działa na PrestaShop 8, na hostingu współdzielonym, z historią około 2500 zamówień obsługiwanych w BaseLinkerze (dziś Base, base.com). Właściciel zgłaszał okresowe przeciążenia bazy danych. Przeanalizowaliśmy tydzień logów serwera, około 190 tysięcy żądań, a potem kolejne dni po wprowadzeniu zmian.

Najpierw: kto w ogóle uruchamia PHP

Ponad połowa żądań dotyczyła plików statycznych i nie dotykała bazy. Z pozostałych 86 tysięcy żądań, które uruchamiały PrestaShop, tylko niewielka część pochodziła od klientów:

  • API integracji BaseLinker (base.com)49,1%
  • Bot SEO MJ12bot (Majestic)17,1%
  • Przeglądarki klientów14,3%
  • Inne boty: Google, Meta, Bing, boty AI, skanery12,3%
  • Panel administracyjny5,0%
  • Scraper z jednego popołudnia2,2%

Źródła żądań do PHP. Tydzień ruchu, około 86 tysięcy żądań obsłużonych przez PrestaShop.

Integracja, która co 80 sekund czytała wszystkie zamówienia

BaseLinker pobierał listę zamówień przez API PrestaShop średnio co 83 sekundy, około 900 razy na dobę. Zapytanie nie miało filtra daty ani statusu, więc sklep za każdym razem zwracał wszystkie zamówienia z historii, choć integracja potrzebowała tylko najnowszych.

83 s

średni odstęp między pobraniami pełnej listy zamówień

900

pobrań listy zamówień na dobę

5000

zapytań do bazy na jedno sprawdzenie, w przybliżeniu

4-5 mln

zapytań do bazy na dobę według naszego szacunku

Kosztowne nie było samo przesłanie listy. Gdy zapytanie do API wskazuje konkretne pola, na przykład display=[id,date_upd,date_add], PrestaShop dla każdego wiersza tworzy pełny obiekt zamówienia, a konstruktor zamówienia wczytuje dodatkowo klienta. To około dwóch zapytań na zamówienie, czyli około 5000 zapytań na jedno sprawdzenie. Według naszego szacunku dawało to od 4 do 5 milionów zapytań na dobę, a koszt rósł z każdym nowym zamówieniem.

Druga rzecz: każde nowe zamówienie integracja pobierała w całości co minutę przez około trzy godziny. Jedno z nich zostało pobrane 163 razy, za każdym razem z klientem, adresem, pozycjami, płatnościami i stanami magazynowymi, czyli 11 lub 12 zapytaniami do API.

Co się zmieniło. Korekta wymagała kilku zgłoszeń do supportu BaseLinkera. Pierwsze dwie osoby nie bardzo wiedziały, o co chodzi, i odpowiadały tylko twierdząco albo przecząco, bez odniesienia do przesłanych danych. Dopiero kolejna rozmowa, z konkretnymi danymi z logów: częstotliwością pobierania, brakiem filtra daty i statusu oraz 163 pobraniami jednego zamówienia, doprowadziła do zmiany. Integracja zaczęła odpytywać sklep co około 10 minut, a minutowe pobieranie nowych zamówień zniknęło. Liczba żądań API spadła około trzykrotnie, a liczba pobrań pełnej listy zamówień sześciokrotnie. Kolejnym krokiem jest filtr statusów w ustawieniach zaawansowanych integracji. API PrestaShop obsługuje wykluczenia, na przykład:

current_state=![5|6|7]

Taki filtr pomija zamówienia dostarczone, anulowane i zwrócone. Wykluczanie jest bezpieczniejsze niż lista dozwolonych statusów, bo zamówienie w nowym, nieprzewidzianym statusie i tak trafi do integracji.

Wniosek jest prosty: integracje to też ruch. Z perspektywy zewnętrznego systemu pobranie całej listy jest tanie. Dla sklepu każde takie wywołanie to tysiące zapytań do bazy. Zgłaszając taki problem do supportu integracji, warto od razu podać liczby: wywołania na dobę, odstępy, parametry zapytań i przykładowe wpisy z logów. Bez nich łatwo o odpowiedź „tak” albo „nie”, która niczego nie zmienia.

Bot SEO w filtrach fasetowych

MJ12bot, crawler narzędzia Majestic, odpowiadał za 17% żądań do PHP i odwiedzał prawie wyłącznie strony z filtrami. W ciągu tygodnia przeszedł 5,6 tysiąca unikalnych kombinacji, łącząc od dwóch do pięciu grup filtrów z paginacją:

/kategoria?q=Marka-X/Model-Y/Typ-produktu-Z&page=2
Kategoria sklepu PrestaShop Multicleaners z zaznaczonymi podkategoriami, filtrami fasetowymi i aktywnymi filtrami w adresie z parametrem q
Multicleaners: podkategorie marek (1), filtry fasetowe (2) i aktywne filtry (3). Każda kombinacja to osobny adres z parametrem q= i jedno z najcięższych zapytań w PrestaShop.

Strony z filtrami to najcięższe strony PrestaShop. Moduł filtrów przy każdej z nich liczy produkty dla każdej wartości każdego filtra, a przy tylu unikalnych kombinacjach cache niewiele pomaga. Domyślny robots.txt generowany przez PrestaShop nie blokuje parametru q=, więc bot, który respektuje robots.txt, nie miał powodu omijać filtrów.

Przez kilka tygodni był to stały, uciążliwy ruch. Potem przyszła seria:

  1. Tygodnie wcześniejStały ruch w filtrach17% wszystkich żądań do PHP, prawie wyłącznie strony z parametrem q=.
  2. Minuta 0Seria z jednego adresu IPOd 180 do 250 żądań na minutę do stron z filtrami.
  3. Minuta 4Pierwsze błędy 500Kończą się wolne połączenia z bazą danych.
  4. Kolejne 3 minuty494 odpowiedzi z błędemSklep zwraca stronę błędu, dopóki seria się nie skończy.

Scraper podszywający się pod przeglądarkę

Wcześniej ten sam efekt dał automat, który nie przedstawiał się jako bot. Osiem adresów IP z serwerowni, każdy z ośmioma zmienianymi nagłówkami przeglądarki Chrome, przez 10 minut przeglądało filtry z prędkością około 200 stron na minutę. Po sześciu minutach sklep zaczął zwracać błędy 500, łącznie 554 w cztery minuty. Ucierpieli też klienci: w tych minutach błąd dostało 12 z 33 odsłon wykonanych przez innych odwiedzających, a także Googlebot.

Takiego ruchu nie zatrzyma blokada po nazwie bota ani robots.txt. Potrzebne jest ograniczanie liczby żądań z jednego adresu, WAF albo CDN, a tego na hostingu współdzielonym zwykle nie da się ustawić bez zewnętrznej usługi.

Jak ustaliliśmy, że chodzi o bazę

Logi HTTP nie pokazują zapytań SQL, więc szukaliśmy pośrednich śladów. Wszystkie błędy 500 miały dokładnie 2506 bajtów, czyli tyle, ile strona error500.html, którą PrestaShop pokazuje przy nieobsłużonym wyjątku, najczęściej przy braku połączenia z bazą. Błędy pojawiały się zawsze kilka minut po rozpoczęciu serii i znikały razem z nią. Rozmiar odpowiedzi jako odcisk palca błędu to prosta i skuteczna metoda, gdy nie ma dostępu do logów bazy.

Mniejsze wycieki

  • Pętla w starym adresie koszyka. DotBot krążył po adresach w rodzaju /koszyk.html?del=N?del=N. To ten sam wzorzec co w pierwszym przypadku: podwojony znak ? tworzy adres, który dla robota zawsze wygląda na nowy.
  • Martwe adresy. Ponad połowa wizyt Googlebota, które uruchamiały PrestaShop, kończyła się błędem 404. Dotyczyło to usuniętych produktów i adresów ze starej platformy sklepu, które przekierowywały tymczasowo (302) na stronę 404. Lepiej zwracać przekierowanie 301 do odpowiednika albo kod 410.

Przypadek 2: zastosowane rozwiązania i efekty

1. Blokada w .htaccess, zanim uruchomi się PrestaShop

Reguły trafiły nad znacznik # ~~start~~, bo PrestaShop przy ponownym generowaniu pliku zachowuje wszystko, co jest poza nim.

# Blokada botów obciążających bazę (nad znacznikiem ~~start~~)
<IfModule mod_rewrite.c>
RewriteEngine on
# Wybrane boty: 403 na wszystko oprócz robots.txt
RewriteCond %{REQUEST_URI} !^/robots\.txt$
RewriteCond %{HTTP_USER_AGENT} (MJ12bot|DotBot) [NC]
RewriteRule ^ - [F,L]
# Strony z filtrami (?q=): 403 dla robotów, klienci bez zmian
RewriteCond %{QUERY_STRING} (^|&)q= [NC]
RewriteCond %{HTTP_USER_AGENT} compatible;[^)]*(bot|crawl|spider) [NC]
RewriteRule ^ - [F,L]
</IfModule>

Pierwsza reguła całkowicie odcina wybrane boty, ale zostawia im robots.txt, żeby przeczytały zakaz i przestały wracać. Druga odcina od filtrów roboty, które przedstawiają się wzorem compatible; …bot, a kategorie i produkty zostawia im otwarte. Wzorzec jest celowo wąski, bo samo słowo „bot” występuje też w nazwach niektórych telefonów i integracji.

2. robots.txt dla botów, które go przestrzegają

# w sekcji User-agent: *
Disallow: /*?q=
Disallow: /*&q=
Disallow: /koszyk
Disallow: /zamowienie

User-agent: MJ12bot
Disallow: /

User-agent: DotBot
Disallow: /

Przycisk „Generuj robots.txt” w panelu PrestaShop nadpisuje ręczne wpisy, więc po jego użyciu trzeba je dodać ponownie.

3. Sprawdzenie, czy odpowiedź 403 nie uruchamia sklepu

Jeśli w .htaccess jest ErrorDocument 403 kierujący do PHP, zablokowane żądanie i tak uruchomi PrestaShop. W tym sklepie takiej reguły nie było. Odpowiedź 403 zwraca sam Apache: 199 bajtów w około 0,25 sekundy, podczas gdy zwykła strona sklepu generuje się około 1,5 sekundy.

4. Test przed wdrożeniem i symulacja na prawdziwym ruchu

Reguły sprawdziliśmy na kopii sklepu w 23 scenariuszach: różne boty, przeglądarki, telefony i integracja. Potem przepuściliśmy przez nie pięć dni rzeczywistych logów.

31%

mniej żądań uruchamiających PrestaShop

93%

mniej wejść w strony z filtrami

0

zablokowanych przeglądarek klientów i żądań integracji

1400 z 1411

odciętych żądań w czasie serii, która wywołała błędy 500

Symulacja reguł na logach serwera z pięciu dni, przed wdrożeniem na produkcję.

Kolejne kroki to filtr statusów w integracji, ochrona przed scraperami przez CDN z limitem żądań i przekierowania 301 dla martwych adresów.

robots.txt nie jest zabezpieczeniem

W pierwszym sklepie problematyczne parametry były częściowo wykluczone w robots.txt, ale nie zatrzymało to crawlera, bo zakodowane i zagnieżdżone parametry nie pasowały do wzorców. W drugim robots.txt w ogóle nie obejmował filtrów, a scraper i tak by go zignorował.

Plik robots.txt jest wyłącznie zaleceniem. Ma sens jako tani pierwszy filtr dla robotów, które go przestrzegają, ale ruch zagrażający dostępności sklepu trzeba ograniczać na poziomie:

  • serwera WWW (Apache, Nginx)
  • WAF
  • CDN
  • limitów liczby żądań (rate limiting)
  • walidacji parametrów w aplikacji

Na co patrzeć podczas analizy logów

Sama liczba wizyt nie wystarczy. W obu przypadkach najwięcej powiedziały te wskaźniki:

Ruch

  • udział żądań dynamicznych względem plików statycznych
  • liczba żądań na minutę według User-Agenta i według adresu IP
  • liczba unikalnych URL-i i ich stosunek do wszystkich żądań
  • najczęstsze parametry query string i powtórzenia tego samego parametru w jednym URL-u
  • udział stron z filtrami, sortowaniem i paginacją
  • ruch integracji: które endpointy API, jak często, jak duże odpowiedzi i czy te same obiekty wracają wielokrotnie
  • udział prawdziwych klientów w ruchu dynamicznym
  • liczba przesłanych gigabajtów według crawlera

Błędy i serwer

  • rozkład kodów 403, 404, 410 i 500 w czasie
  • to, co działo się w minutach przed pierwszym błędem 500
  • rozmiar odpowiedzi z błędem jako wskazówka, który mechanizm go zwrócił
  • wzrost odczytów logicznych bazy w statystykach hostingu i log wolnych zapytań
  • rozmiar i tempo przyrostu logów błędów

Szczególnie niepokojący jest bot, który wysyła dziesiątki tysięcy żądań, z których prawie każde trafia pod inny adres. To typowy sygnał pułapki indeksacyjnej.

Gdzie PrestaShop ma najwięcej do odzyskania

Większy serwer ukryłby oba problemy na jakiś czas, ale za zbędny ruch płaciłoby się dalej. Najpierw warto odciąć to, czego klienci nie potrzebują:

ObszarProblemCo pomaga
Ruch botówCrawlery i scrapery uruchamiają pełne strony sklepuBlokady w serwerze WWW, CDN z limitem żądań, WAF
Adresy URLParametry tworzą nieskończone warianty stronPoprawne łączenie parametrów, nofollow na przełącznikach, 410 dla śmieciowych adresów
Filtry i sortowanieKażda kombinacja to ciężkie zapytaniaFiltry zamknięte dla botów, lista dozwolonych sortowań, cache modułu filtrów
IntegracjeCzęste pobieranie pełnych list przez APIRzadsze odpytywanie, filtr statusu lub daty, odchudzenie odpowiedzi API po stronie sklepu
Martwe adresy404 i tymczasowe przekierowania ściągają robotyPrzekierowania 301 do odpowiedników, 410 dla usuniętych stron
LogiSzum deprecjacji ukrywa prawdziwe błędyWyłączenie E_DEPRECATED na produkcji, rotacja logów, naprawa modułów
HostingLimit połączeń z bazą kończy się błędem 500Monitoring, a zmiana planu dopiero po usunięciu zbędnego ruchu
Najczęstsze źródła zbędnej pracy PrestaShop i sposoby, żeby ją odciąć.

Najważniejszy wniosek

Crawler nie musi być agresywny, żeby przeciążyć sklep. Wystarczy, że aplikacja udostępnia mu bardzo dużo dynamicznych wariantów adresów albo że integracja co chwilę prosi o więcej danych, niż potrzebuje. Każde takie żądanie uruchamia kosztowne zapytania PrestaShop.

Dlatego przy diagnozie wysokiego obciążenia warto pytać nie tylko, który bot wszedł na stronę, ale przede wszystkim:

Dlaczego sklep dał mu tyle pracy i ile z tej pracy było potrzebne klientom?

Optymalizacja PrestaShop zaczyna się od logów, nie od większego serwera. Jeśli potrzebujesz pomocy przy sklepie, zobacz, jak budujemy i rozwijamy sklepy internetowe.

Wolisz to samo bez żargonu?Przełącz na wersję prostą ↑

Optymalizacja PrestaShop: pytania i odpowiedzi

Dlaczego PrestaShop zwraca błąd 500 przy dużym ruchu?
Najczęściej dlatego, że kończą się wolne procesy PHP albo połączenia z bazą danych. Na hostingu współdzielonym ich liczba jest ograniczona. Gdy roboty lub integracja zajmą je wszystkie, PrestaShop nie może połączyć się z bazą i pokazuje stronę błędu, choć serwer formalnie działa.
Jak sprawdzić, co obciąża sklep PrestaShop?
Trzeba przeanalizować logi serwera, a nie statystyki odwiedzin. Liczymy żądania dynamiczne, czyli te, które uruchamiają PHP i bazę danych, i grupujemy je według User-Agenta, adresu IP, adresu URL i parametrów. Google Analytics nie pokaże robotów ani integracji.
Czy robots.txt wystarczy, żeby zablokować boty w PrestaShop?
Nie. Plik robots.txt to tylko prośba, której przestrzegają uczciwe roboty. Scrapery podszywające się pod przeglądarkę go ignorują. Ruch, który zagraża dostępności sklepu, trzeba zatrzymywać w serwerze WWW, w WAF, w CDN albo limitem liczby żądań.
Czy można bezpiecznie zablokować MJ12bot i DotBot?
Tak. To roboty narzędzi do analizy linków, a nie wyszukiwarek, więc ich blokada nie wpływa na widoczność sklepu w Google. Warto zostawić im dostęp do robots.txt, żeby odczytały zakaz i przestały wracać.
Czy zamknięcie filtrów dla robotów szkodzi SEO sklepu?
Zwykle pomaga. Kombinacje filtrów tworzą tysiące bardzo podobnych stron, które marnują budżet indeksowania. Kategorie i produkty zostają otwarte dla robotów, a klienci korzystają z filtrów bez zmian.
Czy integracja z BaseLinkerem może przeciążać sklep PrestaShop?
Może, jeśli zbyt często pobiera pełną listę zamówień przez API PrestaShop. Każde takie pobranie to tysiące zapytań do bazy danych. Pomaga rzadsze odpytywanie i filtr statusów, który pomija zamówienia dostarczone, anulowane i zwrócone. W opisanym sklepie zmianę ustawień udało się uzyskać dopiero po kilku zgłoszeniach do supportu, popartych danymi z logów.
Co to jest pułapka indeksacyjna w sklepie internetowym?
To sytuacja, w której sklep generuje praktycznie nieskończoną liczbę adresów URL, na przykład przez parametry doklejane przy każdym kliknięciu w przełącznik języka lub waluty. Robot traktuje każdy adres jak nową stronę i chodzi po sklepie bez końca, za każdym razem uruchamiając PHP i bazę danych.
Czy większy hosting rozwiąże problem przeciążenia PrestaShop?
Na chwilę ukryje objawy, ale za zbędny ruch płaci się dalej. Najpierw warto odciąć roboty, pętle adresów i nadmiarowe zapytania integracji, a zmianę planu rozważać dopiero wtedy, gdy obciążenie generują prawdziwi klienci.

Twój sklep PrestaShop zwalnia albo zalicza przestoje?

Przeanalizujemy logi serwera i wskażemy, co realnie obciąża sklep i bazę danych, zanim zdecydujesz o droższym hostingu. Zadzwoń, napisz albo zostaw wiadomość w formularzu poniżej.

Krzysztof Sieradzki

Bezpośredni kontakt

Krzysztof Sieradzki

IT / Visual · Alfabet Marki

Napisz do nas.

Odpisujemy w ciągu dwóch dni roboczych. Od A do Z.

A teraz fakty! Case studies. Niech przemówią fakty i liczby. Case studies.

Poprzedni
Nie ma więcej wpisów
Dalej
Jak wygenerować link do opinii Google? Praktyczny przewodnik