Internet jest za duży i wyszukiwarka Google już nie wyrabia. Konkurencja mówi: wiemy, co trzeba zrobić

W kręgu osób zajmujących się zawodowo pisaniem i edycją treści SEO, a także optymalizacją stron pod kątem wyszukiwarek internetowych, od dawien dawna oczywiste są dwa fakty. Pierwszy, że wyszukiwarka Google wpływa na sposób, w jaki internauci postrzegają otaczającą ich rzeczywistość i o pozycję w niej należy walczyć. Drugi, że Google od jakiegoś czasu już nie wyrabia i na indeksowanie stron trzeba w skrajnych przypadkach czekać miesiącami.

Powodów takiego stanu rzeczy może być kilka. Google mógł osiągnąć swój górny limit wydajności i mocy obliczeniowej. Być może całkowite rozwiązanie problemów Google'a leży w przebudowaniu struktury systemów odpowiedzialnych za indeksowanie stron. Hipotetycznie - zależnie od specyfiki problemu - solucja może leżeć w zbudowaniu kolejnej megaserwerowni, co jest przedsięwzięciem zarówno skomplikowanym jak i kosztownym.

Jednakże niezależnie jakiego typu Google ma problem, nigdy się do niego nie przyzna oficjalnie. Nawet w obliczu zatrważających danych pochodzących tak od właścicieli pojedynczych witryn, jak i całych organizacji zajmujących się katalogowaniem internetu.

Google ma realne problemy z indeksowaniem i wygląda na to, że może się chwycić koła ratunkowego rzuconego przez Microsoft.

W internecie - w momencie pisania tego artykułu - istnieje około 1,9 mld aktywnych witryn internetowych. Mówimy tu o stricte witrynach, nie o ich podstronach. Bo licznik podstron idzie w kierunku dziesiątek bilionów i trudno jest nawet oszacować dokładną liczbę aktywnych stron. Aby lepiej to zobrazować, posłużę się przykładem: Spider’s Web. Witryna jest jedna - spidersweb.pl, ale liczba podstron w nią wchodzących (głównie w postaci artykułów) to prawie trzysta tysięcy. Facebook również jest jeden, ale biorąc pod uwagę, że Facebook ma około 2,6 miliarda użytkowników, każdy z tych użytkowników generuje dodatkowe podstrony (w postaci np. postów, stron, grup). Liczba podstron Facebooka to kilkadziesiąt miliardów, z których Google zaindeksował jedynie osiem miliardów. A internet nie kończy się tylko na dwóch witrynach.
Nawet po odliczeniu porzuconych stron czy błędnych adresów URL, internet jest dla Google'a po prostu za duży.

Ma to swoje odzwierciedlenie w statystykach projektu WorldWideWebSize, który od kwietnia 2021 r. notuje spadki zindeksowanych stron w Google. Ponadto zauważalne są ogromne skoki w liczbie zindeksowanych stron. Koncern może nie mówić o tym otwarcie, ale specjaliści SEO są zgodni - Google nie wyrabia.

Przyczyn takiego stanu rzeczy może być kilka, lecz każda z nich jest czystym spekulowaniem i domysłami. To, co jednak możemy powiedzieć z całą pewnością to to, że Google pracuje nad usprawnieniem wyszukiwarki. I tym usprawnieniem może być zaimplementowanie protokołu IndexNow.

Aby zrozumieć, w jaki sposób IndexNow wpłynie na wyszukiwarkę Google, musimy najpierw zrozumieć, jak działa wyszukiwarka Google. Google posiada tzw. web crawlery - boty, które stale przeszukują internet w poszukiwaniu nowych stron, zaktualizowanych stron lub „martwych” stron. Po znalezieniu strony, web crawlery analizują treści obecne na stronie, sprawdzając je pod względem tematyki i zawartości. Google nie tylko analizuje treści na stronie, ale również kataloguje jej obrazy i filmy oraz próbuje zrozumieć, czym dana strona jest (czy strona opisująca np. laptop jest blogiem, sklepem czy forum dyskusyjnym). Uzyskane w ten sposób informacje są przechowywane w indeksie Google'a, czyli w olbrzymiej bazie danych. Proces ten nazywa się indeksowaniem.

Obecnie web crawlery po wejściu na daną witrynę analizują całą jej zawartość w poszukiwaniu nowych lub zaktualizowanych treści. Właściciele witryn za pomocą pliku robots.txt oraz dyrektyw meta robots, są w stanie udzielać botom wskazówek, które podstrony mają crawlować czy indeksować, a które nie, potencjalnie ograniczając i optymalizując indeksację. Jednak jest to kropla w morzu potrzeb, gdyż wielu z właścicieli witryn nie wykorzystuje w pełni tej możliwości, sprawiając, że web crawlery nadal zajmują się przeszukiwaniem internetowego śmietnika.

IndexNow jest protokołem wyszukiwarek internetowych opracowanym przez Microsoft, który potencjalnie jest w stanie zredukować problemy wyszukiwarki Google. W dużym uproszczeniu: IndexNow pozwala wysyłać właścicielom witryn „powiadomienia” web crawlerom, o nowych i/lub zaktualizowanych treściach na stronie. Powiadomione boty skierują się pod dany adres URL, indeksując treści znajdujące się na stronie.
Obecnie protokół IndexNow jest jednym z rozwiązań, które Microsoft i Yandex stosują w swoich wyszukiwarkach. IndexNow nie zastępuje całkowicie obecnie używanego, tradycyjnego systemu web crawlerów, a działa wspólnie z nim, optymalizując wyszukiwarki.

Implementacja IndexNow to z jednej strony nadzieja dla Google'a na „odetkanie” web crawlerów. Zamiast tkwienia na stronach, które obecnie nie potrzebują aktualizacji w indeksie Google, roboty Google zajęłyby się stronami, które posiadają nowe i potencjalnie interesujące treści. A to przełożyłoby się na optymalizację wyników wyszukiwania i przyspieszenie całego procesu indeksowania.

Rynek, o którym mówi Sawa to przede wszystkim rynek dużych stron, które w swej naturze mają ogromną rotację treści (np. prasa) i dla nich wprowadzenie limitów IndexNow mogłoby zaszkodzić. 

Inną kwestią, którą należy rozważyć przy IndexNow, jest jego wpływ na mniej doświadczonych właścicieli witryn. Hipotetycznie mogą oni ucierpieć ze względu na niewiedzę o nowych sposobach crawlowania przez Google'a. Jednak to samo w sobie jest już problemem od dłuższego czasu, IndexNow może, ale nie musi pogłębić problem.

Google musi się jeszcze dobrze zastanowić, czy rzeczywiście chce stosować tę samą technologię indeksowania stron, co konkurencja. Protokół IndexNow nie jest przecież ograniczony wyłącznie do konkretnej wyszukiwarki. Wysłanie przez właściciela witryny żądania o indeksację uruchamia boty wszystkich wyszukiwarek, które działają w ramach IndexNow. Czyli hipotetycznie, na chwilę obecną, każdy, kto pozycjonowałby się w Google, pozycjonowałby się również w Bingu i Yandeksie.

Wydawać by się mogło, że problemy gdzieś u podnóża Mountain View i właścicieli stron nas nie dotyczą, ale jest wręcz przeciwnie. Obecne problemy z indeksacją oraz możliwe skutki wprowadzenia IndexNow bezpośrednio rzutują na to jak wyglądają wyniki wyszukiwania Google. Pozostaje mieć nadzieję, że w niedalekiej przyszłości, Google podejmie kroki, na których zyska każda ze stron.