REKLAMA

Zostały nam tylko dwa lata. Tyle potrzebuje AI, by posiąść całą wiedzę internetu

Choć może się wydawać inaczej, internet nie jest bez dna, w ciągu kilku najbliższych lat koncerny rozwijające AI wyczerpią ogólnodostępne dane tekstowe. Naukowcy sugerują trzy rozwiązania, ale już teraz widać, że big techy sięgają po czwarte: kradzież.

Zostały nam tylko dwa lata. Tyle potrzebuje AI, by posiąść całą wiedzę internetu
REKLAMA

Nasze ulubione czatboty - począwszy od ChatGPT, poprzez Gemini, Copilot, garść czatbotów Mety, a kończąc na licznych produktach takich, jak te uporczywie pojawiające się w rogu ekranu na stronie linii lotniczych czy firm kurierskich, by komunikować się "w ludzki sposób" wykorzystują duże modele językowe sztucznej inteligencji. Te modele, by generować teksty sprawiające wrażenie rozmowy z drugim człowiekiem, potrzebują setek gigabajtów - o ile nie po prostu terabajtów danych.

Te dane to przede wszystkim informacje pochdzące z internetu. Artykuły prasowe, wpisy na blogach, komentarze w różnych serwisach, treści z Wikipedii czy media dostępne poprzez internet, takie jak choćby książki. Internet dla wielu stanowi bezdenne źródło wiedzy. Jednak nie dla ludzi zajmujących się uczeniem maszynowym i treningiem generatywnej AI. Bo ci według szacunków odnajdą dno w najbliższych kilku latach.

REKLAMA

Wchodzimy w erę kradzieży danych. Bo darmowe źródła się kończą

Grupa naukowców zrzeszonych w Epoch AI - multidyscyplinarny instytut badawczy analizujący kierunki rozwoju sztucznej inteligencji, opublikowała pracę naukową w archiwum arXiv. Jak przewiduje zespół pod kierownictwem Pablo Villalobosa, zachowując obecne tempo tworzenia treści w internecie oraz rozwoju dużych modeli językowych sztucznej inteligencji, nowych, publicznie dostępnych danych do treningu AI zabraknie pomiędzy 2026 a 2032 rokiem.

Badacze na podstawie danych z Common Crawl, ogólnodostępnego zbioru danych z ponad 50 miliardów witryn internetowych oszacowali, że pojedyncza strona zawiera średnio 7 tys. bajtów danych. Następnie oszacowali oni ilość "populacji internetu", czyli osób korzystających z niego na podstawie trendów demograficznych (zwiększającej się liczby ludności świata) oraz penetracji internetu (czyli ilości osób na świecie mających dostęp do internetu). Pozwoliło im to wyliczyć, w jakim tempie rośnie ilość danych dostarczanych przez ludzi do internetu. Po uwzględnieniu czynników wpływających na ilość generowanych danych (m.in. czynniki socjoekonomiczne, uwarunkowania kulturowe), naukowcy przyjęli, że w 2024 roku do internetu trafi pomiędzy 720 a 2000 terabajtów danych i liczba ta będzie się zwiększać o kilka procent każdego roku.

Naukowcy zaznaczyli, że mowa tu o wszystkich danych i nowych informacjach, jakie ludzie wprowadzą do sieco, czyli zarówno o "wartościowych" danych takich jak informacje z Wikipedii czy ważniejszych tytułów prasowych, jak i tych o "wątpliwej jakości" takich jak komentarze w mediach społecznościowych. Według ich szacunków z uwzględnieniem obecnych trendów w uczeniu maszynowym, pomiędzy 2026 a 2032 rokiem możemy spodziewać się wyczerpania "wysokich jakościowo danych językowych, pochodzących z wiarygodnych źródeł". Wyczerpanie danych o niższej jakości nastąpi pomiędzy rokiem 2030 a 2050, natomiast wszystkie dane graficzne (obrazy) zostaną wyczerpane pomiędzy 2030 a 2060 rokiem.

Podczas gdy w nadchodzących latach można dokonać znaczących postępów, zbliżające się wąskie gardło danych stanowi pilne wyzwanie dla długoterminowego postępu sztucznej inteligencji. Aby postęp sztucznej inteligencji mógł być kontynuowany w latach 30, należy opracować nowe źródła danych lub techniki wymagające mniejszej ilości danych.

Jako potencjalne rozwiązania tego problemu eksperci z Epoch AI proponują użycie sztucznej inteligencji do generowania nowych danych, na których będą uczyć się kolejne duże modele językowe, rozwój multimodalności i trenowanie modeli językowych na danych innych niż tekstowe - np. filmach, dźwiękach, obrazach i wreszcie, użycie danych niedostępnych publicznie, czyli choćby rozmów z komunikatorów internetowych.

Dolina Krzemowa o tym wie, ale głośno nie mówi

Problem niewystarczającej ilości danych do treningu generatywnej AI nie jest nowością dla najbardziej utytułowanych firm Doliny Krzemowej. Wypowiadał się o niej choćby Dario Amodei, dyrektor generalny Anthropic, w wywiadzie dla The New York Times. Przewidywał, że ze względu na niewystarczającą ilość danych, istnieje 10 proc. szans na zahamowanie rozwoju AI w przyszłości.

Tylko sęk w tym, że cały czas obracamy się w tematyce danych dostępnych publicznie - w domyśle tych, które można zobaczyć i tych, które można dowolnie przetwarzać (na podstawie prawa użycia w ramach wolnej domeny i innych pokrewnych licencji). Nadal do przetworzenia pozostają treści, do których swobodnego dostępu nie mamy lub do których mamy dostęp, a które są objęte prawem autorskim.

Na kanwie problemu kurczących się wolnych zbiorów, powstał kolejny problem: nieautoryzowane przetwarzanie - z perspektywy prawnej - niedostępnych danych. I nie jest to coś, co robią entuzjaści trenowania własnych mini-modeli AI. Swoje za uszami ma OpenAI, Google i Meta, z których każde w jakiś sposób naruszyło prawa autorskie w imię treningu AI. Ten ostatni koncern także zapowiedział, że będzie używał naszych danych do treningu sztucznej inteligencji.

Z kolei jak informował zaledwie trzy dni temu Reuters, głód na dane jest na tyle duży, że ignorowane są ogólnoprzyjęte standardy i tworzone narzędzia, które pozwalają scrapować (ściągać) dane z witryn, których właściciele się na to nie zgodzili.

Bez danych AI nie będzie się rozwijać

Tu jednak wracamy do pierwotnego problemu AI. Ona potrzebuje jakościowych, ukrytych za ścianami moralności i pieniędzy, danych, by móc się rozwijać. Bez nowych danych, opierając się jedynie na tym co wolne i legalne, każdy nowy model będzie stał w miejscu. Każdy nowy przypadek zawarcia umowy pomiędzy gigantem wydawniczym a technologicznym, ale i przypadek naruszeń praw autorskich to dowód na powolne dochodzenie całej branży do ściany. Bo każdy koncern rozwijający AI ma świadomość, że bez uszczknięcia (lub po prostu zjedzenia po cichu w nocy) tortu ludzkiej kreatywności, niemożliwe będzie wyjście do inwestorów i pochwalenia się wzrostami.

REKLAMA

Co więcej, z tej perspektywy wielu gigantom wręcz opłaca się podejście "najpierw kradniemy, potem się sądzimy". Bo zysk wizerunkowy i finansowy, jaki potencjalnie może osiągnąć dana firma trenująca AI, jest znacznie wyższy niż koszta sądowe, jakie później musi zapłacić w ramach procesu o naruszenie praw autorskich. Takie stanowisko według relacji The New York Times swego czasu przyjął dział prawny Mety, dla której proces zakupu wydawnictwa Simon & Schuster był zbyt długi, ale potencjalne koszta sądowe miały być złem mniejszym, niż zostanie w tyle za konkurencją.

Pozostaje jednak pytanie, co w przypadku nawiązania wszystkich możliwych umów, podpisania wszystkich możliwych kontraktów i nakradnięcia wszystkich możliwych do wykradnięcia danych. Czym wtedy będziemy karmić AI?

REKLAMA
Najnowsze
Zobacz komentarze
REKLAMA
REKLAMA
REKLAMA