Sześć potężnych narzędzi AI bezpośrednio na PC, bez Internetu - na przykładzie karty Palit GeForce RTX 4070 SUPER

Wielu osobom wydaje się, że niezbędnym warunkiem do korzystania z możliwości AI jest dostęp do sieci internetowej. Wszakże bez Internetu nie zadamy pytania ChatowiGPT, nie wygenerujemy grafiki korzystając z Adobe Firefly ani nie porozmawiamy w Character AI. Dlatego nic dziwnego, że dla wielu osób sztuczna inteligencja jest gdzieś tam daleko - w chmurze, na serwerach albo w piwnicy Sama Altmana. Tymczasem już dzisiaj miliony osób mogą korzystać z potężnych narzędzi AI bezpośrednio na własnym PC, prywatnie i bez dostępu do sieci. Jak to możliwe?

Wiele zadań realizowanych przez sztuczną inteligencję wymaga ogromnej mocy obliczeniowej, realizującej wiele prostych obliczeń wykonywanych jednocześnie, co wykracza poza możliwości współczesnych smartfonów, tabletów, a nawet komputerów. Z tego powodu znaczna część modeli AI działa w chmurze i na zewnętrznych serwerach. Za pomocą Internetu wysyłamy nasze polecenie, to jest przetwarzane globalnie, a następnie otrzymujemy gotowy rezultat. Tak działa popularny ChatGPT, ale też masa innych narzędzi wspartych sztuczną inteligencją. Przykładowo, program graficzny Adobe Photoshop działa bezpośrednio na PC w trybie offline, ale chcąc skorzystać z generatywnego AI Firefly, musimy z poziomu programu połączyć się z siecią.

Przeciwieństwem modeli globalnych są modele lokalne, działające bezpośrednio na naszych urządzeniach domowych, bez konieczności łączenia się z zewnętrznymi jednostkami. Lokalne modele AI gwarantują większą prywatność, większą niezależność, do tego zazwyczaj są bezpłatne. Z tego powodu popularność lokalnych modeli nieustannie rośnie, zwłaszcza w obszarze generatywnej sztucznej inteligencji. Powstaje jednak pytanie: jaki sprzęt jest na tyle wydajny, by poradzić sobie z modelem AI w pojedynkę, zastępując armię serwerów? Odpowiedź to: karta graficzna.

Karty graficzne GeForce z serii RTX 30 oraz RTX 40 dysponują rdzeniami Tensor, stworzonymi specjalnie do operacji związanych z głębokim uczeniem oraz sztuczną inteligencją. To właśnie dzięki tym rdzeniom gracze mogą korzystać z takich narzędzi jak DLSS a fotografowie błyskawicznie i automatycznie odszumiają swoje zdjęcia. Za takimi procesami stoi nic innego jak lokalna sztuczna inteligencja, pomagająca w obliczeniach na każdej karcie RTX 30/40. Warto dodać, że specyfika działania karty graficznej pokrywa się ze specyfiką działania modeli AI, opartą o wykonywanie mnóstwa prostych obliczeń w tym samym momencie. Z tego powodu GPU jest lepszym partnerem dla AI niż np. procesor, realizujący zadania sekwencyjnie.

Korporacja NVIDIA, firmy trzecie oraz sami pasjonaci znajdują coraz to nowe sposoby wykorzystania rdzeni Tensor. W 2024 roku widzimy przypływ modeli i narzędzi AI wykorzystywanych lokalnie, bez dostępu do sieci i bez wsparcia chmury. Dlatego chciałbym pokazać wam kilka najciekawszych, uruchomionych na moim trzyletnim PC do którego zamontowałem nową kartę graficzną Palit GeForce RTX 4070 SUPER z 12 GB GDDR X6, zgarniętą w promocji za mniej niż 2500 zł. Karta Palit jest oparta o najnowszą architekturę Ada Lovelace i korzysta z rdzeni Tensor najnowszej, czwartej generacji.

Jeśli korzystaliście z czatbota GPT, rozwiązanie firmy NVIDIA może się wam wydać znajome. ChatRTX to asystent AI działający bezpośrednio na komputerze, w pełni offline, z którym porozumiewamy się tekstem lub mową. Rozwiązanie jest ściśle skoncentrowane na zasobach naszego PC, indeksując, analizując i wnioskując w oparciu o posiadane przez nas pliki.

ChatRTX nie korzysta z połączenia sieciowego, co za tym idzie, nie zapytamy go o aktualną pogodę w Gruzji albo o różnice między krokodylami i aligatorami. Możemy mu natomiast wskazać miejsce na dysku, stanowiące zakres jego obowiązków. Przykładowo, wskazując na folder z moimi recenzjami gier dla Spider’s Web, ChatRTX stworzy mi listę testowanych tytułów w oparciu o wystawione im oceny, od najlepszej do najgorszej, z okresu dwóch ostatnich lat.

ChatRTX odpowiada także na proste pytania i odnajduje poszukiwane pliki. Oczywiście wszystko odbywa się lokalnie i wyłącznie na naszym komputerze. Z tego powodu wpuszczając czatbota między nasze dane nie musimy się obawiać o bezpieczeństwo.

Stawiasz pięć kresek, a program zamienia je w przepiękny dom nad jeziorem. Tak ma działać NVIDIA Canvas - program graficzny napędzany lokalnym modelem SI, interpretujący bazgroły użytkownika i tworzący na ich podstawie piękne grafiki. W podobny sposób działa m.in. Galaxy AI od Samsunga, ale potrzebuje do tego Internetu. Z kolei Canvas zadowoli się kartą RTX 30/40 bez dostępu do sieci, więcej nie potrzebuje.

Gdy stworzy się już ciekawy obraz, aplikacja Canvas pozwala na import takiego dzieła do programu Adobe Photoshop, dzięki czemu można zadbać o konkretne detale.  Co więcej, w przypadku trybu panoramicznego dla programu Canvas, obrazy mogą być zaimportowane do aplikacji 3D, takich jak NVIDIA Omniverse Create czy Blender.

Najbardziej efektowne (i efektywne) możliwości pakietu Adobe oparte o sztuczną inteligencję wymagają dostępu do sieci. Są jednak funkcje oraz narzędzia, które radzą sobie bez chmury, opierając się wyłącznie na rdzeniach Tensor w karcie takiej jak ta od Palita. W przypadku programu Adobe Lightroom taką funkcją jest redukcja szumów AI. Korzystam z niej od kilku miesięcy, także pracując w trasie bez dostępu do Internetu i muszę przyznać: generuje świetne rezultaty.

Zresztą, spójrzcie sami. Zdjęcie mojego autorstwa jest pełne widocznych szumów, co pokazuję na małym wycinku fotografii. Następnie widzicie to samo zdjęcie, już po procesie odszumiania, z częstotliwością procesu ustaloną na 30 proc. Uzyskany efekt jest świetny, a cały proces to kwestia kilkunastu/kilkudziesięciu sekund, w zależności od wydajności komputera, konkretnej fotografii oraz wybranego stopnia redukcji szumu.

Gdy technologia renderowania obrazu Deep Learning Super Sampling debiutowała w 2018 roku, mało kto utożsamiał ją ze sztuczną inteligencją. Tymczasem DLSS to kwintesencja wykorzystania uczenia maszynowego do oferowania lokalnemu użytkownikowi kapitalnych możliwości opartych o sieci neuronowe. Dzięki DLSS posiadacze kart takich jak Palit GeForce RTX 4070 SUPER zyskali zupełnie nowe narzędzia w walce z wyśrubowanymi wymaganiami sprzętowymi współczesnych gier. Technologia renderowania połączona z upłynnianiem obrazu sprawia, że nawet mniej wydajne sprzęty radzą sobie z najbardziej wydajnymi grami na świecie, wliczając w to rodzimego Cyberpunka 2077.

DLSS w najnowszej wersji 3,5 zwiększa płynność rozgrywki przy tak nieznacznej redukcji jakości obrazu, że po prostu grzechem jest nie korzystać z tego rozwiązania. Uzysk dla gracza jest gigantyczny. Zwłaszcza na nowszych RTX-ach obsługujących rozwiązanie path tracing, oszczędzające podzespoły podczas zasobożernego renderowania promieni śledzonych w czasie rzeczywistym, nadających grom dodatkowego realizmu.

Przyznam, że początkowo nie byłem fanem tego narzędzia. Nvidia Broadcast kopiowała rozwiązania popularnych programów do wideo-rozmów oraz streamingu na żywo, ale nie wnosiła wiele od siebie. Jednak wraz z kolejnymi aktualizacjami Broadcast zamienił się w platformę z kilkoma absolutnie fenomenalnymi opcjami, zwłaszcza dotyczącymi dźwięku.

Chyba nie ma drugiego programu, który w tak kapitalny sposób rozprawia się z echem w pomieszczeniu. Jeden suwak sprawia, że brzmimy jakbyśmy nagrywali treści w profesjonalnym studiu. Algorytmy odpowiadające za wyciszanie szumu otoczenia także są bardzo dobre. Broadcast potrafi też śledzić kamerą położenie przemieszczającego się użytkownika, a także redukować szum, gdy nagrywamy z kiepskim oświetleniem. Wrażenie robi funkcja kontaktu wzrokowego w wersji beta, manipulująca obrazem w ten sposób, byśmy zawsze patrzyli w kierunku rozmówców. Nawet gdy czytamy tekst z kartki.

Pamiętam, jak wiele lat temu obrysowywałem obiekty w programie graficznym kawałek po kawałku, jakbym trzymał w dłoniach nożyczki, którymi wycinam skomplikowany kształt. Solidna robota tego typu trwała przynajmniej kilka minut. Dzisiaj ten sam efekt uzyskuję jednym klikiem w Adobe Photoshopie, wspieranym lokalnym modelem AI.

Podobnie jak inne programy Adobe, również Photoshop wymaga połączenia z Internetem do realizacji najbardziej imponujących zadań wspartych sztuczną inteligencją, jak generowanie zawartości poprzez Firefly. Lokalne AI kapitalnie się natomiast spisuje w rozpoznawaniu, interpretowaniu i zaznaczaniu wskazanych kształtów, dzięki czemu przenoszenie obiektów z jednego pliku do drugiego to kwestia sekund. Używam regularnie.

Darmowy Copilot tworzy grafiki o stałych proporcjach, w określonej liczbie. Dlatego warto zadbać o własny generator grafik, dostępny 24 godziny na dobę, bez żadnych ograniczeń, za to z szeroką możliwością edycji uzyskanych rezultatów. Świetnym programem na start tego typu jest NKMD Stable Diffusion.

Korzystając z NMKD Stable Diffusion nie musimy oddzielnie pobierać modelu AI oraz interfejsu. Narzędzie instalujemy jak typowy program, uruchamiamy i gotowe - pozostaje wpisać unikalne i zrozumiałe dla SI polecenie, a NKMD w kilka sekund (przynajmniej na testowanym Palicie) generuje oczekiwaną grafikę. Do tego rozwiązanie umożliwia dodawanie innych modeli, także znacznie bardziej zaawansowanych. Wszystko za darmo, bezpośrednio na naszym PC.

Bezpieczeństwo. Niezawodność. Prywatność. Bliskość. Darmowość. To wszystko argumenty przemawiające na korzyść lokalnych modeli, uruchamianych bezpośrednio na naszych urządzeniach. Oczywiście moc domowych PC - nawet tych złożonych do gier - nie może się równać z wydajnością komercyjnej chmury. Z tego powodu wielkie modele takie jak GPT-4 będą potrzebować Internetu do realizacji wielu zadań. Jestem jednak przekonany, że coraz więcej narzędzi przejdzie na poziom lokalny, wraz z rozwojem mocy GPU.

Już teraz karta graficzna taka jak Palit GeForce RTX 4070 SUPER, która nie kosztuje przecież kroci, pozwala wygenerować grafikę lokalnie w zaledwie kilka sekund. Redukcja szumu na fotografii RAW to z taką kartą proces na kilkanaście sekund, z kolei rozpoznanie i zaznaczenie obiektu na grafice trwa mniej niż sekundę. Lokalne AI dosłownie galopuje. W ciągu niemal roku liczba modeli gwałtownie wzrosła, tak samo jaj jakość ich interfejsów oraz łatwość użytkowania. Dlatego jestem niezwykle ciekaw, co czyha na nas tuż za rogiem.