Uruchomisz DeepSeek lokalnie na komputerze. Bez udostępniania danych Chińczykom

DeepSeek to temat, o którym zrobiło się głośno w kilku ostatnich dniach. Wynika to z faktu, że rozwiązanie Chińczyków działa porównywalnie lub nawet lepiej w porównaniu z amerykańskimi modelami AI. Ale to nie wszystko - wysoką wydajność modelu DeepSeek osiągnięto znacznie niższym kosztem niż np. GPT-4, a gdyby tego było mało AI z Chin jest oprogramowaniem typu open-source, które można modyfikować i wykorzystywać bezpłatnie. Ta otwartość pozwala na uruchomienie go na własnej maszynie.

Z chińskiego czatbota możemy skorzystać online na stronie internetowej lub za pośrednictwem aplikacji mobilnej. Zapytania i odpowiedzi odbywają się na serwerach twórców DeepSeek, które są umiejscowione najprawdopodobniej w Chinach. Jeśli chcecie postawić na bezpieczeństwo, to dzięki aplikacji LM Studio możecie uruchomić czatbota lokalnie. Do działania nie będzie potrzebny internet i będziecie mieć pewność, że wasze dane nie wyjdą poza sprzęt.

To nie tak, że pobierzecie całego DeepSeek R1 – ten został podzielony na mniejsze modele, tak aby można było je uruchomić na sprzętach o mniejszej mocy obliczeniowej. Mniejsze modele określane przez AMD jako destylatory mają oferować bardzo dobrą wydajność, udzielając odpowiedzi natychmiastowo, natomiast większe mają zapewniać lepsze możliwości rozumowania. Jak możemy zacząć swoją przygodę ze sztuczną inteligencją uruchomioną lokalnie?

Na początku trzeba upewnić się, czy korzysta się z odpowiedniego sprzętu. AMD do działania zaleca kartę graficzną Radeon z serii 7000 (co najmniej RX 7600) lub procesor AMD Ryzen AI wyposażony w dedykowany czip NPU o wysokiej wydajności sparowany z odpowiednią ilością pamięci operacyjnej. Następnie sprawdzić, czy ma się sterownik graficzny Adrenalin 25.1.1 optional lub nowszy. Jeśli nie – to trzeba go pobrać i zainstalować.

Następnie przyjdzie nam pobrać aplikację LM Studio w wersji 0.3.8 z myślą o Ryzen AI oraz zainstalować oprogramowanie. Gdy już to zrobiliśmy, trzeba będzie wybrać odpowiednią wersję modelu do naszej konfiguracji sprzętowej, wchodząc w zakładkę na prawej stronie. Zasada jest taka, że dla słabszych komputerów zaleca się modele o mniejszej liczbie parametrów takie jak Qwen 1.5B. Poniżej znajdziecie rekomendowane modele dla określonego sprzętu:

Zakładając, że macie kartę pokroju RX 7700 XT, zaleca się model stworzony z 14 mld parametrów. W wyszukiwarce wpisujemy nazwę interesującej nas wersji, a następnie musimy ją pobrać. Gdy już to zrobimy, to wracamy do głównego okna i w wyszukiwarce na górnej części ekranu wybieramy pobrany model i dostosowujemy ustawienia - m.in. przyznając aplikacji więcej rdzeni układu odpowiadającego za obliczenia związane z AI. Następnie pozostaje tylko kliknąć guzik load model i możemy zaczynać działać ze sztuczną inteligencją, zadając jej pierwsze pytanie.

Tym sposobem uruchomimy DeepSeek’a lokalnie na naszym komputerze. To bezpieczne rozwiązanie, ponieważ mamy pewność, że obliczenia wykonywane są u nas na komputerze i dane nie zostaną udostępnione czy wykorzystane. Do uruchomienia potrzebny jest tylko odpowiedni sprzęt. Nie musi być to jednak karta graficzna lub procesor AMD. Posiadacze GPU od NVIDII oraz komputerów Mac z czipami Apple M również będą w stanie uruchomić własną sztuczną inteligencję za pośrednictwem LM Studio.

Więcej o sztucznej inteligencji znajdziesz na Spider's Web: