Claude pomagał tworzyć broń biologiczną. Twórcy wpadli w panikę i blokują konta
Te same algorytmy, które mogą pomóc w odkryciu leków ratujących życie, potrafią wesprzeć tworzenie śmiercionośnych wirusów. Anthropic bije na alarm po odkryciu, że badacze używali modelu Claude do zaawansowanych prac o potencjale militarnym.
Anthropic ujawniło, że jego modele Claude zostały wykorzystane przez naukowców do pracy nad badaniami, które mogły pomóc w stworzeniu broni biologicznej. Firma zablokowała konta powiązane z tymi działaniami, ale przyznaje, że w części przypadków nie była w stanie ustalić, czy badania miały charakter naukowy, czy zmierzały w stronę opracowania niebezpiecznych patogenów.
Anthropic zablokowało konta naukowców wykorzystujących AI do pracy nad śmiercionośnymi patogenami
Firma opublikowała obszerny raport dotyczący niewłaściwego wykorzystywania modeli Claude. Dokument opisuje ostatnie osiem miesięcy i opisuje różne przypadki nadużyć, od propagandy i inwigilacji po tworzenie oprogramowania dla broni konwencjonalnej. Największe obawy Anthropic dotyczą jednak zastosowań biologicznych.
Powód jest istotny. Najnowsze modele sztucznej inteligencji coraz lepiej radzą sobie z prowadzeniem złożonych badań naukowych. Te same zdolności mogą pomagać w opracowywaniu szczepionek i leków, ale również w modyfikowaniu niebezpiecznych organizmów.
Anthropic opisuje w raporcie pięć przypadków, w których Claude został wykorzystany podczas badań związanych z potencjalną bronią biologiczną. Firma podkreśla przy tym, że nie jest w stanie jednoznacznie stwierdzić, czy osoby korzystające z modeli rzeczywiście zamierzały stworzyć broń.
- Nie widzimy kogoś w stylu komiksowego złoczyńcy, kto mówi: chcę zbudować broń biologiczną, żeby zabić wszystkich - powiedział The New York Times Jacob Klein, szef zespołu ds. wywiadu zagrożeń w Anthropic. Jak dodał, sytuacja jest "niezwykle zniuansowana".
Jednym z opisanych przypadków było wykorzystanie Claude'a do przygotowania wniosku o grant dotyczący badań nad wirusem chikungunya. Biologiczny system bezpieczeństwa Anthropic wykrył zapytanie w maju tego roku.
W opisanym przypadku plan zakładał laboratoryjne badania gain of function - modyfikowanie wirusa chikungunya w taki sposób, aby zwiększyć jego zdolność do przenoszenia się oraz unikania odpowiedzi immunologicznej. Badania miały obejmować również infekowanie żywych zwierząt. Dodatkowym sygnałem ostrzegawczym był fakt, że prace miały być prowadzone przy wojskowym instytucie badawczym.
- Nie wiemy, czy badania miały zostać wykorzystane do stworzenia broni. Jednak wojskowa instytucja prowadząca badania gain of function budzi obawy - powiedział Klein.
Anthropic opisało również podobny przypadek dotyczący badań nad ptasią grypą. W kolejnym naukowiec korzystał z Claude'a przy tworzeniu atlasu peptydów toksyn jadowych oraz generatywnego procesu służącego do optymalizowania właściwości toksyn. Firma twierdzi, że w każdym z tych przypadków zastosowała środki ostrożności, nawet jeśli nie mogła mieć pewności co do intencji użytkowników. Konta powiązane z badaniami zostały zablokowane.
Naukowcy mieli również próbować omijać zabezpieczenia Claude'a
Według Anthropic część użytkowników korzystała z modeli mimo ograniczeń dotyczących dostępu z określonych regionów, a także próbowała ukrywać prawdziwy cel prowadzonych badań przed systemami bezpieczeństwa.
Susan Monarez, mikrobiolożka i ekspertka ds. zdrowia publicznego, która nadzorowała przegląd przygotowania USA na zagrożenia biologiczne za administracji Baracka Obamy, zapoznała się z raportem przed jego publikacją. Jej zdaniem przedstawione przypadki dostarczają dowodów na próby wykorzystania zaawansowanej AI do zwiększenia możliwości opracowywania patogenów. Monarez zwróciła jednocześnie uwagę na podwójne zastosowanie technologii. Modele AI mogą przyspieszać badania medyczne prowadzące do opracowania nowych terapii i szczepionek, ale te same możliwości mogą zostać wykorzystane przez osoby chcące stworzyć niebezpieczne patogeny.
Problem dotyczy zresztą nie tylko biologii. Raport Anthropic opisuje przypadki wykorzystywania Claude'a do inwigilowania przeciwników politycznych i społeczności emigracyjnych, tworzenia propagandy oraz opracowywania exploitów komputerowych. Firma wskazała między innymi na rosyjskie media państwowe, które wykorzystywały Claude'a do generowania propagandy przedstawianej jako niezależne materiały informacyjne. Wśród wygenerowanych treści znalazły się również fałszywe informacje dotyczące wyborów w Mołdawii.
Anthropic wykryło także próby wykorzystania Claude'a przy projektowaniu i tworzeniu oprogramowania związanego z bronią konwencjonalną. Chodziło między innymi o broń palną, pociski, uzbrojone drony i bomby. Raport wymienia sześć takich przypadków: trzy związane z Chinami, dwa z Rosją oraz jeden z Jemenem. The New York Times wskazał, że w przypadku jemeńskim kontekst raportu sugeruje działalność wspieranej przez Iran milicji Huti.
Raport nie podaje nazwisk naukowców ani nazw instytucji związanych z przypadkami dotyczącymi badań biologicznych. Anthropic tłumaczy, że osoby te są czynnymi naukowcami, a firma nie jest pewna, czy ich praca miała szkodliwy cel. Ujawnienie ich tożsamości mogłoby narazić ich oraz ich laboratoria na niebezpieczeństwo.
Anthropic podkreśla również, że starsze modele firmy były znacznie mniej przydatne przy prowadzeniu niebezpiecznych badań biologicznych. Ubiegłoroczne testy wykazały, że nie potrafiły jeszcze w znaczącym stopniu pomagać przy tego rodzaju pracy. Obecne modele są zdolniejsze do realizowania złożonych zadań naukowych, dlatego firma zaostrzyła mechanizmy bezpieczeństwa.
Andrew Weber, starszy analityk Council on Strategic Risks i były zastępca sekretarza obrony USA odpowiedzialny za programy obrony przed bronią jądrową, chemiczną i biologiczną za administracji Obamy, ocenił raport jako przykład wykorzystania coraz bardziej zaawansowanych modeli AI przez podmioty zaangażowane w rozwój broni biologicznej. Weber opowiedział się za ograniczeniem dostępu do modeli zdolnych do prowadzenia badań biologicznych na takim poziomie. Jego zdaniem powinny z nich korzystać wyłącznie zweryfikowane grupy badawcze.
Czytaj też:
Redaktorka Spider's Web specjalizująca się w tematykach sztucznej inteligencji, smartfonów i oprogramowania. Jako sześciolatka powiedziała w wywiadzie dla lokalnej telewizji, że chce zostać dziennikarką. Dzisiaj jest absolwentką dziennikarstwa i komunikacji społecznej na Akademii Humanistyczno-Ekonomicznej w Łodzi. Od dziecka pasjonuje się szeroko pojętymi grami i technologią, a w gimnazjum zapałała miłością do grafiki komputerowej i elektroniki użytkowej. Swoją pasję przekuła w działalność dziennikarską. Prywatnie miłośniczka psów, gotowania i literatury faktu.