Apple płaci miliony za odkrywanie błędów. AI właśnie wywróciła system
Apple walczy z efektem ubocznym rewolucji AI. Modele generatywne pomagają odkrywać poważne luki oprogramowanie, ale jednocześnie produkują ogromną liczbę błędnych zgłoszeń wymagających ręcznej analizy.
Wprowadzenie AI do pracy programistów poskutkowało nie tylko falą memów i absurdalnych sytuacji tokenmaxxxingu, ale także szybszym identyfikowaniem luk w oprogramowaniu. Przekonał się o tym Apple, który musiał ograniczyć liczbę zgłoszeń przyjmowanych do swojego programu bug bounty. Powodem okazała się lawina raportów przygotowywanych z pomocą generatywnej sztucznej inteligencji, wśród których znajdują się zarówno wartościowe odkrycia, jak i błędne lub zmyślone zgłoszenia wymagające ręcznej weryfikacji.
Apple ma problem z AI we własnym programie nagród. Lawina zgłoszeń okazała się zbyt duża
Jak informuje "Financial Times", zmiany wprowadzono w czerwcu. Firma przyznała, że jej wewnętrzny system obsługi zgłoszeń został zalany lawiną zgłoszeń, z których wiele to "AI slop". Chodzi o zgłoszenia wygenerowane lub wspomagane przez modele AI, które często wskazują nieistniejące podatności albo błędnie interpretują działanie oprogramowania. Jednak stawianie limitów jest mieczem obosiecznym dla Apple'a, gdyż blokując AI slop blokuje on także poważne zgłoszenia.
Jednym z przykładów przytoczonych przez dziennik jest włoski startup Bynario z Mediolanu. Firma poinformowała, że wykorzystała ChatGPT od OpenAI do wykrycia ponad 50 błędów w najnowszej wersji systemu macOS w ciągu zaledwie trzech tygodni. Wśród znalezionych podatności znalazł się również łańcuch eskalacji uprawnień, czyli jedna z najgroźniejszych kategorii luk bezpieczeństwa. Tego rodzaju podatność może umożliwić napastnikowi przejęcie pełnej kontroli nad komputerem poprzez uzyskanie nieograniczonego dostępu do systemu.
Startup nie mógł jednak zgłosić wszystkich odkryć. Apple ograniczył liczbę jednocześnie otwartych zgłoszeń, dlatego system odmówił przyjmowania kolejnych raportów.
- Jest to bardzo trudny moment dla całej branży. Dostawcy oprogramowania zostali zalani ogromną liczbą wykrywanych błędów - powiedział Alfredo Pesoli, współzałożyciel i prezes Bynario, cytowany przez "FT".
Apple przekazał redakcji, że nawiązało już kontakt z włoskim startupem i analizuje przesłane przez niego materiały.
Apple ogranicza liczbę zgłoszeń
Nowe zasady przewidują limit jednocześnie aktywnych zgłoszeń oraz 30-dniowy okres oczekiwania przed możliwością dodania kolejnych raportów. Każde zgłoszenie nadal przechodzi ocenę wykonywaną przez pracowników Apple. Firma przyznaje jednocześnie, że sama wykorzystuje narzędzia AI do wstępnej segregacji napływających raportów.
"W związku z rosnącą liczbą zgłoszeń dotyczących bezpieczeństwa generowanych z pomocą AI w całej branży niedawno dostosowaliśmy liczbę nowych raportów, które badacz może mieć jednocześnie otwarte” - przekazał Apple w oświadczeniu cytowanym przez „FT”.
Producent iPhone'ów dodał również, że badacze mogą w dowolnym momencie poprosić o zwiększenie limitu, aby krytyczne zgłoszenia szybciej trafiały do zespołów odpowiedzialnych za bezpieczeństwo.
Czym jest bug bounty?
Program bug bounty ("bug" - błąd w oprogramowaniu; "bounty" - nagroda, premia) polega na nagradzaniu niezależnych badaczy bezpieczeństwa za odpowiedzialne zgłaszanie wykrytych podatności. Zamiast sprzedawać informacje o lukach lub publikować je bez wcześniejszego powiadomienia producenta, specjaliści przekazują szczegóły firmie, która może przygotować poprawkę. W zamian otrzymują wynagrodzenie, którego wysokość zależy od znaczenia wykrytego problemu.
Apple od lat prowadzi własny program bug bounty. W ubiegłym roku firma rozszerzyła go o nową kategorię nagród, oferując nawet 5 mln dol. za wykrycie najbardziej zaawansowanych i najgroźniejszych zagrożeń dla swoich systemów.
AI zmienia obie strony cyberbezpieczeństwa
Historia Bynario nie jest jedynym przykładem wpływu sztucznej inteligencji na bezpieczeństwo produktów Apple'a. We wrześniu ubiegłego roku firma zaprezentowała mechanizm Memory Integrity Enforcement, określając go jako największą zmianę dotyczącą bezpieczeństwa pamięci w historii konsumenckich systemów operacyjnych.
Osiem miesięcy później badacze z firmy Calif z Palo Alto poinformowali o obejściu tego zabezpieczenia. Podczas prac wykorzystali model Claude Mythos, który pomógł zidentyfikować pierwszy exploit wykorzystujący błąd związany z uszkodzeniem pamięci w najnowszym oprogramowaniu Apple.
Z kolei luka odkryta przez Bynario opierała się na błędach logicznych, polegających na wymuszeniu wykonania poprawnych operacji w niezamierzonej kolejności. Alfredo Pesoli szacuje, że podobny exploit mógłby osiągnąć na cyberprzestępczym czarnym rynku wartość od 100 do 200 tys. dol.
Apple korzysta jednak z AI nie tylko podczas analizowania zgłoszeń. W opublikowanych w tym tygodniu aktualizacjach zabezpieczeń firma wskazała narzędzia Anthropic oraz OpenAI jako pomoc przy identyfikacji części podatności usuniętych z jej systemów operacyjnych. Liczba poprawek bezpieczeństwa była około pięciokrotnie wyższa niż podczas wcześniejszych cykli wydawniczych.
Rafe Pilling, dyrektor ds. analizy zagrożeń w firmie Sophos, zwraca uwagę, że generatywna AI wywołała podwójny efekt. Z jednej strony ułatwia mniej doświadczonym użytkownikom przygotowywanie niskiej jakości zgłoszeń - by nie powiedzieć fałszywych alarmów, z drugiej znacząco zwiększa skuteczność profesjonalnych badaczy poszukujących niebezpiecznych podatności. Według niego największym wyzwaniem programów bug bounty przestaje być samo odnalezienie błędów, a coraz częściej ich szybka weryfikacja, ustalenie priorytetów oraz sprawna reakcja producentów.
Czytaj też:
Redaktorka Spider's Web specjalizująca się w tematykach sztucznej inteligencji, smartfonów i oprogramowania. Jako sześciolatka powiedziała w wywiadzie dla lokalnej telewizji, że chce zostać dziennikarką. Dzisiaj jest absolwentką dziennikarstwa i komunikacji społecznej na Akademii Humanistyczno-Ekonomicznej w Łodzi. Od dziecka pasjonuje się szeroko pojętymi grami i technologią, a w gimnazjum zapałała miłością do grafiki komputerowej i elektroniki użytkowej. Swoją pasję przekuła w działalność dziennikarską. Prywatnie miłośniczka psów, gotowania i literatury faktu.