Usiadłem i stworzyłem własną SI. To miała być najlepsza funkcja Copilota Pro

Od wczoraj usługa Copilot Pro jest dostępna na terenie Unii Europejskiej, z dużym choć koniecznym opóźnieniem względem reszty świata. To oznacza, że za usługę zapłacić mogą też Polacy i z niej korzystać. Problem w tym, że akurat na terenie naszego kraju oferuje ona dość niewiele. A kosztuje niemal 100 zł miesięcznie.

Najciekawsza rzecz, czyli możliwość integracji z aplikacjami, usługami i chmurą Microsoft 365 nie działa w języku polskim. Po wykupieniu subskrypcji Copilot Pro w aplikacjach Microsoft Office pojawią się nowe przyciski do Copilota, które na dziś głównie zajmują miejsce. Próba skorzystania z ich funkcji kończy się smutnym komunikatem, że język polski nie jest jeszcze obsługiwany.

Jedyną dostępną od razu i w miarę oczywistą korzyścią jest szybkość działania samej usługi. Copilot w godzinach szczytu w trybie GPT-4 potrafi odpowiadać wręcz literka po literce, przez kilkadziesiąt sekund budując odpowiedź. Abonenci Pro mają priorytetowy dostęp do mocy obliczeniowej chmury Microsoftu, odpowiedzi są generowane znacznie szybciej. Podobnie jak generowanie obrazów. Miłe, choć raczej niekoniecznie warte 100 zł miesięcznie. Bez wspomnianej i wysoce pożądanej integracji z Microsoft 365 trudno znaleźć argument za Copilot Pro. Choć nadzieję miałem na coś jeszcze.

Nie przegap tych tekstów:

Duże Modele Językowe i usługi je wykorzystujące są podatne na tak zwane halucynacje. Wykorzystujące model GPT-4 usługi ChatGPT czy Copilot nierzadko na zadane pytania odpowiadają klepiąc w autorytatywnym tonie kompletne bzdury, przez co do ich wypowiedzi należy podchodzić z dużym dystansem - a ów brak zaufania do danych wynikowych znacząco obniża ich użyteczność.

Halucynowanie generatywnej SI wynika z dwóch czynników. Po pierwsze, samo źródło danych bywa zatrute - nie wszystkie witryny i blogi publikują rzetelne i zgodne z faktami treści. Po drugie sama zasada działania GPT sprawia, że im szerszy zakres danych do przetworzenia, tym większa skłonność modelu do zmyślania. Remedium na halucynacje jest tworzenie specjalistów. Znacznie mniejszych modeli GPT, szkolonych na konkretnym zbiorze danych.

Nakarmiony danymi o, dajmy na to, najlepszych przepisach kulinarnych stworzony do prywatnego użytku GotowanieGPT nie będzie miał zielonego pojęcia który iPhone ma więcej megapikseli. Zawsze jednak dobrze doradzi czy do danej potrawy lepiej użyć oleju czy oliwy i będzie w tej analizie wnikliwy i bezbłędny. W ramach Copilot Pro tworzenie takich specjalistów jest możliwe.

Konfiguracja prywatnego asystenta jest banalnie prosta. Należy nadać mu nazwę i krótko opisać (na potrzeby stricte użytkownika, by wiedział po co niegdyś sobie takiego bota stworzył), opisać naturalnym językiem czego się od niego oczekuje i załączyć plik z danymi, na których ma być wyszkolony. Dodatkowo można mu włączyć integrację z Bingiem i DALL-E co wydaje się bezsensowne, mając na uwadze chęć wspomnianej specjalizacji.

Przeglądając foldery z dokumentami znalazłem coś niezłego do testów. Dużego i obszernego PDF-a z ofertą pojazdów Ford Mondeo. Wraz ze wszystkimi danymi technicznymi, wymiarami, wyposażeniem. Taka ściąga dla dealera samochodowego, tyle że wyrażona w kilkudziesięciu trudnych do szybkiego ogarnięcia tabelach. SI, która pomoże się w tym rozeznać, byłaby idealna. Spróbujmy.

Pierwsze testy wypadły bardzo pomyślnie. Mimo że plik był w formacie PDF, zamiast rekomendowanego przez Microsoft formatu Open Office XML (pliki MS Office) Copilot ładnie go przetworzył, o czym świadczyły pierwsze testowe pytania.

Zachwycony wynikami chciałem już pisać pierwsze ciepłe słowa o usłudze, ale na szczęście mam w zespole Spider’s Web jeszcze mądrzejszych od siebie koleżanki i kolegów. Szybko zdołali wymyślić pytania, na których Copilot się kompromitująco wyłożył.

W pliku PDF podane były między innymi wymiary bagażników poszczególnych modeli. Copilot nie zdołał ich z jakiegoś względu przetworzyć. Pytany o rozmiary bagażników upiera się, że nie ma takich danych.

Tu jeszcze większe kuriozum. Gdy zadawałem Copilotowi proste pytania o spalaniu, odpowiadał zgodnie z tabelą - co oznacza, że przyjął te dane i poprawnie je przetworzył. Jednak pytany o ten konkretny model, zdecydowanie obecny w tej samej tabeli i pod nazwą znak-w-znak identyczną. Twierdzi, że danych nie ma.

Czepiać się też można szczegółów. Tu zapytany o spalanie modeli odpowiedział o emisji. Co więcej, mieszając dane, a więc wprowadzając użytkownika w błąd. Choć gdy zadałem powtórnie pytanie, tym razem pytając o zużycie paliwa zamiast o spalanie, to się poprawił.

Wydaje się wątpliwe, bym po miesiącu chciał przedłużyć subskrypcję. Na pewno do niej wrócę, gdy pojawi się integracja z Microsoft 365. Na pewno też będę się przyglądał Konstruktorowi Copilot GPT, bo narzędzie to jako koncepcja niezmiennie ma gigantyczny potencjał. Tym niemniej wymaga jeszcze dopracowania i nie nadaje się do codziennej pracy. Za niemal 100 zł na dziś jedyną faktyczną korzyścią są szybsze odpowiedzi ze zwykłego Copilota. Bilans korzyści względem wydanej kwoty wydaje się tu mocno niekorzystny.

*Ilustracja otwierająca: Robert Way / Shutterstock