Ta sztuczna inteligencja potrafi... widzieć

ChatGPT, GPT-3, DALL-E, Midjourney czy Stable Diffusion - te modele sztucznej inteligencji nie tylko spopularyzowały wykorzystanie SI do tworzenia treści i odpowiadania na pytania, ale także nauczyły nas komunikować się ze sztuczną inteligencją poprzez tekst. A co gdyby tak pokazywać SI świat i to, czego od niej oczekujemy?

Odpowiedź na to pytanie jest nie z tej planety, gdyż nazywa się Kosmos-1 i jest nowym modelem sztucznej inteligencji wykorzystującej koncept MLLM (multimodalnego dużego modelu językowego), w przeciwieństwie do znanego nam dobrze LLM (dużego modelu językowego). Model opracowany został przez inżynierów Microsoftu, a preprint pracy opisujący sztuczną inteligencję dostępny jest w archiwum arXiv.

Same nazwy MLLM i LLM zdradzają pewne podobieństwa pomiędzy Kosmos-1, a dobrze nam znanymi modelami językowymi - działanie Kosmos-1, tak jak dużych modeli językowych opiera się na rozumieniu tekstu. Jednak w przypadku nowego modelu językowego Microsoftu, kiedy otrzymuje on grafikę jako dane wejściowe (czyli twoją komendę), tłumaczy on grafikę na zrozumiały dla LLM tekst.

Dzięki temu na treningu na kilku terabajtach danych, w tym zbiorach takich jak The Pile czy Common Crawl zyskał umiejętności percepcyjne, pozwalające mu przejść test na IQ jak i odpowiadać na pytania związane z prezentowaną mu grafiką. Kosmos-1 wykazywał "imponujące wyniki" nie tylko przy analizie danych, z którymi miał już do czynienia, ale także w sytuacjach few- i zero-shot - czyli w sytuacjach, w których model ma odpowiednio bardzo mało i brak danych dotyczących prezentowanego mu obiektu.

Inne przykłady zastosowania Kosmos-1 wskazują na jego potencjał w pomaganiu użytkownikowi. Na przykład badacze podsunęli modelowi zrzut ekranu z systemu Windows 10 z pytaniem co przedstawia obraz, następnie SI wytłumaczyła, co znajduje się na grafice oraz poinstruowała jak wyłączyć komputer lub jak anulować operację. W innym przykładzie Kosmos-1 wytłumaczył użytkownikowi, jakie jedzenie znajduje się na fotografii.

Z kolei w samym tekście pracy możemy znaleźć fragment zatytułowany "Odpowiadanie na pytanie na stronach internetowych"

Może to oznaczać, że Microsoft rozwija Kosmos-1 nie tylko w celu przetarcia szlaków w dziedzinie sztucznej inteligencji, ale także chce zaimplementować SI jako część swojej wyszukiwarki oraz chatbota.