Mamy polską sztuczną inteligencję. Qra wie co to schabowy i zna Chłopów
Qra to pierwsza tej skali i najlepiej znająca język polski sztuczna inteligencja. Qra lepiej rozumie treści w języku polskim, lepiej rozumie pytania zadawane w tym języku i lepiej sama tworzy spójne teksty.
Naukowcy z Politechniki Gdańskiej i AI Lab z Ośrodka Przetwarzania Informacji (OPI) - Państwowego Instytutu Badawczego opracowali polskojęzyczne generatywne modele językowe o nazwie Qra, które zostały utworzone na podstawie zestawu danych (ponad 1 TB) zawierającego teksty wyłącznie w języku polskim.
To pierwszy model sztucznej inteligencji wytrenowany na tak dużym zasobie polskich tekstów, do którego uczenia użyto wielkich mocy obliczeniowych. Modele Llama, Mistral czy GPT są w większości trenowane na danych anglojęzycznych, a jedynie ułamek procenta tak zwanego korpusu treningowego stanowią dane w języku polskim.
Więcej o sztucznej inteligencji przeczytasz na Spider`s Web:
Sztuczna inteligencja, która powstała w Gdańsku
Środowisko obliczeniowe dedykowane pod budowę modeli sztucznej inteligencji powstało na Politechnice Gdańskiej w Centrum Kompetencji STOS, jednym z najnowocześniejszych centrów IT w tej części Europy, gdzie znajduje się superkomputer Kraken.
W procesie wykorzystano klaster 21 kart graficznych NVIDIA A100 80GB. Przygotowanie środowiska, utworzenie narzędzi i modeli oraz ich trenowanie (w oparciu m.in. o treści z takich obszarów jak prawo, technologia, nauki społeczne, biomedycyna, religia czy sport) i testowanie zajęło zespołom około pół roku. Dzięki rozbudowanej infrastrukturze CK STOS właściwy proces trenowania w przypadku najbardziej złożonego z modeli został skrócony z lat do około miesiąca.
W wyniku współpracy PG i OPI powstały trzy modele, które różnią się złożonością, tj. Qra 1B, Qra 7B, Qra 13B. Modele Qra 7B oraz Qra 13B uzyskują istotnie lepszy wynik perplexity, czyli zdolności do modelowania języka polskiego w zakresie jego rozumienia, warstwy leksykalnej, czy samej gramatyki, niż oryginalne modele Llama-2-7b-hf (Meta) oraz Mistral-7B-v0.1 (Mistral-AI).
Modele Qra będą stanowić podstawę rozwiązań informatycznych do obsługi spraw i procesów, które wymagają lepszego zrozumienia języka polskiego.
To dopiero początek
Na tym etapie Qra jest modelem językowym, który potrafi generować poprawne gramatycznie i stylistycznie odpowiedzi w języku polskim. Tworzone treści są bardzo wysokiej jakości. Teraz zespół rozpocznie pracę nad strojeniem modeli, aby zweryfikować ich możliwości pod kątem takich zadań, jak klasyfikacja tekstów, dokonywanie ich streszczeń, odpowiadania na pytania.
Opracowane modele zostały upublicznione w dedykowanym repozytorium OPI-PG na platformie huggingface. Każdy może pobrać model i dostosować go do swojej dziedziny i problemów czy zadań jak np. udzielanie odpowiedzi.
