Connect with us

Nauka

Naukowcy opracowują modele języka polskiego, możliwe polskie odpowiedniki GPT

Published

on

Naukowcy opracowują modele języka polskiego, możliwe polskie odpowiedniki GPT

Naukowcy z Politechniki Gdańskiej i OPI opracowali modele języka polskiego zwane Qra. To pierwszy odpowiednik otwartych narzędzi Meta czy Mistral AI na tę skalę. Qra lepiej rozumie polskie treści i lepiej potrafi tworzyć spójne teksty – podaje Politechnika Gdańska.

Jak poinformowało biuro prasowe Politechniki Gdańskiej, uczelnia oraz Laboratorium AI Narodowego Instytutu Przetwarzania Informacji – Państwowego Instytutu Badawczego (OPI) opracowały generatywne modele języka neuronowego w języku polskim uczącego się wyłącznie na terabajcie danych tekstowych po polsku.

„Qra jest pierwszą w swoim rodzaju i najlepszą w modelowaniu polskojęzycznego odpowiednika otwartych narzędzi, takich jak Meta czy Mistral AI. Qra lepiej rozumie treści w języku polskim, lepiej rozumie zadawane pytania i tworzy spójne teksty” – czytamy w oświadczeniu.

Na Politechnice Gdańskiej w Centrum Kompetencyjnym IT STOS, jednym z najnowocześniejszych ośrodków informatycznych w tej części Europy, wyposażonym w superkomputer Kraken, stworzono środowisko obliczeniowe dedykowane do budowy modeli sztucznej inteligencji.

Jak wynika z oświadczenia, w procesie wykorzystano klaster 21 kart graficznych NVidia A100 80 GB. Zespoły pracowały przez około sześć miesięcy nad przygotowaniem środowiska, stworzeniem narzędzi i modeli, szkoleniami (w oparciu o treści z takich dziedzin jak prawo, technologia, nauki społeczne, biomedycyna, religia czy sport) oraz testowaniem. „Dzięki bogatej infrastrukturze dostępnej w STOS faktyczny proces szkolenia najbardziej skomplikowanych modeli został skrócony z lat do około miesiąca” – podaje uczelnia.

Współpraca Gdańsk Tech i OPI zaowocowała powstaniem trzech modeli o różnej złożoności tj. Qra 1B, Qra 7B, Qra 13B. Modele Qra 7B i Qra 13B osiągają znacznie lepszy wynik zakłopotania, czyli możliwości modelowania języka polskiego pod względem rozumienia, warstwy leksykalnej i gramatyki, niż oryginalne modele Llama-2-7b-hf (Meta) i Mistral-7B -v0.1 (Mistral-AI).

Badania pomiaru zakłopotania przeprowadzono np. na zbiorze pierwszych 10 000 zdań zbioru testowego PolEval-2018, a modele dodatkowo przetestowano na zbiorze 5000 dłuższych i bardziej wymagających dokumentów napisanych w 2024 r.

READ  Globalne planowanie socjalistyczne Bagdadu

Szablony Qra będą podstawą rozwiązań IT pozwalających uporać się z zagadnieniami i procesami wymagającymi lepszego zrozumienia języka polskiego.

„Na tym etapie Qra jest podstawowym modelem językowym, który może generować poprawne gramatycznie i stylistycznie odpowiedzi w języku polskim. Tworzone treści są na bardzo wysokim poziomie, co może potwierdzić m.in. miara zakłopotania” – czytamy w oświadczeniu.

Zespół rozpocznie prace nad dostrojeniem modeli, aby sprawdzić ich zdolność do klasyfikowania tekstu, podsumowywania go i odpowiadania na pytania.

Nowe modele zostały opublikowane w dedykowanym repozytorium OPI-Gdańsk Tech na platformie huggingface. Każdy może pobrać szablon i dostosować go do swojego obszaru oraz problemów lub zadań, np. udzielania odpowiedzi. (PAPKA)

godz./ bar/ kap/

tr. RL

Fundacja PAP umożliwia nieodpłatne przedrukowanie artykułów z portalu Nauka w Polsce pod warunkiem otrzymania raz w miesiącu wiadomości e-mail o korzystaniu z portalu i wskazaniu pochodzenia artykułu. Na stronach internetowych i portalach internetowych należy podawać adres: Źródło: www.scienceinpoland.pl, natomiast w czasopismach – adnotację: Źródło: Nauka w Polsce – www.scienceinpoland.pl. W przypadku serwisów społecznościowych prosimy o podanie jedynie tytułu i leadu przesyłki naszej agencji wraz z linkiem prowadzącym do tekstu artykułu na naszej stronie, a także na naszym profilu na Facebooku.

Continue Reading
Click to comment

Leave a Reply

Twój adres e-mail nie zostanie opublikowany. Wymagane pola są oznaczone *