Język polski najlepiej radzi sobie w złożonych zadaniach językowych AI, wynika z badania

Utrzymaj nasze wiadomości bez reklam i płotów, dokonując darowizny na wsparcie naszej pracy!

Notes from Poland prowadzone są przez mały zespół redakcyjny i są publikowane przez niezależną, non-profitową fundację, która jest finansowana poprzez darowizny od naszych czytelników. Nie możemy robić tego, co robimy, bez Twojego wsparcia.

Międzynarodowe badanie wykazało, że język polski jest najlepiej funkcjonującym językiem spośród 26, które były testowane w zadaniach złożonych związanych z sztuczną inteligencją. Autorzy przyznają, że wynik ten był „zaskakujący”, podobnie jak fakt, że język angielski zajął dopiero szóste miejsce.

Badania przeprowadzone przez ekspertów AI z Microsoftu, Uniwersytetu Maryland, College Park oraz Uniwersytetu Massachusetts Amherst, zaprezentowały nowy benchmark do oceny wydajności dużych modeli językowych (LLM) w różnych językach.

LLM to programy AI trenowane na ogromnych ilościach danych, pozwalające im wykonywać zadania takie jak rozpoznawanie tekstu, generowanie i tłumaczenie. To one napędzają najbardziej widoczną formę AI, takie jak chatboty, np. ChatGPT, Gemini i Grok.

Naukowcy przetestowali, jak sześć LLM – od OpenAI, Gemini, Qwen i Llama – spisywało się w reakcji na te same dane wejściowe w 26 różnych językach. Znaleźli kilka „zaskakujących i sprzecznych wyników”.

Jednym z nich było to, że w najbardziej złożonych zadaniach, polegających na przetwarzaniu dużych ilości tekstu, język polski zajął pierwsze miejsce, osiągając średnią dokładność 88%. Język angielski był dopiero szósty z wynikiem 83,9%, podczas gdy język chiński – często używany do wstępnego uczenia LLM – zajął czwarte miejsce od końca z wynikiem 62,1%.

&Na pewno wszędzie jesteś na świecie, pomagamy Ci pozostać z Polską.

Nasz mały, non-profitowy zespół dostarcza bezpłatne, sprawdzone wiadomości i analizy.

„Angielski i chiński dominują w danych wstępnego uczenia, więc moglibyśmy oczekiwać, że będą najlepiej funkcjonującymi językami” – napisali badacze. „Jednakże, w kontekstach o długości 64K i 128K [czyli w najbardziej złożonych zadaniach], nieoczekiwanie zauważamy, że polski osiąga najlepsze wyniki.”

Drugi najlepszy wynik osiągnął język rosyjski, a następnie francuski, włoski i hiszpański. Najgorzej wypadł język Sethoto, nieco przed językami tamilskim i suahili.

Badacze odkryli, że najlepiej funkcjonującymi rodzinami językowymi były słowiańskie (do których należą polski i rosyjski), romańskie (do których wliczają się hiszpański i francuski) oraz germańskie (takie jak angielski). Natomiast języki bantu (takie jak suahili i Sethoto) wypadły słabo mimo posiadania ponad 350 milionów użytkowników.

Wydajność każdego języka w najbardziej złożonych zadaniach (źródło: „One ruler to measure them all: Benchmarking multilingual long-context language models”, Yekyung Kim, Jenna Russell, Marzena Karpinska, Mohit Iyyer)

Autorzy wierzą, że niektóre czynniki wpływające na względną wydajność języków to rodzaj używanego pisma (języki z pismem łacińskim lub cyrylicą wypadają lepiej) i czy są to „języki wysokich lub niskich zasobów”, co oznacza, ile danych jest dostępnych do nauczenia AI ich użyciu.

W tym roku rząd Polski uruchomił polski duży model języka (PLLuM), który jest dostępny dla wszystkich i ma na celu wspieranie rozwoju sztucznej inteligencji.

Jednym z celów projektu jest wspieranie świadczenia usług publicznych w Polsce. W sierpniu miasto Częstochowa stało się pierwszym, które zaczęło korzystać z PLLuM w celu umożliwienia szybszego pisania oficjalnych listów, analizowania zapytań od mieszkańców i podsumowywania długich dokumentów, między innymi zadań.

Notes from Poland prowadzone są przez mały zespół redakcyjny i są publikowane przez niezależną, non-profitową fundację finansowaną poprzez darowizny od naszych czytelników. Nie możemy robić tego, co robimy, bez Twojego wsparcia.

Źródło zdjęcia głównego: Jernej Furman/Wikimedia Commons (na licencji CC BY 2.0)

Daniel Tilles jest redaktorem naczelnym Notes from Poland. Pisał o sprawach polskich dla wielu publikacji, w tym Foreign Policy, POLITICO Europe, EUobserver i Dziennik Gazeta Prawna.