Zespół informatyków pod przewodnictwem University of Colorado Boulder opracował nową platformę sztucznej inteligencji, która automatycznie wyszukuje „wątpliwe” czasopisma naukowe.
Badanie opublikowane 27 sierpnia w czasopiśmie „Science Advances”, podejmuje alarmujący trend w świecie badań.
Daniel Acuña, główny autor badania i profesor w Katedrze Informatyki, otrzymuje przypomnienia o tym kilka razy w tygodniu w swojej skrzynce e-mailowej: Te spamowe wiadomości pochodzą od osób, które podają się za redaktorów czasopism naukowych, zazwyczaj tych, o których Acuña nigdy nie słyszał, i oferują opublikowanie jego artykułów – za wysoką opłatą.
Tego typu publikacje są czasami nazywane „drapieżnymi” czasopismami. Celem są naukowcy, których przekonuje się do zapłacenia setek lub nawet tysięcy dolarów za publikację ich badań bez należytej weryfikacji.
„Wśród naukowców i organizacji wzrasta wysiłek w celu weryfikacji tych czasopism” – powiedział Acuña. „Ale to jest jak gra w odbijanego. Złapiesz jedno, a potem pojawia się kolejne, zazwyczaj z tej samej firmy. Po prostu tworzą nową stronę internetową i wymyślają nową nazwę.”
Nowe narzędzie AI jego grupy automatycznie przesiewa czasopisma naukowe, oceniając ich strony internetowe i inne dane online pod kątem określonych kryteriów: Czy czasopisma posiadają radę redakcyjną z udziałem uznanych badaczy? Czy ich strony internetowe zawierają wiele błędów gramatycznych?
Acuña podkreśla, że narzędzie nie jest doskonałe. W ostatecznym rozrachunku uważa, że decyzję o wiarygodności czasopism powinni podejmować ludzcy eksperci, a nie maszyny.
Ale w czasach, gdy znaczące postaci kwestionują legitymację nauki, zatrzymanie rozprzestrzeniania się wątpliwych publikacji stało się ważniejsze niż kiedykolwiek wcześniej, powiedział.
„W nauce nie zaczynasz od zera. Budujesz na badaniach innych” – powiedział Acuña. „Więc jeśli fundament tej wieży się chwieje, całość się zawali.”
Wstrząs
Kiedy naukowcy składają nowe badanie do renomowanego czasopisma, zazwyczaj przechodzi ono przez praktykę zw. recenzją przez rówieśników. Zewnętrzni eksperci czytają badanie i oceniają je pod kątem jakości – albo przynajmniej taki jest cel.
Coraz więcej firm próbowało ominąć ten proces, by osiągnąć zysk. W 2009 roku Jeffrey Beall, bibliotekarz w CU Denver, skrzywdził termin „drapieżne” czasopisma aby opisać tego typu publikacje.
Często celują one w badaczy spoza Stanów Zjednoczonych i Europy, na przykład w Chinach, Indiach i Iranie – w krajach, gdzie instytucje naukowe mogą być młode, a presja i zachęty do publikacji dla badaczy są duże.
„Mówią, 'Jeśli zapłacisz 500 lub 1,000 dolarów, przejrzymy twoją pracę'” – powiedział Acuña. „W rzeczywistości nie świadczą żadnej usługi. Po prostu biorą plik PDF i publikują go na swojej stronie internetowej.”
Kilka różnych grup próbowało powstrzymać ten proceder. Wśród nich jest organizacja non-profit o nazwie Directory of Open Access Journals (DOAJ). Od 2003 roku wolontariusze w DOAJ oznaczyli tysiące czasopism jako podejrzane na podstawie sześciu kryteriów. (Renomowane publikacje, na przykład, zwykle zawierają szczegółowy opis swojej polityki recenzji przez rówieśników na swoich stronach internetowych.)
Ale nadążanie za rozprzestrzenianiem się tych publikacji było trudne dla ludzi.
Aby przyspieszyć proces, Acuña i jego koledzy zwrócili się do AI. Zespół przeszkolił swój system z użyciem danych DOAJ, a następnie poprosił AI, aby przejrzała listę niemal 15,200 czasopism otwartego dostępu w internecie.
Wśród tych czasopism AI początkowo oznaczyło ponad 1,400 jako potencjalnie problematyczne.
Acuña i jego koledzy poprosili ludzkich ekspertów o przegląd podzbioru podejrzanych czasopism. Według ludzi, AI popełniło błędy, oznaczając szacunkowo 350 publikacji jako wątpliwe, gdy były one raczej legalne. To nadal pozostawiło ponad 1,000 czasopism, które badacze uznali za wątpliwe.
„Uważam, że powinno to być używane jako pomocnicze narzędzie do wstępnego przesiewu dużej liczby czasopism” – powiedział. „Ale ostateczną analizę powinni wykonać profesjonaliści.”
Zapora dla nauki
Acuña dodał, że badacze nie chcieli, aby ich system był „czarną skrzynką” jak niektóre inne platformy AI.
„Na przykład, z ChatGPT, często nie rozumiesz, dlaczego sugeruje coś” – powiedział Acuña. „Staraliśmy się uczynić nasze narzędzie jak najbardziej zrozumiałym.”
Zespół odkrył, na przykład, że wątpliwe czasopisma publikowały niezwykle dużą liczbę artykułów. Zawierały również autorów z większą liczbą afiliacji niż bardziej wiarygodne czasopisma oraz autorów, którzy cytowali swoje własne badania, a nie badania innych naukowców, w nadmiernym stopniu.
Nowy system AI nie jest publicznie dostępny, ale badacze mają nadzieję, że wkrótce będzie dostępny dla uniwersytetów i firm wydawniczych. Acuña widzi narzędzie jako sposób, w jaki badacze mogą chronić swoje dziedziny przed złymi danymi – to co nazywa „zapora dla nauki”.
„Jako informatyk, często daję przykład, gdy wychodzi nowy smartfon” – powiedział. „Wiemy, że oprogramowanie telefonu będzie miało wady i oczekujemy poprawek błędów w przyszłości. Być może powinniśmy zrobić to samo z nauką.”
Współautorami badania byli Han Zhuang z Eastern Institute of Technology w Chinach i Lizheng Liang z Syracuse University w Stanach Zjednoczonych.
