Dr Anna O.Szust i inne naukowe mistyfikacje

Niestety, autor nie istniał, a artykuł był w rzeczywistości bezsensownym (choć składającym się z poprawnych zdań) dziełem wygenerowanym przez program komputerowy SCIGen. Gdy sprawa się wydała, IEEE, szanowana instytucja usunęła wszelki ślad po artykule ze swoich stron.

Mimo że Schlangemann sam przyznał się do swojego nieistnienia, w następnym roku sztuczka udała mu się ponownie. Zaproszono go do przedstawienia swojej prelekcji pod tytułem PlusPlug: A Methodology for the Improvement of Local-Area Networks na konferencji poświęconej bezpieczeństwu.

Dokumenty wygenerowane przez SCIGen wyglądają imponująco: mają zadanych współautorów, bibliografię, wykresy i ilustracje. Są wewnętrznie spójne - ilustracje są wspomniane w tekście w odpowiednich miejscach, a w bibliografii występują prawdziwi autorzy. Nic więc dziwnego, że w trakcie badania publikacji naukowych w 2013 w bazach IEEE oraz Springer znaleziono aż 120 artykułów „napisanych” przez algorytm SCIGen.

SCIGenowe dzieła same w sobie stały się przedmiotem poważnego badania naukowego. W 2010 roku Cyril Labbe z Uniwersytetu Grenoble wykazał, że można oszukać algorytmy pokazujące liczbę cytowań danego artykułu (co jest wyznacznikiem wpływowości naukowca) tworząc swego rodzaju naukową „farmę linków” - zbiór artykułów, które wzajemnie się cytują. Labbe sam dokonał takiego eksperymentu: wywindował fikcyjnego autora Ike Antkare tak, że znalazł się powyżej indeksu cytowania Alberta Einsteina.

Przyczyny powstawania tego typu prowokacji są różne. Czasami - jak w przypadku artykułu wysłanego przez Alana Sokala do Social Text, chodzi o zdemaskowanie słabego rygoru pism humanistycznych. Czasami zaś - jak było przy prowokacji autorstwa Tomasza Witkowskiego, który wysłał artykuł do pisma Charaktery - o krytykę tzw. pop-psychologii.

Niedawno media całego świata obiegła informacja o tym, że polscy badacze przez dwa lata budowali internetową personę nieistniejącej pani doktor Anny Olgi Szust, rzekomo pracującej na Uniwersytecie im. Adama Mickiewicza w Poznaniu. Zmyślona od początku do końca osoba otrzymywała propozycje publikacji, a nawet zostania redaktorem pism naukowych.

Prowokacja ta, przeprowadzona przez dr hab. Piotra Sorokowskiego, dr hab Emanuela Kulczyckiego, dr Agnieszkę Sorokowską i dr Katarzynę Pisanski, miała na celu obnażenie faktu istnienia czasopism, które powstały jedynie w celu „nakręcania” cytowań. Dr Kulczycki zgodził się opowiedzieć szerzej w rozmowie ze Spider’s Web o swoim pomyśle.

Spider’s Web: Wiem, że od lat zajmowałeś się zagadnieniem oceniania prac naukowych i czasopism je publikujących. Jak wpadłeś na pomysł tak radykalnego działania jak stworzenie dr Anny O. Szust?

Emanuel Kulczycki: Dwa lata temu przyszedł do mnie z tym pomysłem Piotr Sorokowski. Zaproponował, abyśmy zrobili eksperyment, za pomocą którego sprawdzimy, czy czasopisma, które nazwaliśmy szemranymi albo drapieżnymi, trzymają jakiś poziom naukowy. W czasopismach naukowych najważniejsi są redaktorzy. To właśnie oni dobierają recenzentów (z odpowiedniej dziedziny), którzy mają za zadanie opiniować nadesłane prace. Wybraliśmy metodę prowokacji.

Prowokacja w nauce używana jest jako mechanizm samooczyszczania. Podobne cele miały prowokacje Sokala i Witkowskiego. Jest to mechanizm potrzebny - skoro nauka jest najwyższym punktem odniesienia w sprawach naukowych, to powinniśmy postawić sobie pytanie kto ma prawo sprawdzać proces naukowy. Moim zdaniem nauka właśnie.

Prowokacje trafiają na pierwsze strony gazet częściej niż inne doniesienia naukowe. Nam się to też udało.

W jaki sposób stworzyłeś fikcyjną postać pani Anny?

EK: Anna O. Szust była doktorem habilitowanym, z całkowicie zmyśloną biografią. Mimo to pisała do czasopism, że chciałaby dopiero habilitację zrobić. Zdjęcie kupiliśmy z banku zdjęć. Nazwy konferencji i publikacji są nieistniejące - zrobiliśmy to celowo aby łatwo było to sprawdzić. Staraliśmy się wszędzie zostawić takie „okruszki chleba” - np. jej data urodzenia to 1. kwietnia. Podobnie z inicjałem drugiego imienia i nazwiska, układającego się w słowo w języku polskim. Co najważniejsze - jej obraz jaki budowaliśmy to obraz osoby kompletnie niekompetentnej. Aż prosiliśmy się, żeby ktoś zauważył mistyfikację. Zakładaliśmy, że przed zaproponowaniem pracy redaktora porządne pisma to sprawdzą - bo w normalnych pismach w ogóle w ten sposób posady redaktora nie da się uzyskać - po prostu wysyłając maila.

Nie obawiasz się, że gdy taki przekaz dotrze do masowego odbiorcy, refleksja będzie wroga nauce? „Naukowcy sami nie wiedzą co mówią, nie warto im ufać”?

EK: W niektórych mediach pojawi się zapewne taki wniosek. Jednak z naszego badania wynika coś odwrotnego: rzetelność procesu naukowego. Wszystkie czasopisma z wysokim wskaźnikiem wpływu - najbardziej prestiżowe - odrzuciły naszą propozycję. Nie dały się po prostu na to nabrać.

A do publikacji w tych czasopismach najbardziej aspirują naukowcy.  Moim zdaniem wydźwięk tego jest optymistyczny - nauka wciąż posiada mechanizmy dzięki którym zapewnia rzetelność.

Skąd się biorą w takim razie te czasopisma-wydmuszki, zajmujące się jedynie publikowaniem tego, co się im nadeśle?

EK: Wynika to z systemu oceny naukowców, na podstawie którego uzyskuje się np. awans. Jeśli na przykład pod uwagę bierzemy liczbę publikacji, okazuje się, że najłatwiej jest iść na ilość pod względem publikowanych artykułów, do czego takie pisma się doskonale nadają. Publikacja tam jest łatwiejsza niż próba publikacji w prestiżowym Nature.

W niektórych systemach ocen w szkolnictwie wyższym liczy się ogólna liczba publikacji, co powoduje takie wynaturzenia. Są inne systemy - biorące pod uwagę jakość publikacji i prestiż czasopisma.

Przypomina się tutaj tzw. efekt kobry. Gdy w Indiach próbowano poradzić sobie z plagą kobr przez płacenie za przyniesioną głowę zabitego zwierzęcia, okazało się, że ludzie specjalnie hodują kobry dla nagrody. Podobnie jest w nauce - niektórzy zauważyli, że można założyć własne czasopismo i publikować tam artykuły. Efekt kobry obnaża słabość jednego wskaźnika jako sposobu oceny naukowca.

Jak poznać takie czasopismo? Załóżmy że ktoś wysyła mi link do publikacji, jako np. argument w sporze.  W jaki sposób, nie będąc naukowcem, mam to ocenić?

EK: Ocena jest bardzo trudna - często naukowcy nie są w stanie odróżnić i np. wysyłają tam swoje artykuły. Bywa, że mają bardzo podobne nazwy do czasopism prestiżowych albo wręcz takie same. Istnieje grupa czasopism, którym udało się przejąć znaną nazwę nie wychodzącego już czasopisma. To tzw. hijacked journals.

Jeśli chcemy ocenić tego typu publikację, powinniśmy sprawdzić, czy czasopismo, w której ona się znajduje, jest w jednej z dwóch uznanych baz danych: Web Of Science oraz Scopus. Jednak przysłowiowy „Kowalski”, który nie jest naukowcem, nie ma do nich dostępu. Dlatego mogę polecić bazę SciMago, która ma otwarty dostęp.

Jeśli pisma nie ma w tej bazie, powinniśmy podchodzić do niego z dużym dystansem.

Z kolei w Polsce istnieje Lista Czasopism Punktowanych, w których publikacja przynosi naukowcom konkretny prestiż i liczy się w dorobku naukowym. Czasopisma wyceniane są w skali od 1 do 50 punktów. Obejmuje ona 20 tys. czasopism. Dodam, że od stycznia jestem przewodniczącym zespołu przy ministrze Nauki i Szkolnictwa Wyższego, który zajmuje się tworzeniem i utrzymywaniem tej listy. Lista jest na bieżąco aktualizowana i również jest dobrym źródłem informacji o ocenie publikacji.