Znajdź zawartość

Liczba cytowań pracy naukowej od dawna uznawana jest za jeden z najważniejszych wskaźników jakości dorobku naukowego oraz wkładu w rozwój nauki. Doktor Giulia Maimone z Uniwersytetu Kalifornijskiego w Los Angeles (UCLA, University of California, Los Angeles) wraz z kolegami z George Washington University i UC San Diego, postanowili sprawdzić, jak publiczne oskarżenie naukowca o niewłaściwe zachowanie wpływa na liczbę cytowań jego prac. Uczeni przyjrzeli się dwóm kategoriom oskarżeń: oskarżeniom o niewłaściwe zachowania seksualne (zatem niezwiązanym z pracą naukową) oraz oskarżeniom dotyczącym plagiatu, fałszowania danych i innych działań, mających bezpośredni związek z pracą naukową. Uczeni wzięli pod lupę 5888 publikacji naukowych, którymi autorami było 30 uczonych oskarżonych o jedno z dwóch opisanych zachowań. Grupę kontrolną stanowiły 26 053 publikacje autorstwa 142 naukowców, którzy nie zostali o nic oskarżeni. Zbadano okres 13 lat, w którym wspomniane prace zostały zacytowane łącznie 290 038 razy. Badacze sprawdzili liczbę cytowań obu grup oskarżonych naukowców oraz grupy kontrolnej przed i po pojawieniu się oskarżeń. Dodatkowo przeprowadzono wywiady z 240 naukowcami oraz 231 osobami spoza akademii. Okazało się, że po publicznym oskarżeniu o niewłaściwe zachowanie seksualne liczba cytowań prac oskarżonego naukowca jest wyraźnie mniejsza przez kolejne trzy lata. Natomiast po oskarżeniu o plagiat, fałszowanie danych itp. nie dochodzi do znaczącego spadku cytowań. Gdy zapytano o zdanie osób, nie będących naukowcami, stwierdziły one, że nie chciałyby cytować prac osób oskarżonych o niewłaściwe zachowania seksualne. Jednak zupełnie inne odpowiedzi, sprzeczne z wynikami badań, uzyskano od naukowców. Ci stwierdzili, że raczej zacytują kogoś oskarżonego o niewłaściwe zachowania seksualne niż o naruszenie zasad tworzenia pracy naukowej. Skąd więc ta rozbieżność pomiędzy deklaracjami naukowców, a rzeczywistością? Czyżby naukowcy ukrywali własne preferencje lub źle interpretowali własne zachowanie? Szczegóły zostały opublikowane w artykule Citation penalties following sexual versus scientific misconduct allegations. « powrót do artykułu

Wraz z rozwojem coraz doskonalszych generatorów tekstu, takich jak ChatGPT, coraz częściej pojawiają się głosy o potrzebie opracowania metod wykrywania tekstów stworzonych przez sztuczną inteligencję. Metody takie przydałyby się nauczycielom czy wykładowcom akademickim, którzy mogliby identyfikować prace pisemne przyniesione przez nieuczciwych uczniów i studentów, przedstawiających wygenerowany przez komputer tekst jako własne dzieło. Mówi się o kursach z wykrywania oszustw i o tworzeniu odpowiednich narzędzi. Takie narzędzia – bazujące na sztucznej inteligencji – już powstają. Problem w tym, że nie są one zbyt wiarygodne. Naukowcy z Uniwersytetu Stanforda przyjrzeli się kilku algorytmom sztucznej inteligencji, które mają określać, czy zaprezentowany tekst został stworzony przez człowieka czy też przez inną sztuczną inteligencję. O ile jednak takie algorytmy sprawdzają się „niemal doskonale” podczas analizy tekstów pisanych przez 13-14-latków urodzonych w USA, to już zawodzą tam, gdzie mają do czynienia z angielskim tekstem napisanym przez osobę, dla której angielski nie jest językiem ojczystym. Okazało się bowiem, że gdy systemy te miały ocenić, kto jest autorem tekstu napisanego w ramach egzaminu TOEFL (Test of English as a Foreign Language), w aż 61,22% uznały, że to SI stworzyła tekst, który został napisany przez człowieka. W rzeczywistości jest jednak jeszcze gorzej. Aż 19% prac napisanych przez nastolatków, dla których angielski nie jest językiem ojczystym, zostało uznanych za stworzone przez SI przez wszystkie 7 badanych narzędzi do wykrywania fałszywek. A aż 97% napisanych przez ludzi prac zostało uznane za fałszywe przez co najmniej jeden z systemów. Problem tkwi tutaj w sposobie pracy systemów wykrywających tekst napisany przez Si. Opierają się one bowiem na złożoności użytego języka. Oczywistym jest, że przeciętna osoba, która nie jest rodzimym użytkownikiem języka angielskiego ma mniejszy zasób słownictwa, a tworzone przez nią zdania są prostsze pod względem gramatycznym i składniowym od zdań rodzimego użytkownika angielskiego. Sztuczna inteligencja, próbując wykryć fałszywki, uznaje ten niższy poziom złożoności za znak, że tekst został stworzony przez sztuczną inteligencję. To poważny problem, gdyż uczeń czy student, który urodził się poza USA, może w ten sposób zostać uznany przez nauczyciela za oszusta, mimo że sam napisał pracę. Co więcej, naukowcy ze Stanforda zauważyli, że takie systemy łatwo jest oszukać nawet rodzimemu użytkownikowi angielskiego. Okazuje się bowiem, że wystarczy wygenerować tekst za pomocą ChataGPT, a następnie wydać maszynie polecenie, by poprawiła ten tekst dodając doń słownictwo literackie. Obecne wykrywacze są niewiarygodne i łatwo je oszukać, dlatego też należy używać ich bardzo ostrożnie w roli remedium na oszukiwanie za pomocą sztucznej inteligencji, mówi jeden z autorów badań, profesor James Zou. Uczony uważa, że w najbliższej przyszłości nie należy ufać takim wykrywaczom, szczególnie w tych szkołach i uczelniach, gdzie mamy dużo uczniów, dla których angielski nie jest językiem macierzystym. Po drugie, twórcy narzędzi do wykrywania muszą zrezygnować ze złożoności jako głównego wyznacznika analizy tekstu i opracować bardziej zaawansowane techniki. Ponadto ich systemy powinny być bardziej odporne na obejście. Być może rozwiązanie problemu leży po stronie twórców takich systemów jak ChatGPT. Zou sugeruje, że tego typu generatory mogłyby dodawać do tekstu rodzaj znaku wodnego, którym byłyby subtelne sygnały, oczywiste dla systemów wykrywających, stanowiące niejako podpis generatora i wskazujące, że to on jest autorem. « powrót do artykułu