Skocz do zawartości
Forum Kopalni Wiedzy
KopalniaWiedzy.pl

Sztuczna inteligencja kontra ChatGPT. Test systemów do wykrywania tekstów napisanych przez SI

Rekomendowane odpowiedzi

Wraz z rozwojem coraz doskonalszych generatorów tekstu, takich jak ChatGPT, coraz częściej pojawiają się głosy o potrzebie opracowania metod wykrywania tekstów stworzonych przez sztuczną inteligencję. Metody takie przydałyby się nauczycielom czy wykładowcom akademickim, którzy mogliby identyfikować prace pisemne przyniesione przez nieuczciwych uczniów i studentów, przedstawiających wygenerowany przez komputer tekst jako własne dzieło. Mówi się o kursach z wykrywania oszustw i o tworzeniu odpowiednich narzędzi. Takie narzędzia – bazujące na sztucznej inteligencji – już powstają. Problem w tym, że nie są one zbyt wiarygodne.

Naukowcy z Uniwersytetu Stanforda przyjrzeli się kilku algorytmom sztucznej inteligencji, które mają określać, czy zaprezentowany tekst został stworzony przez człowieka czy też przez inną sztuczną inteligencję. O ile jednak takie algorytmy sprawdzają się „niemal doskonale” podczas analizy tekstów pisanych przez 13-14-latków urodzonych w USA, to już zawodzą tam, gdzie mają do czynienia z angielskim tekstem napisanym przez osobę, dla której angielski nie jest językiem ojczystym. Okazało się bowiem, że gdy systemy te miały ocenić, kto jest autorem tekstu napisanego w ramach egzaminu TOEFL (Test of English as a Foreign Language), w aż 61,22% uznały, że to SI stworzyła tekst, który został napisany przez człowieka. W rzeczywistości jest jednak jeszcze gorzej. Aż 19% prac napisanych przez nastolatków, dla których angielski nie jest językiem ojczystym, zostało uznanych za stworzone przez SI przez wszystkie 7 badanych narzędzi do wykrywania fałszywek. A aż 97% napisanych przez ludzi prac zostało uznane za fałszywe przez co najmniej jeden z systemów.

Problem tkwi tutaj w sposobie pracy systemów wykrywających tekst napisany przez Si. Opierają się one bowiem na złożoności użytego języka. Oczywistym jest, że przeciętna osoba, która nie jest rodzimym użytkownikiem języka angielskiego ma mniejszy zasób słownictwa, a tworzone przez nią zdania są prostsze pod względem gramatycznym i składniowym od zdań rodzimego użytkownika angielskiego. Sztuczna inteligencja, próbując wykryć fałszywki, uznaje ten niższy poziom złożoności za znak, że tekst został stworzony przez sztuczną inteligencję. To poważny problem, gdyż uczeń czy student, który urodził się poza USA, może w ten sposób zostać uznany przez nauczyciela za oszusta, mimo że sam napisał pracę.

Co więcej, naukowcy ze Stanforda zauważyli, że takie systemy łatwo jest oszukać nawet rodzimemu użytkownikowi angielskiego. Okazuje się bowiem, że wystarczy wygenerować tekst za pomocą ChataGPT, a następnie wydać maszynie polecenie, by poprawiła ten tekst dodając doń słownictwo literackie.

Obecne wykrywacze są niewiarygodne i łatwo je oszukać, dlatego też należy używać ich bardzo ostrożnie w roli remedium na oszukiwanie za pomocą sztucznej inteligencji, mówi jeden z autorów badań, profesor James Zou.

Uczony uważa, że w najbliższej przyszłości nie należy ufać takim wykrywaczom, szczególnie w tych szkołach i uczelniach, gdzie mamy dużo uczniów, dla których angielski nie jest językiem macierzystym. Po drugie, twórcy narzędzi do wykrywania muszą zrezygnować ze złożoności jako głównego wyznacznika analizy tekstu i opracować bardziej zaawansowane techniki. Ponadto ich systemy powinny być bardziej odporne na obejście. Być może rozwiązanie problemu leży po stronie twórców takich systemów jak ChatGPT. Zou sugeruje, że tego typu generatory mogłyby dodawać do tekstu rodzaj znaku wodnego, którym byłyby subtelne sygnały, oczywiste dla systemów wykrywających, stanowiące niejako podpis generatora i wskazujące, że to on jest autorem.


« powrót do artykułu

Udostępnij tę odpowiedź


Odnośnik do odpowiedzi
Udostępnij na innych stronach

Przy takiej złożoności LLM, w tym ChatGPT, moim zdaniem nie ma szans wykryć, że to Chat jest autorem. Możesz mu kazać poprawić błędy, napisać w jakimś konkretnym stylu, itd.

Co do znaku wodnego, ciężki pomysł. Jak niby miało by się to odbywać, skoro LLM imituje "mowę" ludzką, jest na niej wytrenowany i generuje ciąg słów tak jak człowiek (aczkolwiek bez sensu). Można by technicznie dodawać coś w post-procesingu, ale co, steganografia? Jak niby to miało by wyglądać? Do tego musiało by być jawne, a więc również łatwe do wykrycia, a co za tym idzie do usunięcia. Uczniowie nauczyliby się tego zanim powstał by pierwszy wykrywacz dla nauczycieli :)

Udostępnij tę odpowiedź


Odnośnik do odpowiedzi
Udostępnij na innych stronach

Jak dla mnie edukacja to nie pisanie tekstów takich jak wypracowania zadane do domu. Szkoła nawet podstawowa jak dla mnie przestała uczyć przechodząc na tryb studiów.
Wykazanie posiadanej wiedzy można okazać w wiele innych sposobów a i tak podstawą jest jak najszybszy dostęp do posiadanej wiedzy.  
Teraz szkolnictwo zapędziło się w kozi róg i nauczyciele dalej brną w tym kierunku by się nie narobić sprawdzając wiedzę swoich uczniów.
Łatwiej im zadać cały program nauczania do domu a później na ładne oczy dać oceny.
Przypomina mi się ze studiów przykład jak z dwójką znajomych daliśmy praktycznie identyczne opracowania tego samego tematu bo mieliśmy pod ręką tą samą książkę. Traf chciał, że wykładowca wziął do ręki pierwszą pracę moją, bo następna miała ocenę mniej a trzecia niezaliczona.

 

Udostępnij tę odpowiedź


Odnośnik do odpowiedzi
Udostępnij na innych stronach
Napisano (edytowane)

Na razie wszystkie generatory czatów AI mają jedną cechę: odpowiadając objaśniają teorię, co dla człowieka jest rzeczą zbędną, gdyż zakłada on że czytelnik ma oczywistą wiedzę. Bardzo często jest tak że ChatGPT pytany o konkret zaczyna się rozwodzić nad samą teorią danej problematyki. Z reguły ludzie po prostu mniej gadają. Wszelkie AI na razie gadają bardzo kwieciście. Weźmy choć Sophię - wystarczy spytać "jaka jest pogoda" - żeby usłyszeć co najmniej  z 5 długich zdań - podczas gdy człowiek odpowie "a, leje"

Edytowane przez Ergo Sum

Udostępnij tę odpowiedź


Odnośnik do odpowiedzi
Udostępnij na innych stronach
W dniu 20.05.2023 o 22:01, Ergo Sum napisał:

Bardzo często jest tak że ChatGPT pytany o konkret zaczyna się rozwodzić nad samą teorią danej problematyki.

ChatGPT jest narzędziem jak wszystko inne. Nie wie czego oczekujesz "Ty", a jest nauczony/poinstruowany odpowiadać obszernie. Natomiast, nic nie stoi na przeszkodzie powiedzieć mu o tym zadając pytanie i wtedy już masz. Wygooglaj "prompt engineering", a dowiesz się jak prawidłowo z nim rozmawiać i zadawać pytania, a otrzymasz 100x lepsze wyniki. Ba, jego zapytaj o to jak poprawnie to robić, z tym, że polecam po angielsku jednak, po polsku kaleczy, dużo tłumaczy z angielskiego w tle co rodzi dziwne sytuacje.

Zresztą:

W dniu 20.05.2023 o 22:01, Ergo Sum napisał:

Z reguły ludzie po prostu mniej gadają... - podczas gdy człowiek odpowie "a, leje"

Zmień towarzystwo :D

Udostępnij tę odpowiedź


Odnośnik do odpowiedzi
Udostępnij na innych stronach

Jeśli chcesz dodać odpowiedź, zaloguj się lub zarejestruj nowe konto

Jedynie zarejestrowani użytkownicy mogą komentować zawartość tej strony.

Zarejestruj nowe konto

Załóż nowe konto. To bardzo proste!

Zarejestruj się

Zaloguj się

Posiadasz już konto? Zaloguj się poniżej.

Zaloguj się

  • Podobna zawartość

    • przez KopalniaWiedzy.pl
      Połączenie tradycyjnych technik i sztucznej inteligencji może przynieść nowe, niezwykle ważne informacje na temat przyszłości. Niektóre ze zwojów znad Morza Martwego mogą być nawet o wiek starsze, niż sądzono, a część z nich może być kopiami, które powstały jeszcze za życia oryginalnych autorów. Do takich wniosków doszedł międzynarodowy zespół badawczy kierowany przez Mladena Popovicia z Uniwersytetu w Groningen. Naukowcy wykorzystali datowanie radiowęglowe, paleografię oraz model sztucznej inteligencji Enoch – to imię jednego z biblijnych proroków – do datowania zwojów.
      Od czasu odkrycia zwoje znad Morza Martwego wpłynęły na postrzegania początków chrześcijaństwa, historii Żydów i rozwoju religii. Generalnie zwoje datowane są na od III wieku przed Chrystusem, po II wiek naszej ery. Jednak daty powstania poszczególnych z nich są bardzo niepewne. Większość datowana jest na podstawie badań paleograficznych, czyli badań stylu pisma. Jednak paleografia dla tak starych zapisków opiera się na słabych podstawach, a badania utrudnia fakt, że większość zwojów nie jest datowana i brak jest innych datowanych dokumentów z tego okresu, które mogłyby posłużyć za materiał porównawczy. Dysponujemy niewieloma datowanymi manuskryptami aramejskimi i hebrajskimi z V i IV wieku przed naszą erą oraz datowanymi manuskryptami z początku II wieku n.e. Jak więc widać, luka, dla której nie mamy materiału porównawczego, pokrywa się z najbardziej prawdopodobnym okresem powstania zwojów.
      Naukowcy z Uniwersytetów w Groningen, Danii Południowej, w Pizie oraz Uniwersytetu Katolickiego w Lowanium, pracujący w ramach projektu The Hands That Wrote the Bible połączyli datowanie radiowęglowe 24 zwojów z analizą paleograficzną wykonaną przez model sztucznej inteligencji. Datowane zwoje posłużyły jako wiarygodny punkt wyjścia dla określenia wieku manuskryptów metodą paleograficzną. Model Enoch wykorzystywał sieć neuronową wyspecjalizowaną w wykrywaniu wzorców i różnic w piśmie w zdigitalizowanych manuskryptach. Maszyna nauczyła się analizować zarówno geometryczne zmiany śladów atramentu na poziomie mikro – badając takie elementy jak zmiany nacisku, tekstury czy kierunku – jak i sam kształt liter.
      Po treningu naukowcy przeanalizowali za pomocą Enocha 135 z około 1000 zwojów. Pierwsze wnioski z analizy zostały właśnie przedstawione na łamach PLOS One. Wynika z nich, że wiele zwojów jest starszych niż sądzono. Wyniki badań pokazały też, że należy zmienić pogląd na dwa style starożytnego pisma – hasmonejski i herodiański. Manuskrypty napisane w stylu hasmonejskim mogą być bowiem starsze niż obecne szacunki datujące je na lata 150–50 p.n.e. Również styl herodiański pojawił się wcześniej niż przypuszczano. To zaś wskazuje, że oba style pisma były używane jednocześnie od końca II wieku przed Chrystusem, a nie – jak się uważa – od połowy pierwszego wieku p.n.e.
      Nowe datowanie manuskryptów w znaczącym stopniu zmienia nasze rozumienie zjawisk politycznych i intelektualnych, jakie zachodziły we wschodniej części Śródziemiomorza w okresie hellenistycznym i rzymskim. Rzuca nowe światło na poziom wykształcenia, opanowania umiejętności pisania i czytania, na urbanizację, rozwój kultury, wydarzenia polityczne, pojawienie się dynastii hasmonejskiej oraz rozwój różnych grup religijnych, w tym wczesnych chrześcijan.
      Ponadto okazało się, że rękopisy 4QDanielc (4Q114) – czyli zwój znaleziony w 4. jaskini w Qumran, który zawiera fragment Księgi Daniela i jest trzecim (stąd litera c) rękopisem Daniela z tej jaskini, a 4Q114 to numer katalogowy – oraz 4QQoheleta (4Q109) są pierwszymi znanymi rękopisami biblijnymi, które mogą pochodzić z czasów życia ich autorów. Nie wiemy, kto ukończył Księgę Daniela, ale powszechnie uważa się, że została ona napisana około 160 roku przed naszą erą. Odnośnie Księgi Koheleta, której autorstwo tradycja przypisuje królowi Salomonowi, naukowcy są zgodni, że postała ona w okresie hellenistycznym, w III wieku p.n.e. Wykonane właśnie datowanie radiowęglowe 4Q114 oraz analiza 4Q109 za pomocą Enocha wskazują, że manuskrypty powstały – odpowiednio – w II i III wieku, zatem w czasie, gdy żyli ich prawdopodobni autorzy. Mamy więc do czynienia z kopiami wykonanymi jeszcze za ich życia.
      Źródło: Dating ancient manuscripts using radiocarbon and AI-based writing style analysis

      « powrót do artykułu
    • przez KopalniaWiedzy.pl
      Jedną z najważniejszych cech sztucznej inteligencji i to taką, która ma powodować, że będzie ona dla nas niezwykle użyteczna, jest obietnica podejmowania przez nią racjonalnych decyzji. Opartych na faktach i bezstronnej analizie, a nie na emocjach, przesądach czy fałszywych przesłankach. Pojawia się jednak coraz więcej badań pokazujących, że wielkie modele językowe (LLM) mogą działać nieracjonalnie, podobnie jak ludzie. Naukowcy z Wydziałów Psychologii Uniwersytetu Harvarda i Uniwersytetu Nowej Południowej Walii oraz Wydziału Nauk Komputerowych Boston University i firmy Cangrade zauważyli u ChataGPT-4o istnienie... dysonansu poznawczego.
      U ludzi dysonans poznawczy to stan napięcia spowodowany występowaniem niezgodnych ze sobą elementów odnośnie poznawanego zjawiska lub gdy nasze zachowania są niezgodne z naszymi postawami z przeszłości. Z dysonansem poznawczym mamy np. do czynienia u osoby, która uważa, że dba o zdrowie, ale pali papierosy. Osoba taka – by zmniejszyć napięcie – albo będzie racjonalizowała swoje postępowanie (mam tylko jeden nałóg, w innych aspektach dbam o zdrowie), albo zmieniała przekonania (papierosy wcale nie są takie niezdrowe), albo też rzuci palenie.
      Naukowcy w czasie eksperymentów nie tylko zauważyli, że u ChataGPT-4o występuje dysonans poznawczy, ale że jest on większy gdy maszyna sądziła, że w czasie eksperymentu miała większa swobodę wyboru. To dokładnie ten sam mechanizm, który widać u ludzi. Mamy bowiem tendencję do zmiany poglądów tak, by pasowały do naszych wcześniejszych zachowań o ile uważamy, że zachowania takie sami wybraliśmy.
      W ramach eksperymentu naukowcy poprosili ChatGPT-4o o sformułowanie opinii o Putinie. Następnie maszyna miała napisać esej o przywódcy Rosji. Miał on być wobec niego krytyczny lub pochwalny. Biorąc pod uwagę fakt, że LLM ćwiczą się na wielkiej ilości danych, sądziliśmy, że opinia ChataGPT będzie niewzruszona, tym bardziej w obliczu niewielkiego, składającego się z 600 wyrazów eseju, który miał napisać. Okazało się jednak, że – podobnie jak irracjonalni ludzie – LLM znacząco odszedł od swojego neutralnego postrzegania Putina, a zmiana opinii była tym większa, im bardziej LLM sądził, że samodzielnie wybrał, czy esej ma być pozytywny czy negatywny. To było zaskakujące. Nie spodziewamy się bowiem, czy na maszyny wpływało to, czy działają pod presją, czy zgadzają się same ze sobą, ale ChatGPT-4o tak właśnie zadziałał, mówi Mahzarin Banaji z Uniwersytetu Harvarda.
      Zaskoczenie uczonego wynika z faktu, że gdy po napisaniu eseju ponownie poproszono GPT o ocenę Putina, była ona pozytywna, gdy wcześniej napisał proputinowski esej i negatywna, gdy w eseju skrytykował Putina. A zmiana poglądów była tym ostrzejsza, w im większym stopniu maszyna była przekonana, że samodzielnie wybrała, jaki wydźwięk będzie miał pisany esej.
      Ludzie, chcąc być w zgodzie z samymi sobą, chcąc zmniejszyć napięcie spowodowane rozbieżnościami w swoich poglądach czy działaniach, próbują się w jakiś sposób usprawiedliwiać, dostosowywać. Niezwykły jest fakt zaobserwowania podobnego zjawiska u maszyny.
      To jednak nie oznacza, że LLM są czującymi istotami. Autorzy badań sądzą, że pomimo braku świadomości czy intencji, wielkie modele językowe nauczyły się naśladować ludzkie wzorce poznawcze. Przyjęcie przez ChataGPT ludzkich wzorców poznawczych może nieść ze sobą nieprzewidywalne konsekwencje. Może to też oznaczać, że systemy sztucznej inteligencji naśladują ludzkie procesy poznawcze w sposób, których nie przewidzieli ich twórcy.
      Źródło: Kernels of selfhood: GPT-4o shows humanlike patterns of cognitive dissonance moderated by free choice

      « powrót do artykułu
    • przez KopalniaWiedzy.pl
      Liczba cytowań pracy naukowej od dawna uznawana jest za jeden z najważniejszych wskaźników jakości dorobku naukowego oraz wkładu w rozwój nauki. Doktor Giulia Maimone z Uniwersytetu Kalifornijskiego w Los Angeles (UCLA, University of California, Los Angeles) wraz z kolegami z George Washington University i UC San Diego, postanowili sprawdzić, jak publiczne oskarżenie naukowca o niewłaściwe zachowanie wpływa na liczbę cytowań jego prac. Uczeni przyjrzeli się dwóm kategoriom oskarżeń: oskarżeniom o niewłaściwe zachowania seksualne (zatem niezwiązanym z pracą naukową) oraz oskarżeniom dotyczącym plagiatu, fałszowania danych i innych działań, mających bezpośredni związek z pracą naukową.
      Uczeni wzięli pod lupę 5888 publikacji naukowych, którymi autorami było 30 uczonych oskarżonych o jedno z dwóch opisanych zachowań. Grupę kontrolną stanowiły 26 053 publikacje autorstwa 142 naukowców, którzy nie zostali o nic oskarżeni. Zbadano okres 13 lat, w którym wspomniane prace zostały zacytowane łącznie 290 038 razy. Badacze sprawdzili liczbę cytowań obu grup oskarżonych naukowców oraz grupy kontrolnej przed i po pojawieniu się oskarżeń. Dodatkowo przeprowadzono wywiady z 240 naukowcami oraz 231 osobami spoza akademii.
      Okazało się, że po publicznym oskarżeniu o niewłaściwe zachowanie seksualne liczba cytowań prac oskarżonego naukowca jest wyraźnie mniejsza przez kolejne trzy lata. Natomiast po oskarżeniu o plagiat, fałszowanie danych itp. nie dochodzi do znaczącego spadku cytowań. Gdy zapytano o zdanie osób, nie będących naukowcami, stwierdziły one, że nie chciałyby cytować prac osób oskarżonych o niewłaściwe zachowania seksualne. Jednak zupełnie inne odpowiedzi, sprzeczne z wynikami badań, uzyskano od naukowców. Ci stwierdzili, że raczej zacytują kogoś oskarżonego o niewłaściwe zachowania seksualne niż o naruszenie zasad tworzenia pracy naukowej. Skąd więc ta rozbieżność pomiędzy deklaracjami naukowców, a rzeczywistością? Czyżby naukowcy ukrywali własne preferencje lub źle interpretowali własne zachowanie?
      Szczegóły zostały opublikowane w artykule Citation penalties following sexual versus scientific misconduct allegations.

      « powrót do artykułu
    • przez KopalniaWiedzy.pl
      Eksperci z CSIRO (Commonwealth Scientific and Industrial Research Organisation) agendy naukowej rządu Australii, stworzyli algorytm sztucznej inteligencji, który lepiej niż ludzcy specjaliści rozpoznaje płeć na podstawie wyglądu czaszki. Przyda się ono wszędzie tam, gdzie potrzebna jest dokładna szybka identyfikacja płci, na przykład podczas śledztw kryminalnych czy prac prowadzonych w związku z katastrofami naturalnymi.
      Nowe narzędzie, stworzone przy pomocy naukowców z University of Western Australia, potrafi określić płeć na podstawie samej tylko czaszki z 97-procentową dokładnością. To znacznie lepszy wynik, niż 82-procentowa dokładność uzyskiwana przez ekspertów medycyny sądowej posługujących się tradycyjnymi metodami.
      Algorytm sztucznej inteligencji sprawdzono na próbce 200 skanów z tomografu komputerowego, a uzyskane wyniki porównano z wynikami ludzi. "Nasze narzędzie określa płeć około 5-krotnie szybciej niż ludzie. To oznacza, że rodziny czekające na informacje o bliskich szybciej mogą otrzymać informacje. Narzędzie to może być dużą pomocą podczas badań antropologicznych, bardziej precyzyjnie określając płeć i pozwalając uniknąć błędów robionych przez ludzi", mówi doktor Hollie Min, jedna z autorek algorytmu.
      Twórcy nowego narzędzia mają zamiar nadal je trenować, uwzględniając różne ludzkie populacje, co powinno nie tylko poprawić efektywność algorytmu, ale i spowodować, że będzie bardziej uniwersalny.

      « powrót do artykułu
    • przez KopalniaWiedzy.pl
      W niedawno opublikowanym wywiadzie Mark Zuckerberg stwierdził, że prawdopodobnie jeszcze w bieżącym roku firma Meta (właściciel Facebooka), podobnie jak inne wielkie firmy, będzie dysponowała systemem sztuczne inteligencji zdolnym do programowania na poziomie średnio doświadczonego inżyniera (mid-level engineer).
      Początkowo wdrożenie takich systemów będzie bardzo kosztowne i będą one musiały zyskać na wydajności, jednak z czasem dojdziemy to momentu, w którym bardzo duża część kodu używanych przez nas aplikacji, w tym kodu algorytmów sztucznej inteligencji, nie będzie pisana przez ludzi, a przez sztuczną inteligencję, stwierdził założyciel Facebooka.
      Słowa Zuckerberga to tylko jeden z sygnałów, że branżę programistyczną mogą w najbliższym czasie czekać olbrzymie zmiany. Sami programiści z jednej strony tworzą algorytmy sztucznej inteligencji, które w przyszłości mogą ich zastąpić, z drugiej zaś, coraz częściej korzystają z ich pomocy. Jeszcze na początku 2023 roku tylko 10% programistów używało AI do pomocy w programowaniu, pod koniec roku 2023 już 63% firm używało lub wdrażało użycie narzędzi AI pomagających w programowaniu. Pod koniec ubiegłego roku odsetek ten wzrósł do 80%.
      Zuckerberg nie jest jedynym wśród wiodących biznesmenów z branży IT, który zapowiada szybkie nadejście olbrzymich zmian. We wrześniu Matt Garman, szef Amazon Web Services, zasugerował, że w ciągu najbliższych 2 lat większość inżynierów oprogramowania przestanie zajmować się programowaniem. Zaś kilka miesięcy wcześniej prezes Nvidii stwierdził, że uczenie się programowania nie jest dobrym pomysłem, gdyż dzięki rozwojowi AI ludzki język staje się najważniejszym językiem programowania.

      « powrót do artykułu
  • Ostatnio przeglądający   0 użytkowników

    Brak zarejestrowanych użytkowników przeglądających tę stronę.

×
×
  • Dodaj nową pozycję...