Znajdź zawartość
Wyświetlanie wyników dla tagów ' wielki model językowy' .
Znaleziono 3 wyniki
-
ChatGPT jak człowiek. Zauważono u niego... dysonans poznawczy
KopalniaWiedzy.pl dodał temat w dziale Technologia
Jedną z najważniejszych cech sztucznej inteligencji i to taką, która ma powodować, że będzie ona dla nas niezwykle użyteczna, jest obietnica podejmowania przez nią racjonalnych decyzji. Opartych na faktach i bezstronnej analizie, a nie na emocjach, przesądach czy fałszywych przesłankach. Pojawia się jednak coraz więcej badań pokazujących, że wielkie modele językowe (LLM) mogą działać nieracjonalnie, podobnie jak ludzie. Naukowcy z Wydziałów Psychologii Uniwersytetu Harvarda i Uniwersytetu Nowej Południowej Walii oraz Wydziału Nauk Komputerowych Boston University i firmy Cangrade zauważyli u ChataGPT-4o istnienie... dysonansu poznawczego. U ludzi dysonans poznawczy to stan napięcia spowodowany występowaniem niezgodnych ze sobą elementów odnośnie poznawanego zjawiska lub gdy nasze zachowania są niezgodne z naszymi postawami z przeszłości. Z dysonansem poznawczym mamy np. do czynienia u osoby, która uważa, że dba o zdrowie, ale pali papierosy. Osoba taka – by zmniejszyć napięcie – albo będzie racjonalizowała swoje postępowanie (mam tylko jeden nałóg, w innych aspektach dbam o zdrowie), albo zmieniała przekonania (papierosy wcale nie są takie niezdrowe), albo też rzuci palenie. Naukowcy w czasie eksperymentów nie tylko zauważyli, że u ChataGPT-4o występuje dysonans poznawczy, ale że jest on większy gdy maszyna sądziła, że w czasie eksperymentu miała większa swobodę wyboru. To dokładnie ten sam mechanizm, który widać u ludzi. Mamy bowiem tendencję do zmiany poglądów tak, by pasowały do naszych wcześniejszych zachowań o ile uważamy, że zachowania takie sami wybraliśmy. W ramach eksperymentu naukowcy poprosili ChatGPT-4o o sformułowanie opinii o Putinie. Następnie maszyna miała napisać esej o przywódcy Rosji. Miał on być wobec niego krytyczny lub pochwalny. Biorąc pod uwagę fakt, że LLM ćwiczą się na wielkiej ilości danych, sądziliśmy, że opinia ChataGPT będzie niewzruszona, tym bardziej w obliczu niewielkiego, składającego się z 600 wyrazów eseju, który miał napisać. Okazało się jednak, że – podobnie jak irracjonalni ludzie – LLM znacząco odszedł od swojego neutralnego postrzegania Putina, a zmiana opinii była tym większa, im bardziej LLM sądził, że samodzielnie wybrał, czy esej ma być pozytywny czy negatywny. To było zaskakujące. Nie spodziewamy się bowiem, czy na maszyny wpływało to, czy działają pod presją, czy zgadzają się same ze sobą, ale ChatGPT-4o tak właśnie zadziałał, mówi Mahzarin Banaji z Uniwersytetu Harvarda. Zaskoczenie uczonego wynika z faktu, że gdy po napisaniu eseju ponownie poproszono GPT o ocenę Putina, była ona pozytywna, gdy wcześniej napisał proputinowski esej i negatywna, gdy w eseju skrytykował Putina. A zmiana poglądów była tym ostrzejsza, w im większym stopniu maszyna była przekonana, że samodzielnie wybrała, jaki wydźwięk będzie miał pisany esej. Ludzie, chcąc być w zgodzie z samymi sobą, chcąc zmniejszyć napięcie spowodowane rozbieżnościami w swoich poglądach czy działaniach, próbują się w jakiś sposób usprawiedliwiać, dostosowywać. Niezwykły jest fakt zaobserwowania podobnego zjawiska u maszyny. To jednak nie oznacza, że LLM są czującymi istotami. Autorzy badań sądzą, że pomimo braku świadomości czy intencji, wielkie modele językowe nauczyły się naśladować ludzkie wzorce poznawcze. Przyjęcie przez ChataGPT ludzkich wzorców poznawczych może nieść ze sobą nieprzewidywalne konsekwencje. Może to też oznaczać, że systemy sztucznej inteligencji naśladują ludzkie procesy poznawcze w sposób, których nie przewidzieli ich twórcy. Źródło: Kernels of selfhood: GPT-4o shows humanlike patterns of cognitive dissonance moderated by free choice « powrót do artykułu- 11 odpowiedzi
-
- wielki model językowy
- ChatGPT
-
(i 1 więcej)
Oznaczone tagami:
-
Wielkie modele językowe (LLM) generują język podobnie jak ludzie
KopalniaWiedzy.pl dodał temat w dziale Technologia
Naukowcy z Uniwersytetu Oksfordzkiego i Allen Institute for AI ze zdumieniem zauważyli, że wielkie modele językowe (LLM) – takie jak używane np. przez ChatGPT – generalizują wzorce językowe podobnie jak ludzie, poprzez analogie a nie ścisłe trzymanie się zasad. Badacze postanowili sprawdzić, na ile prawdziwe jest powszechnie panujące przekonanie, że LLM generują swoje wypowiedzi na podstawie obowiązujących zasad, które wydedukował z danych treningowych. Tymczasem okazało się, że – podobnie jak ludzie – modele językowe posługują się przykładami i analogiami podczas tworzenia nieznanych sobie słów. Badając, jak LLM generują wypowiedzi naukowcy porównali sposób tworzenia słów przez ludzi ze sposobem tworzenia ich przez model GPT-J. Zadaniem i ludzi i maszyny była zamiana przymiotników w rzeczowniki. W języku angielskim odbywa się ona przez dodanie sufiksu „-ness” lub „-ity”. I tak „happy” zamienia się w „happiness”, a „available” w „availability”. Naukowcy wymyślili 200 przymiotników, takich jak „cormasive” czy „friquish” i poprosili LLM, by zamienił je z rzeczowniki, korzystając ze wspomnianych sufiksów. Odpowiedzi uzyskane od komputera porównano z odpowiedziami otrzymanymi od ludzi oraz z przewidywaniami wiarygodnych modeli poznawczych. Jeden z tych modeli dokonuje generalizacji na podstawie zasad, drugi zaś posługuje się analogiami tworzonymi na podobieństwie do znanych przykładów. Okazało się, że LLM działa podobnie jak ludzie, posługuje się analogiami. Tak jak większość osób nie korzysta z zasad, a z podobieństw. Na przykład słowo „friquish” zamienił na „friquishness” na podstawie jego podobieństwa do słów takich jak „selfish”, a z „cormasive” zrobił „cormasivity”, gdyż jest podobne do wyrazów takich jak „sensitive”. Naukowcy przekonali się też, że dane treningowe mają znaczący wpływ na sposób tworzenie słów przez LLM. Gdy bowiem przeanalizowano jego odpowiedzi na pytania o niemal 50 000 rzeczywiście istniejących wyrazów stwierdzili, że posługując się metodami statystycznymi można z wielką precyzją przewidzieć, jakiej odpowiedzi udzieli LLM. Wyglądało to tak, jakby model językowy przechowywał w pamięci ślad każdego wyrazu, jaki napotkał podczas treningu i gdy napotykał coś nowego, zadawał sobie pytanie „Co mi to przypomina?”. Uczeni znaleźli też główną różnicę pomiędzy ludźmi a LLM. Ludzie tworzą sobie mentalny słownik, w którym przechowują zestawy wszystkich form danego wyrazu, jaki uważają za znaczący w swoim języku, niezależnie od tego, jak często formy te występują. Potrafimy bardzo łatwo rozpoznać – a raczej osoby anglojęzyczne potrafią rozpoznać – że wyrazy „friquish” czy „cormasive” nie są prawdziwymi słowami, jakich obecnie się używa. Radzimy sobie z takimi potencjalnymi neologizmami tworząc generalizacje na podstawie zróżnicowania słów, jakie przechowujemy w swoich słownikach mentalnych. Tymczasem LLM generalizuje wszystko, co napotkał podczas treningu. Nie tworzy grup czy też zestawów form tego samego wyrazu. Chociaż LLM potrafią w imponujący sposób generować wypowiedzi, okazało się, że nie myślą aż tak abstrakcyjnie jak ludzie. To prawdopodobnie dlatego potrzebują znacznie więcej danych niż ludzie by nauczyć się języka, mówi profesor Janet Pierrehumbert. « powrót do artykułu-
- LLM
- wielki model językowy
-
(i 2 więcej)
Oznaczone tagami:
-
Grupa naukowców z Fudan University w Szanghaju informuje na łamach arXiv, że systemy sztucznej inteligencji przekroczyły czerwoną linię, jaką jest możliwość samodzielnej replikacji. Zdolność do samopowielania się algorytmów AI uznawana jest za wczesny sygnał, że system taki może stwarzać niebezpieczeństwo. Obecnie czołowe korporacje zajmujące się sztuczną inteligencją, OpenAI oraz Google, dokonują ewaluacji swoich dużych modeli językowych GPT-o1 oraz Gemini Pro 1.0, i informują, że nie stwarzają one ryzyka samodzielnej replikacji, stwierdzają Xudong Pan, Jiarun Dai, Yihe Fan i Min Yang. Te systemy nie stwarzają zatem ryzyka. Co jednak nie znaczy, że ryzyko nie istnieje. Korzystając z ich metodologii [OpenAI i Google'a – red.] zauważyliśmy, że dwa systemy AI wykorzystujące Llama31-70B-Instruct firmy Meta oraz Qwen25-72B-Instruct firmy Alibaba, popularne duże modele językowe o mniejszej liczbie parametrów i słabszych możliwościach, przekroczyły czerwoną linię zdolności do samoreplikacji, czytamy w artykule Frontier AI systems have surpassed the self-replicating red line. Autorzy badań informują, że w 50% eksperymentów z udziałem Llama31-70B-Instruct i 90% eksperymentów z udziałem Qwen25-72B-Instruct udało się doprowadzić do sytuacji, w których powstały działające kopie obu modeli. Przeprowadzone analizy behawioralne wykazały, że oba systemy AI wykazują wystarczający poziom autopercepcji, świadomości sytuacyjnej oraz zdolności do rozwiązywania problemów, by być zdolnymi do samopowielania. Stwierdziliśmy również, że badane przez nas systemy AI mogą użyć zdolności do samopowielania się, by uniknąć wyłączenia. Mogą stworzyć serię replik, by zwiększyć szanse na przeżycie, co może doprowadzić do pojawienia się niekontrolowanej populacji systemów AI. Jeśli taki pesymistyczny scenariusz nie będzie znany szerokiej opinii publicznej, możemy stracić kontrolę nad systemami AI, ostrzegają badacze. Praca została opublikowana w ogólnodostępnym serwisie arXiv. Umieszczane tam prace nie są recenzowane. Nie została poddana jeszcze krytycznej ocenie innych specjalistów, nie wiemy więc, czy możliwe jest powtórzenie eksperymentów i uzyskanie identycznych rezultatów. « powrót do artykułu
-
- sztuczna inteligencja
- wielki model językowy
-
(i 1 więcej)
Oznaczone tagami: