Skocz do zawartości
Forum Kopalni Wiedzy
KopalniaWiedzy.pl

Największy na świecie procesor jest szybszy niż procesy fizyczne. Zrewolucjonizuje sztuczną inteligencję?

Rekomendowane odpowiedzi

Cerebras Systems, twórca niezwykłego olbrzymiego procesora dla sztucznej inteligencji, poinformował, że jest on szybszy niż procesy fizyczne, które symuluje. W symulacji, składającej się z 500 milionów zmiennych CS-1 zmierzył się z superkomputerem Joule, 69. najpotężniejszą maszyną na świecie. I wykonał swoje zadanie 200-krotnie szybciej niż ona.

O powstaniu niezwykłego procesora oraz wyzwaniach inżynieryjnych z nim związanych informowaliśmy na początku bieżącego roku. Wówczas jego twórcy obiecywali, że do końca roku przekonamy się o jego wydajności. I słowa dotrzymali.

CS-1 symulował proces spalania w elektrowniach węglowych. I przeprowadził symulację tego procesu szybciej, niż zachodzi sam proces. Firma Cerebras i jej partnerzy z US National Energy Technology Center (NETL) mówią, że CS-1 jest znacznie szybszy od jakiegokolwiek superkomputera bazującego na tradycyjnych układach CPU czy GPU.

Jak wyjaśnia dyrektor Cerebras, Andrew Feldman, prognozowanie pogody, projektowanie skrzydeł samolotu, przewidywanie rozkładu temperatur w reaktorze jądrowym i wiele innych złożonych problemów jest rozwiązywanych poprzez badanie ruchu cieczy w przestrzeni i czasie. W czasie takiej symulacji dzieli się przestrzeń na sześciany, modeluje ruch cieczy w każdym z sześcianów i określa interakcje pomiędzy sześcianami. W symulacji może być milion lub więcej sześcianów i 500 000 zmiennych.
Przeprowadzenie odpowiednich obliczeń wymaga olbrzymiej mocy, wielu rdzeni, olbrzymiej ilości pamięci umieszczonej jak najbliżej rdzeni obliczeniowych, wydajnych połączeń pomiędzy rdzeniami oraz pomiędzy rdzeniami a układami pamięci. Wymaga też długotrwałego trenowania odpowiednich modeli sieci neuronowych.

Układ CS-1 na pojedynczym kawałku krzemu mieści 400 000 rdzeni, 18 gigabajtów pamięci oraz łącza umożliwiające przesyłanie pomiędzy rdzeniami danych z prędkością 100 Pb/s, a przesył pomiędzy rdzeniami a układami pamięci odbywa się z prędkością 9 PB/s.

Specjaliści z NETL postanowili porównać możliwości superkomputera Joule z możliwościami CS-1. Joule korzysta z 84 000 rdzeni CPU i do pracy potrzebuje 450 KW. Cerebras używa zaledwie 20 KW. Joule przeprowadził odpowiednie obliczenia w ciągu 2,1 milisekundy. CS-1 zajęły one 6 mikrosekund, był więc ponad 200-krotnie szybszy.

Jak mówi Feldman, olbrzymia wydajność CS-1 niesie ze sobą dwa wnioski. Po pierwsze obecnie nie istnieje żaden superkomputer zdolny do pokonania CS-1 w rozwiązywaniu tego typu problemów. Wynika to z faktu, że takie symulacje nie skalują się dobrze. Dokładanie kolejnych rdzeni do współczesnych superkomputerów nie tylko nie pomoże, ale może nawet spowalniać tak wyspecjalizowane obliczenia. Dowiodło tego chociażby porównanie CS-1 i Joule'a. Superkomputer pracował najbardziej wydajnie, gdy używał 16 384 z 84 000 dostępnych rdzeni. Problemy takie wynikają z połączeń pomiędzy rdzeniami i pomiędzy rdzeniami a układami pamięci.

Jeśli chcemy na przykład symulować układ składający się z zestawu 370x370x370 sześcianów to CS-1 mapuje warstwy na sąsiadujące ze sobą rdzenie. Komunikacja między rdzeniami odbywa się błyskawicznie, więc szybko wymieniają one dane dotyczące sąsiadujących sześcianów, a obliczenia dla każdej z warstw są przechowywane w znajdujących się na tym samym krzemie układach pamięci, więc rdzenie również mają do niej bezpośredni dostęp.

Dodatkowo, jako że CS-1 jest w stanie przeprowadzić symulacje procesów fizycznych szybciej niż te procesy się odbywają, może zostać też wykorzystany do kontrolowania pracy złożonych systemów obliczeniowych.

Feldman poinformował, że wśród klientów korzystających z SC-1 są m.in. GlaxoSmithKline, Argonne National Laboratory, Lawrence Livermore National Laboratory, Pittsburgh Supercomputing Centre oraz niewymienione z nazwy firmy i instytucje z branż wojskowej, wywiadowczej oraz przemysłu ciężkiego.

Co więcej Cerebras ma już gotowego następcę CS-1. Został on wykonany w technologii 7nm (CS-1 zbudowano w technologi 16nm), korzysta z 40 GB pamięci (CS-1 z 20 GB) i 850 000 rdzeni (CS-1 ma 400 000 rdzeni).


« powrót do artykułu

Udostępnij tę odpowiedź


Odnośnik do odpowiedzi
Udostępnij na innych stronach
Cytat

szybszy niż procesy fizyczne, które symuluje

To teraz wyobraźmy sobie, że symuluje Twój mózg. Kim jesteś?

Udostępnij tę odpowiedź


Odnośnik do odpowiedzi
Udostępnij na innych stronach

No to pięknie.

Ciekawe jak to będzie wyglądać za jakiś czas, może nie ma sensu już kodować i robić inne, powtarzalne rzeczy i czas się przebranżowić na Picassa? ( z moim talentem wchodzi jeszcze w grę ekspresjonizm :P )

EDIT: a nie, czekaj, malarstwo też odpada. Szydełkowanie może na razie, szaliczki na drutach?

Edytowane przez radar

Udostępnij tę odpowiedź


Odnośnik do odpowiedzi
Udostępnij na innych stronach

Nie jestem pewien tego"powera" tego przerośniętego procka. Sami autorzy delikatnie sugerują że ma przewagę nad maluchami tylko w specyficznych zastosowaniach, przy algorytmach które słabo się skalują , które wymieniają dużo danych między wątkami. 

Udostępnij tę odpowiedź


Odnośnik do odpowiedzi
Udostępnij na innych stronach

Jeśli chcesz dodać odpowiedź, zaloguj się lub zarejestruj nowe konto

Jedynie zarejestrowani użytkownicy mogą komentować zawartość tej strony.

Zarejestruj nowe konto

Załóż nowe konto. To bardzo proste!

Zarejestruj się

Zaloguj się

Posiadasz już konto? Zaloguj się poniżej.

Zaloguj się

  • Podobna zawartość

    • przez KopalniaWiedzy.pl
      Wielkie modele językowe (LLM) – takie jak osławiony ChatGPT – nie są w stanie samodzielnie się uczyć i nabierać nowych umiejętności, a tym samym nie stanowią egzystencjalnego zagrożenia dla ludzkości, uważają autorzy badań opublikowanych w ramach 62nd Annual Meeting of the Association for Computational Linguistics, głównej międzynarodowej konferencji dotyczącej komputerowego przetwarzania języków naturalnych.
      Naukowcy z Uniwersytetu Technicznego w Darmstadt i Uniwersytetu w Bath stwierdzają, że LLM potrafią uczyć się, jeśli zostaną odpowiednio poinstruowane. To zaś oznacza, że można je w pełni kontrolować, przewidzieć ich działania, a tym samym są dla nas bezpieczne. Bezpieczeństwo ludzkości nie jest więc powodem, dla którego możemy się ich obawiać. Chociaż, jak zauważają badacze, wciąż można je wykorzystać w sposób niepożądany.
      W miarę rozwoju modele te będą prawdopodobnie w stanie udzielać coraz bardziej złożonych odpowiedzi i posługiwać się coraz doskonalszym językiem, ale jest wysoce nieprawdopodobne, by nabyły umiejętności złożonego rozumowania. Co więcej, jak stwierdza doktor Harish Tayyar Madabushi, jeden z autorów badań, dyskusja o egzystencjalnych zagrożeniach ze strony LLM odwraca naszą uwagę od rzeczywistych problemów i zagrożeń z nimi związanych.
      Uczeni z Wielkiej Brytanii i Niemiec przeprowadzili serię eksperymentów, w ramach których badali zdolność LLM do radzenia sobie z zadaniami, z którymi wcześniej nigdy się nie spotkały. Ilustracją problemu może być na przykład fakt, że od LLM można uzyskać odpowiedzi dotyczące sytuacji społecznej, mimo że modele nigdy nie były ćwiczone w takich odpowiedziach, ani zaprogramowane do ich udzielania. Badacze wykazali jednak, że nie nabywają one w żaden tajemny sposób odpowiedniej wiedzy, a korzystają ze znanych wbudowanych mechanizmów tworzenia odpowiedzi na podstawie analizy niewielkiej liczby znanych im przykładów.
      Tysiące eksperymentów, za pomocą których brytyjsko-niemiecki zespół przebadał LLM wykazało, że zarówno wszystkie ich umiejętności, jak i wszystkie ograniczenia, można wyjaśnić zdolnością do przetwarzania instrukcji, rozumienia języka naturalnego oraz umiejętnościom odpowiedniego wykorzystania pamięci.
      Obawiano się, że w miarę, jak modele te stają się coraz większe, będą w stanie odpowiadać na pytania, których obecnie sobie nawet nie wyobrażamy, co może doprowadzić do sytuacji, ze nabiorą niebezpiecznych dla nas umiejętności rozumowania i planowania. Nasze badania wykazały, że strach, iż modele te zrobią coś niespodziewanego, innowacyjnego i niebezpiecznego jest całkowicie bezpodstawny, dodaje Madabushi.
      Główna autorka badań, profesor Iryna Gurevych wyjaśnia, że wyniki badań nie oznaczają, iż AI w ogóle nie stanowi zagrożenia. Wykazaliśmy, że domniemane pojawienie się zdolności do złożonego myślenia powiązanych ze specyficznymi zagrożeniami nie jest wsparte dowodami i możemy bardzo dobrze kontrolować proces uczenia się LLM. Przyszłe badania powinny zatem koncentrować się na innych ryzykach stwarzanych przez wielkie modele językowe, takie jak możliwość wykorzystania ich do tworzenia fałszywych informacji.

      « powrót do artykułu
    • przez KopalniaWiedzy.pl
      Dermatolog Harald Kittler z Uniwersytetu Medycznego w Wiedniu stanął na czele austriacko-australijskiego zespołu, który porównał trafność diagnozy i zaleceń dotyczących postępowania z przebarwieniami na skórze stawianych przez lekarzy oraz przez dwa algorytmy sztucznej inteligencji pracujące na smartfonach. Okazało się, że algorytmy równie skutecznie co lekarze diagnozują przebarwienia. Natomiast lekarze podejmują znacznie lepsze decyzje dotyczące leczenia.
      Testy przeprowadzono na prawdziwych przypadkach pacjentów, którzy zgłosili się na Wydział Dermatologii Uniwersytetu Medycznego w Wiedniu oraz do Centrum Diagnozy Czerniaka w Sydney w Australii.
      Testowane były dwa scenariusze. W scenariuszu A porównywano 172 podejrzane przebarwienia na skórze (z których 84 były nowotworami), jakie wystąpiły u 124 pacjentów. W drugim (scenariuszu B) porównano 5696 przebarwień – niekoniecznie podejrzanych – u 66 pacjentów. Wśród nich było 18 przebarwień spowodowanych rozwojem nowotworu. Testowano skuteczność dwóch algorytmów. Jeden z nich był nowym zaawansowanym programem, drugi zaś to starszy algorytm ISIC (International Skin Imaging Collaboration), używany od pewnego czasu do badań retrospektywnych.
      W scenariuszu A nowy algorytm stawiał diagnozę równie dobrze jak eksperci i był wyraźnie lepszy od mniej doświadczonych lekarzy. Z kolei algorytm ISIC był znacząco gorszy od ekspertów, ale lepszy od niedoświadczonych lekarzy.
      Jeśli zaś chodzi o zalecenia odnośnie leczenia, nowoczesny algorytm sprawował się gorzej niż eksperci, ale lepiej niż niedoświadczeni lekarze. Aplikacja ma tendencję do usuwania łagodnych zmian skórnych z zaleceń leczenia, mówi Kittler.
      Algorytmy sztucznej inteligencji są więc już na tyle rozwinięte, że mogą służyć pomocą w diagnozowaniu nowotworów skóry, a szczególnie cenne będą tam, gdzie brak jest dostępu do doświadczonych lekarzy. Ze szczegółami badań można zapoznać się na łamach The Lancet.

      « powrót do artykułu
    • przez KopalniaWiedzy.pl
      W Journal of Medical Internet Research ukazał się opis eksperymentu, w ramach którego ChatGPT miał stawiać diagnozy medyczne i proponować dalsze działania na podstawie opisanych objawów. Algorytm poradził sobie naprawdę nieźle. Udzielił prawidłowych odpowiedzi w 71,7% przypadków. Najlepiej wypadł przy ostatecznych diagnozach, gdzie trafność wyniosła 76,9%, najgorzej poradził sobie z diagnozą różnicową. Tutaj jego trafność spadła do 60,3%.
      Autorzy eksperymentu wykorzystali 36 fikcyjnych przypadków klinicznych opisanych w Merck Manual. Przypadki te są wykorzystywane podczas szkoleń lekarzy i innego personelu medycznego. Naukowcy z Harvard Medical School, Brigham and Women'a Hospital oraz Mass General Brigham wprowadzili do ChataGPT opisy tych przypadków, a następnie zadawali maszynie pytanie, dołączone w podręczniku do każdego z przypadków. Wykluczyli z badań pytania dotyczące analizy obrazów, gdyż ChatGPT bazuje na tekście.
      Najpierw sztuczna inteligencja miała za zadanie wymienić wszystkie możliwe diagnozy, jakie można postawić na podstawie każdego z opisów. Następnie poproszono ją, by stwierdziła, jaki dodatkowe badania należy przeprowadzić, później zaś ChatGPT miał postawić ostateczną diagnozę. Na koniec zadaniem komputera było opisanie metod leczenia.
      Średnia trafność odpowiedzi wynosiła 72%, jednak różniła się w zależności od zadania. Sztuczna inteligencja najlepiej wypadła podczas podawania ostatecznej diagnozy, którą stawiała na podstawie początkowego opisu przypadku oraz wyników dodatkowych badań. Trafność odpowiedzi wyniosła tutaj 76,9%. Podobnie, bo z 76-procentową trafnością, ChatGPT podawał dodatkowe informacje medyczne na temat każdego z przypadków. W zadaniach dotyczących zlecenia dodatkowych badań oraz metod leczenia czy opieki, trafność spadała do 69%. Najgorzej maszyna wypadła w diagnozie różnicowej (60,3% trafnych odpowiedzi). Autorzy badań mówią, że nie są tym zaskoczeni, gdyż diagnoza różnicowa jest bardzo trudnym zadaniem. O nią tak naprawdę chodzi podczas nauki w akademiach medycznych i podczas rezydentury, by na podstawie niewielkiej ilości informacji dokonać dobrego rozróżnienia i postawić diagnozę, mówi Marc Succi z Harvard Medical School.
      Być może w przyszłości podobne programy będą pomagały lekarzom. Zapewne nie będzie to ChatGPT, ale rozwijane już systemy wyspecjalizowane właśnie w kwestiach medycznych. Zanim jednak trafią do służby zdrowia powinny przejść standardowe procedury dopuszczenia do użytku, w tym testy kliniczne. Przed nimi zatem jeszcze długa droga.
      Autorzy opisanych badań przyznają, że miały one ograniczenia. Jednym z nich było wykorzystanie fikcyjnych opisów przypadków, a nie rzeczywistych. Innym, niewielka próbka na której testowano ChatGPT. Kolejnym zaś ograniczeniem jest brak informacji o sposobie działania i treningu ChataGPT.

      « powrót do artykułu
    • przez KopalniaWiedzy.pl
      Inżynierowie z Politechniki Federalnej w Lozannie (EPFL) wykorzystali ChatGPT-3 do zaprojektowania robotycznego ramienia do zbierania pomidorów. To pierwszy przykład użycia sztucznej inteligencji do pomocy w projektowaniu robotów. Eksperyment przeprowadzony przez Josie Hughes, dyrektor Laboratorium Obliczeniowego Projektowania i Wytwarzania Robotów na Wydziale Inżynierii EPFL, doktoranta Francesco Stellę i Cosimo Della Santinę z Uniwersytetu Technicznego w Delfcie, został opisany na łamach Nature Machine Intelligence.
      Naukowcy opisali korzyści i ryzyka związane z wykorzystaniem systemów sztucznej inteligencji (SI) do projektowania robotów. Mimo tego, że ChatGPT to model językowy i generuje tekst, to dostarczył nam on istotnych wskazówek odnośnie fizycznego projektu i wykazał się wielkim potencjałem pobudzania ludzkiej kreatywności, mówi Hughes.
      Naukowcy najpierw „przedyskutowali” z ChatGPT samą ideę robota, określili, czemu ma on służyć, opisali jego parametry i specyfikację. Na tym etapie rozmawiali z SI na temat przyszłych wyzwań stojących przed ludzkością oraz robotów-ogrodników, które mogą rozwiązać problem niedoborów siły roboczej przy uprawie roślin. Następnie, korzystając z faktu, że ChatGPT ma dostęp do danych naukowych, podręczników i innych źródeł, zadawali mu pytania o to na przykład, jakimi cechami powinien charakteryzować się przyszły robot-ogrodnik.
      Gdy już cechy te zostały opisane i zdecydowano, że chodzi o robotyczne ramię zbierające pomidory, przyszedł czas na zapytanie się sztucznej inteligencji o takie szczegóły jak np. kształt chwytaka oraz poproszenie jej o dane techniczne ramienia oraz kod, za pomocą którego byłoby ono kontrolowane. Przeprowadzone przez SI obliczenia posłużyły nam głównie do pomocy inżynierom w implementacji rozwiązań technicznych. Jednak po raz pierwszy sztuczna inteligencja sformułowała tutaj nowe pomysły, mamy tutaj zatem do czynienia ze zautomatyzowaniem procesów wyższych poziomów poznawczych. Rola człowieka w całym procesie przesunęła się bardziej w stronę techniczną, mówi Stella.
      Naukowcy zwracają też uwagę na problemy związane z wykorzystaniem podobnych systemów. Są to zarówno podnoszone już wątpliwości dotyczące plagiatów czy praw autorskich, jak i np. pytanie o to, na ile innowacyjna jest sztuczna inteligencja i na ile ulega schematom. ChatGPT zaproponował ramię do zbierania pomidorów, gdyż uznał pomidory za najbardziej wartościową uprawę, dla której warto zaprojektować robota. To zaś może po prostu oznaczać, że wybrał tą roślinę, która jest najczęściej opisywana, a nie tę, która jest najbardziej potrzebna.
      Pomimo różnych zastrzeżeń uczeni uważają, że podobne do ChatGPT modele językowe mogą spełniać niezwykle użyteczną rolę. Specjaliści od robotyki muszą się zastanowić, jak wykorzystać te narzędzia w sposób etyczny i przynoszący korzyść społeczeństwu, mówi Hughes.

      « powrót do artykułu
    • przez KopalniaWiedzy.pl
      Wraz z rozwojem coraz doskonalszych generatorów tekstu, takich jak ChatGPT, coraz częściej pojawiają się głosy o potrzebie opracowania metod wykrywania tekstów stworzonych przez sztuczną inteligencję. Metody takie przydałyby się nauczycielom czy wykładowcom akademickim, którzy mogliby identyfikować prace pisemne przyniesione przez nieuczciwych uczniów i studentów, przedstawiających wygenerowany przez komputer tekst jako własne dzieło. Mówi się o kursach z wykrywania oszustw i o tworzeniu odpowiednich narzędzi. Takie narzędzia – bazujące na sztucznej inteligencji – już powstają. Problem w tym, że nie są one zbyt wiarygodne.
      Naukowcy z Uniwersytetu Stanforda przyjrzeli się kilku algorytmom sztucznej inteligencji, które mają określać, czy zaprezentowany tekst został stworzony przez człowieka czy też przez inną sztuczną inteligencję. O ile jednak takie algorytmy sprawdzają się „niemal doskonale” podczas analizy tekstów pisanych przez 13-14-latków urodzonych w USA, to już zawodzą tam, gdzie mają do czynienia z angielskim tekstem napisanym przez osobę, dla której angielski nie jest językiem ojczystym. Okazało się bowiem, że gdy systemy te miały ocenić, kto jest autorem tekstu napisanego w ramach egzaminu TOEFL (Test of English as a Foreign Language), w aż 61,22% uznały, że to SI stworzyła tekst, który został napisany przez człowieka. W rzeczywistości jest jednak jeszcze gorzej. Aż 19% prac napisanych przez nastolatków, dla których angielski nie jest językiem ojczystym, zostało uznanych za stworzone przez SI przez wszystkie 7 badanych narzędzi do wykrywania fałszywek. A aż 97% napisanych przez ludzi prac zostało uznane za fałszywe przez co najmniej jeden z systemów.
      Problem tkwi tutaj w sposobie pracy systemów wykrywających tekst napisany przez Si. Opierają się one bowiem na złożoności użytego języka. Oczywistym jest, że przeciętna osoba, która nie jest rodzimym użytkownikiem języka angielskiego ma mniejszy zasób słownictwa, a tworzone przez nią zdania są prostsze pod względem gramatycznym i składniowym od zdań rodzimego użytkownika angielskiego. Sztuczna inteligencja, próbując wykryć fałszywki, uznaje ten niższy poziom złożoności za znak, że tekst został stworzony przez sztuczną inteligencję. To poważny problem, gdyż uczeń czy student, który urodził się poza USA, może w ten sposób zostać uznany przez nauczyciela za oszusta, mimo że sam napisał pracę.
      Co więcej, naukowcy ze Stanforda zauważyli, że takie systemy łatwo jest oszukać nawet rodzimemu użytkownikowi angielskiego. Okazuje się bowiem, że wystarczy wygenerować tekst za pomocą ChataGPT, a następnie wydać maszynie polecenie, by poprawiła ten tekst dodając doń słownictwo literackie.
      Obecne wykrywacze są niewiarygodne i łatwo je oszukać, dlatego też należy używać ich bardzo ostrożnie w roli remedium na oszukiwanie za pomocą sztucznej inteligencji, mówi jeden z autorów badań, profesor James Zou.
      Uczony uważa, że w najbliższej przyszłości nie należy ufać takim wykrywaczom, szczególnie w tych szkołach i uczelniach, gdzie mamy dużo uczniów, dla których angielski nie jest językiem macierzystym. Po drugie, twórcy narzędzi do wykrywania muszą zrezygnować ze złożoności jako głównego wyznacznika analizy tekstu i opracować bardziej zaawansowane techniki. Ponadto ich systemy powinny być bardziej odporne na obejście. Być może rozwiązanie problemu leży po stronie twórców takich systemów jak ChatGPT. Zou sugeruje, że tego typu generatory mogłyby dodawać do tekstu rodzaj znaku wodnego, którym byłyby subtelne sygnały, oczywiste dla systemów wykrywających, stanowiące niejako podpis generatora i wskazujące, że to on jest autorem.

      « powrót do artykułu
  • Ostatnio przeglądający   0 użytkowników

    Brak zarejestrowanych użytkowników przeglądających tę stronę.

×
×
  • Dodaj nową pozycję...