Jump to content
Forum Kopalni Wiedzy
Sign in to follow this  
KopalniaWiedzy.pl

Wielkość ma znaczenie. Olbrzymi procesor zrewolucjonizuje sztuczną inteligencję?

Recommended Posts

Trenowanie systemów sztucznej inteligencji trwa obecnie wiele tygodni. Firma Cerebras Systems twierdzi, że potrafi skrócić ten czas do kilku godzin. Pomysł polega na tym, by móc testować więcej pomysłów, niż obecnie. Jeśli moglibyśmy wytrenować sieć neuronową w ciągu 2-3 godzin, to rocznie możemy przetestować tysiące rozwiązań, mówi Andrew Feldman, dyrektor i współzałożyciel Cerebras.

Jeśli chcemy wytrenować sieć sztucznej inteligencji, która np. ma zarządzać autonomicznym samochodem, potrzebujemy wielu tygodni i olbrzymiej mocy obliczeniowej. Sieć musi przeanalizować olbrzymią liczbę zdjęć czy materiałów wideo, by nauczyć się rozpoznawania istotnych obiektów na drodze.

Klienci Cerebras skarżą się, że obecnie trenowanie dużej sieci neuronowej może trwać nawet 6 tygodni. W tym tempie firma może wytrenować około 6 sieci rocznie. To zdecydowanie zbyt mało dla przedsiębiorstw, które chcą sprawdzić wiele nowych pomysłów za pomocą SI.

Rozwiązaniem problemu ma być komputer CS-1, a właściwie jego niezwykły procesor. Maszyny CS-1 mają wysokość 64 centymetrów, a każda z nich potrzebuje do pracy 20 kW. Jednak 3/4 obudowy każdego z komputerów zajmuje układ chłodzenia, a tym, co najbardziej rzuca się w oczy jest olbrzymi układ scalony. Zajmuje on powierzchnię 46 255 milimetrów kwadratowych, czyli około 50-krotnie więcej niż tradycyjny procesor. Zawiera 1,2 biliona tranzystorów, 400 000 rdzeni obliczeniowych i 18 gigabajtów pamięci SRAM.

Procesor o nazwie Wafer Scale Engine (WSE) wypada znacznie lepiej niż podobne systemy. Jak zapewniają przedstawiciele Cerebras, ich maszyna, w porównaniu z klastrem TPU2 wykorzystywanym przez Google'a do trenowania SI, zużywa 5-krotnie mniej energii i zajmuje 30-krotnie mniej miejsca, a jest przy tym 3-krotnie bardziej wydajna. Takie zestawienie brzmi imponująco, a na ile rzeczywiście WSE jest lepszy od dotychczasowych rozwiązań powinno ostatecznie okazać się w bieżącym roku. Jak zauważa analityk Mike Demler, sieci neuronowe stają się coraz bardziej złożone, więc możliwość szybkiego ich trenowania jest niezwykle ważna.

Trzeba jednak przyznać, że w twierdzeniach Cerebras musi być ziarno prawdy. Wśród klientów firmy jest m.in. Argonne National Laboratory, które ma już maszyny CS-1 u siebie. Zapewne już wkrótce dowiemy się, czy rzeczywiście zapewniają one tak wielką wydajność i pozwalają tak szybko trenować sieci neuronowe.

Twórcami Cerebras są specjaliści, którzy pracowali w firmie Sea Micro, przejętej przez AMD. Pomysł stworzenia komputera wyspecjalizowanego w sztucznej inteligencji zaczął kiełkować w ich głowach w 2015 roku. Stwierdzili, że odpowiedni procesor musi być w stanie szybko przesyłać duże ilości danych, układy pamięci muszą znajdować się blisko rdzenia, a same rdzenie nie powinny zajmować się danymi, którymi już zajmują się inne rdzenie. To zś oznaczało, że tego typu układ musi składać się z olbrzymiej liczby niewielkich rdzeni wyspecjalizowanych w obliczeniach z zakresu sieci neuronowych, połączenia między rdzeniami muszą być szybkie i zużywać niewiele energii, a wszystkie dane muszą być dostępne na procesorze, a nie w osobnych układach pamięci.

Twórcy Cerebras uznali, że tym, czego potrzebują, jest chip niemalże wielkości całego plastra krzemowego. Udało im się taki układ skonstruować, chociaż nie było to łatwe zadanie i wciąż muszą poradzić sobie z licznymi problemami. Jednym z nich było poradzenie sobie z filozofią tworzenia współczesnych plastrów krzemowych. Obecnie z pojedynczego plastra tworzy się wiele procesorów. Po ich przygotowaniu, plaster, zawierający wiele identycznych układów, jest cięty. W procesie przygotowywania plastra do produkcji tworzy się na nim specjalne linie, wzdłuż których przebiegają cięcia. Tymczasem Cerebras potrzebowało takiego plastra w całości, z połączeniami pomiędzy poszczególnymi rdzeniami. To zaś wymagało nawiązania współpracy z TSMC i opracowania metody przeprowadzenia połączeń przez linie.

Wysiłek się opłacił. Poszczególne rdzenie komunikują się między sobą z prędkością 1000 Pb/s, a komunikacja pomiędzy pamięcią a rdzeniami przebiega w tempie do 9 PB/s. To nie jest trochę więcej. To o cztery rzędy wielkości więcej, gdyż wszystko odbywa się w ramach tego samego plastra, cieszy się Feldman.

Jednak przeprowadzenie połączeń przez linie nie był jedynym problemem. Trzeba było zmodyfikować cały proces projektowania i produkcji układów. Nawet oprogramowanie do projektowania procesorów jest przygotowane pod niewielkie układy. Każda zasada, każde narzędzie i każde urządzenie jest obecnie dostosowana do produkcji układów scalonych o zwyczajowych rozmiarach. My zaś potrzebujemy czegoś znacznie większego, dlatego też musieliśmy na nowo opracować każdy element, dodaje Feldman.

Jeszcze innym problemem okazało się zasilanie takiego układu. Każdy z 1,2 biliona tranzystorów potrzebuje 0,8 wolta. To standardowe napięcie, ale tranzystorów jest tak dużo, że do układu należy doprowadzić prąd o natężeniu 20 000 amperów.

Uzyskanie w całym plastrze 20 000 amperów bez znacznego spadku napięcia było kolejnym wyzwaniem inżynieryjnym, mówią przedstawiciele Cerebras. Doprowadzenie prądu do krawędzi WSE nie wchodziło w rachubę, gdyż opory spowodowałyby spadek napięcia do zera zanim prąd osiągnąłby środek układu. Rozwiązaniem okazało się prostopadłe podłączenie od góry. Inżynierowie Cerebras zaprojektowali specjalny zestaw składający się z setek układów wyspecjalizowanych w kontrolowaniu przepływu prądu. Za pomocą miliona miedzianych połączeń dostarcza on zasilanie do WSE.

Cerebras nie podaje żadnych danych odnośnie testów wydajności swojego rozwiązania w porównaniu z innymi systemami. Zamiast tego firma zachęca swoich klientów, by po prostu sprawdzili, czy  CS-1 i WSE sprawują się lepiej w zadaniach, których ci klienci potrzebują. Nie ma w tym jednak nic dziwnego. Każdy korzysta z własnych modeli dostosowanych do własnych potrzeb. To jedyne co się liczy dla klienta, mówi analityk Karl Freund.

Jednym z takich klientów jest właśnie Argonne National Laboratory. Ma ono dość specyficzne potrzeby. Wykorzystuje sieci neuronowe do rozpoznawania różnych rodzajów fal grawitacyjnych w czasie rzeczywistym. Pracujący tam specjaliści wolą więc samodzielnie przekonać się, czy nowe urządzenie lepiej sprawdzi się w tych zastosowaniach niż dotychczas stosowane superkomputery.


« powrót do artykułu

Share this post


Link to post
Share on other sites

Create an account or sign in to comment

You need to be a member in order to leave a comment

Create an account

Sign up for a new account in our community. It's easy!

Register a new account

Sign in

Already have an account? Sign in here.

Sign In Now
Sign in to follow this  

  • Similar Content

    • By KopalniaWiedzy.pl
      Pandemia COVID-19 zmienia działanie gospodarki nawet tam, gdzie byśmy się tego nie spodziewali. Microsoft poinformował właśnie, że od maja przestaje dostarczać opcjonalne poprawki niezwiązane z bezpieczeństwem systemu Windows. To oznacza, że właściciele obecnie wspieranych OS-ów Microsoftu będą mogli liczyć jedynie na poprawki związane z bezpieczeństwem.
      Nowe zasady mają obowiązywać od maja, co oznacza, że kwietniowe poprawki już są ukończone lub zostaną ukończone lada chwila.
      Poprawki niezwiązane z bezpieczeństwem są dostarczane przez Microsoft zwykle w 3. i 4. tygodniu każdego miesiąca. Poprawki bezpieczeństwa są zaś publikowane w każdy drugi wtorek miesiąca, tzw. Patch Tuesday.
      Tymczasowa rezygnacja z poprawek opcjonalnych ma ułatwić firme pracę w czasie pandemii. Dodatkowe poprawki wymagają nie tylko dodatkowego zaangażowania osób je przygotowujących, ale i pracy olbrzymiej rzeszy testerów. Jeśli ponadto już po ich udostępnieniu okaże się, że pojawiły się błędy, oznacza to dla koncernu dodatkową pracę.
      Microsoft nie jest jedyną firmą, która w związku z koronawirusem zmienia sposób działania. Także Google ogłosił, że użytkownicy przeglądarki Chrome mogą liczyć jedynie na poprawki bezpieczeństwa.
      Microsoft zdecydował też, że odracza termin zakończenia wsparcia wersji Windows 10 Enterprise, Education i IoT Enterprise. Miało się ono zakończyć 14 kwietnia. Obecnie przedłużono je do 13 października bieżącego roku.

      « powrót do artykułu
    • By KopalniaWiedzy.pl
      Algorytmy sztucznej inteligencji znacznie lepiej niż ludzie przewidują, którzy ze skazanych popełnią w przyszłości przestępstwo. Przeprowadzone właśnie badania pokazują, że programy takie jak COMPAS mogą być niezwykle przydatnym narzędziem dla sędziów i innych pracowników systemu sprawiedliwości i więziennictwa.
      Co prawda ludzie w warunkach testowych również radzą sobie z tym zadaniem dobrze i gdy znają kilka podstawowych zmiennych, to nawet osoba bez odpowiedniego przygotowania jest w stanie, w kontrolowanym środowisku, dorównać złożonym narzędziom oceny ryzyka, mówią naukowcy z Uniwersytetu Stanforda i Uniwersytetu Kalifornijskiego w Berkeley.
      Jednak zupełnie inaczej ma się sprawa z rzeczywistymi wydarzeniami i problemami, z którymi mierzy się wymiar sprawiedliwości. Tutaj zmiennych jest olbrzymia liczba. A przeprowadzone właśnie badania wykazały, że algorytmy potrafią nawet z 90-procentową trafnością przewidzieć, który z podsądnych zostanie w przyszłości zatrzymany za inne przestępstwo. Ludzie potrafią to ocenić ze znacznie niższą, bo zaledwie 60-procentową trafnością.
      Ocena ryzyka od dawna jest częścią procesu podejmowania decyzji w sądownictwie kryminalnym. Ostatnio toczą się dyskusje na temat wykorzystywania narzędzi opierających się na algorytmach komputerowych. Nasze badania wykazały, że w sytuacji rzeczywistych przypadków karnych algorytmy sztucznej inteligencji dokonują często lepszej oceny ryzyka niż ludzie. Wyniki te są zgodne z wieloma innymi badaniami porównującymi wyniki uzyskiwane przez narzędzia statystyczne z wynikami uzyskiwanymi przez ludzi, mówi Jennifer Skeem, psycholog specjalizującą się w przestępczości kryminalnej.
      Sprawdzone narzędzia do oceny ryzyka mogą pomóc sędziom i innym pracownikom wymiaru sprawiedliwości w podejmowaniu lepszych decyzji. Na przykład narzędzia te mogą sędziemu wskazać, który ze skazanych stwarza niewielkie ryzyko i w związku z tym można go przedterminowo zwolnić z więzienia. Oczywiście, podobnie jak inne narzędzia, także i te do oceny ryzyka, muszą zostać połączone z rozsądną polityką oraz muszą być nadzorowane przez człowieka, dodaje Sharad Goel z Uniwersytetu Stanforda, statystyk specjalizujący się w dziedzinie nauk społecznych.
      Lepsze narzędzia do oceny ryzyka są niezwykle potrzebne, szczególnie w USA. Stany Zjednoczone mają bowiem największy na świecie odsetek liczby uwięziony i największą na świecie liczbę osób w więzieniach. Od lat toczy się tam dyskusja na temat zmiany tego stanu rzeczy, ale trzeba zrównoważyć to z potrzebą zapewnienia bezpieczeństwa. Ocena, którego z więźniów można bez ryzyka wypuścić, jest więc niezwykle istotna.
      Narzędzia do oceny ryzyka są w USA bardzo szeroko rozpowszechnione w medycynie, bankowości czy szkolnictwie wyższym. Od dawna też używane są w miarze sprawiedliwości. Jednak w 2018 roku Dartmouth College przeprowadzono badania, w których poddano w wątpliwość skuteczność takich narzędzi. Wynikało z nich bowiem, że i ludzie i algorytmy równie dobrze (z 66% trafnością) oceniają ryzyko. Badania były szeroko komentowane i wiele osób stwierdziło, że w takiej sytuacji nie powinno się używać algorytmów.
      Autorzy najnowszych badań powtórzyli badania przeprowadzone przez Dartmouth i stwierdzili, że posługiwano się podczas nich ograniczonym zestawem danych. Wzięto bowiem pod uwagę jedynie płeć oskarżonych, ich wiek, przestępstwo z które zostali ostatnio skazani oraz całą ich wcześniejszą kartotekę policyjną. Tymczasem sędziowie mają do dyspozycji znacznie więcej informacji. Korzystają z dokumentów ze śledztwa, opinii adwokatów, zeznań ofiar, na ich ocenę wpływa zachowanie i sposób bycia sprawców oraz ofiar. To często są informacje nie mające wpływu na ryzyko recydywy, są niespójne, z łatwością mogą powodować błędną ocenę, wyjaśniają autorzy najnowszych badań.
      Dlatego też rozszerzyli zestaw danych, którymi posługiwali się badacze z Dartmouth. Do wykorzystanych przez nich czynników, dodali 10 nowych, takich jak informacje o zatrudnieniu, zażywaniu używek czy zdrowiu psychicznym. Zmieniono też metodologię. Po każdym z eksperymentów nie mówiono ludziom, których wyniki porównywano z maszyną, czy dokonali dobrej oceny. Sędziowie nie mają przecież informacji o tym, czy osoba, której skrócili karę, popełni w przyszłości przestępstwo.
      Wyniki pokazały, że w takiej sytuacji, gdy zasady eksperymentu bardziej odpowiadają rzeczywistości, ludzie wypadają znacznie gorzej niż algorytm COMPAS. Takie narzędzia mogą być więc przydatnym uzupełnieniem pracy sędziów, kuratorów, lekarzy i innych osób, które mają wpływ na decyzję o wcześniejszym zwolnieniu przestępcy.

      « powrót do artykułu
    • By KopalniaWiedzy.pl
      AMD konsekwentnie zdobywa coraz silniejszą pozycję na rynku. Firma analityczna Mercury Research, z której usług korzystają m.in. AMD i Intel, poinformowała, że IV kwartał 2019 roku był już 9. kwartałem z kolei, w którym AMD zwiększało swoje udziały w rynku procesorów.
      Analityków zaskoczyły niewielkie postępy na rynku desktopów oraz centrów bazodanowych. W ciągu trzech ostatnich miesięcy ubiegłego roku AMD zyskało tam, odpowiednio, 0,2 i 0,3 punktu procentowego. Największe zaś postępy firma zanotowała na rynku urządzeń przenośnych, gdzie pomiędzy październikiem a grudniem 2019 roku wzrosły o 1,5 punktu procentowego.
      Obecnie AMD posiada 4,5% rynku serwerów (+ 1,4 pp rok do roku), 18,3% rynku desktopów (+2,4 pp rdr), 16,2% rynku urządzeń mobilnych (+ 4,0 pp rdr). Całkowity udział AMD w rynku układów x86 wynosi obecnie 15,5%. Ostatnio tak dobrym wynikiem firma mogła pochwalić się przed niemal 7 laty.
      Sprzedaż desktopowych CPU wzrosła dzięki dużemu popytowi na highendowe procesory dla graczy oraz dlatego, że Intel zwiększył dostawy tanich procesorów. AMD zanotowało bardzo silny wzrost sprzedaży układów z serii Ryzen 3000, a Intel duży wzrost w segmencie i9. Większość wzrostu obu firm pochodziło ze sprzedaży procesorów o największej liczbie rdzeni, mówi Dean McCarron z Mercury Research.
      Warto też zauważyć, że AMD zdominował Black Friday i Cyber Monday na Amazonie, gdzie jego procesory często zajmowały pierwszych 10 pozycji wśród najchętniej kupowanych układów. To jednocześnie pokazuje, że rynek klienta indywidualnego jest znacznie mniejszy niż rynek OEM, na którym tradycyjnie dominuje Intel. Koncern jest szczególnie silny w segmencie przedsiębiorstw i administracji państwowej. Klienci ci pozostają wierni platformie Intela, gdyż unikają w ten sposób kosztownych i długotrwałych procesów związanych z przejściem na inna platformę sprzętową.

      « powrót do artykułu
    • By KopalniaWiedzy.pl
      Urządzenie wielkości zegarka może monitorować chemię organizmu, by pomóc w poprawie osiągów sportowych czy zidentyfikować ewentualne problemy zdrowotne. Jego twórcy uważają, że potencjalnych zastosowań jest wiele: od wykrywania odwodnienia po monitorowanie regeneracji organizmu.
      Technologia pozwala prowadzić w czasie niemal rzeczywistym testy pod kątem szerokiej gamy metabolitów - opowiada prof. Michael Daniele z Uniwersytetu Stanowego Karoliny Północnej.
      W tym weryfikującym koncepcję badaniu wykorzystaliśmy pot ochotników. Monitorowaliśmy poziom glukozy, mleczanów, a także pH oraz temperaturę.
      Wymienialny pasek mocowany z tyłu urządzenia wyposażono w czujniki chemiczne. Pasek styka się ze skórą użytkownika i jego potem. Dane z czujników są interpretowane przez urządzenie, które zapisuje wyniki i przekazuje je np. do smartfona czy smartwatcha.
      Urządzenie ma wielkość przeciętnego zegarka, ale zawiera elementy analityczne stanowiące odpowiednik 4 pokaźnych aparatów elektrochemicznych, stosowanych obecnie do pomiaru metabolitów w laboratorium. Opracowaliśmy coś przenośnego, by można tego było używać w terenie.
      Autorzy artykułu z pisma Biosensors and Bioelectronics dodają, że paski można dostosować, tak by monitorować różne markery zdrowotne i sportowe, np. elektrolity.
      Mamy nadzieję, że [kiedyś] nasz sprzęt sprawi, że nowe technologie ograniczą urazy odnoszone podczas treningów wojskowych i sportowych; problemy zdrowotne zostaną bowiem wykryte, nim osiągną punkt krytyczny. Za jego pomocą można by też śledzić osiągi w czasie i, na przykład, ustalać, jaka kombinacja diety i innych zmiennych jest korzystna.
      Obecnie prowadzone są dalsze testy w różnych warunkach. Chcemy potwierdzić, że urządzenie może zapewniać stały monitoring podczas wykorzystania przez dłuższy czas.
      Daniele mówi, że trudno określić cenę dla klienta. Wiadomo jednak, że cena paska, który może wytrzymać co najmniej dobę, powinna być podobna jak dla pasków do glukometrów.
      Naukowcy szukają partnerów przemysłowych, by ocenić opcje komercjalizacji rozwiązania.

      « powrót do artykułu
    • By KopalniaWiedzy.pl
      Zdaniem autorów nowych badań oraz algorytmu sztucznej inteligencji, jedno z masowych ziemskich wymierań, wymieranie dewońskie, nigdy nie miało miejsca. Obecnie uważa się, że przed około 375 milionami lat oceany stały się toksyczne, co doprowadziło do masowego wymierania. Wyginęły wówczas m.in. niemal wszystkie trylobity. Jednak grupa naukowców twierdzi, że nie było to masowe wymieranie, a stopniowy proces rozciągnięty na 50 milionów lat.
      Wymieranie dewońskie nie miało miejsca. Ziemia doświadczyła powolnego spadku bioróżnorodności, co zresztą niektórzy naukowcy już wcześniej sugerowali, mówi Doug Erwin z Narodowego Muzeum Historii Naturalnej w Waszyngtonie.
      Badanie historii bioróżnorodności nie jest łatwym zadaniem. Większość gatunków istnieje zaledwie kilka milionów lat. Jeśli więc widzimy skamieniałości gatunku w różnych miejscach, to pochodzą one z mniej więcej tego samego okresu. Podczas dotychczasowych badań nad bioróżnorodnością skupiano się na okresach liczących około 10 milionów lat.
      Jednak Shuzhong Shen z Instytutu Geologii i Paleontologii w Nankinie oraz jego koledzy i współpracujący z nimi Erwin byli w stanie przeprowadzić badania, w czasie których przyjrzeli się okresom trwającym zaledwie 26 000 lat. Dokonali tego za pomocą opracowanych przed dekadą metod analizy statystycznej, które wykorzystali do analizy 100 000 rekordów dotyczących skamieniałości 11 000 gatunków morskich znalezionych w Chinach i Europie. Obliczenia były tak złożone, że naukowcy musieli opracować specjalny algorytm sztucnej inteligencji i uruchomić go na czwartym najpotężniejszym superkomputerze świata, Tianhe-2A.
      Badaniami objęto okres 300 milionów lat,od początku kambru po początek triasu. Jak mówią obrazowo uczeni, poprawienie rozdzielczości czasowej badań pozwoliło na przejście od stwierdzenia, że wszyscy ludzie żyjący w tym samym wieku byli sobie współcześni, po uznanie za współczesnych sobie tylko ludzi, żyjących w tym samym półroczu.
      Spadek bioróżnorodności w dewonie jest wciąż jasno widoczny, ale następował on przez cały późny dewon, a nie był pojedynczym skoncentrowanym wydarzeniem, mówi emerytowany paleontolog Richard Bambach, autor pracy naukowej z 2004 roku, w której argumentował, że w dewonie nie doszło do masowego wymierania.
      Pomysł, że na Ziemi doszło do 5 masowych wymierań pojawił się po raz pierwszy w 1982 roku. Od tamtego czasu autorzy różnych badań argumentowali, że wymierań było od 3 do 20.
      Nie istnieje formalna definicja masowego wymierania, jednak większość specjalistów zgadza się, że takim mianem należy określić znaczne zwiększenie liczby gatunków ginących w krótkim czasie. Na przykład w okresie wymierania permskiego większość gatunków wyginęła w ciągu 63 000 lat.
      W roku 2004 Bambach argumentował również, że nie było wymierania triasowego. Jednak od tamtej pory pojawiło się więcej dowodów, iż miało ono jednak miejsce. Bambach przyznaje, że w tej kwestii się mylił.
      Wszystko jednak wskazuje na to, że Ziemia doświadczyła czterech, a nie pięciu, okresów masowego wymierania.

      « powrót do artykułu
×
×
  • Create New...