Jump to content
Forum Kopalni Wiedzy
Sign in to follow this  
KopalniaWiedzy.pl

Wielkość ma znaczenie. Olbrzymi procesor zrewolucjonizuje sztuczną inteligencję?

Recommended Posts

Trenowanie systemów sztucznej inteligencji trwa obecnie wiele tygodni. Firma Cerebras Systems twierdzi, że potrafi skrócić ten czas do kilku godzin. Pomysł polega na tym, by móc testować więcej pomysłów, niż obecnie. Jeśli moglibyśmy wytrenować sieć neuronową w ciągu 2-3 godzin, to rocznie możemy przetestować tysiące rozwiązań, mówi Andrew Feldman, dyrektor i współzałożyciel Cerebras.

Jeśli chcemy wytrenować sieć sztucznej inteligencji, która np. ma zarządzać autonomicznym samochodem, potrzebujemy wielu tygodni i olbrzymiej mocy obliczeniowej. Sieć musi przeanalizować olbrzymią liczbę zdjęć czy materiałów wideo, by nauczyć się rozpoznawania istotnych obiektów na drodze.

Klienci Cerebras skarżą się, że obecnie trenowanie dużej sieci neuronowej może trwać nawet 6 tygodni. W tym tempie firma może wytrenować około 6 sieci rocznie. To zdecydowanie zbyt mało dla przedsiębiorstw, które chcą sprawdzić wiele nowych pomysłów za pomocą SI.

Rozwiązaniem problemu ma być komputer CS-1, a właściwie jego niezwykły procesor. Maszyny CS-1 mają wysokość 64 centymetrów, a każda z nich potrzebuje do pracy 20 kW. Jednak 3/4 obudowy każdego z komputerów zajmuje układ chłodzenia, a tym, co najbardziej rzuca się w oczy jest olbrzymi układ scalony. Zajmuje on powierzchnię 46 255 milimetrów kwadratowych, czyli około 50-krotnie więcej niż tradycyjny procesor. Zawiera 1,2 biliona tranzystorów, 400 000 rdzeni obliczeniowych i 18 gigabajtów pamięci SRAM.

Procesor o nazwie Wafer Scale Engine (WSE) wypada znacznie lepiej niż podobne systemy. Jak zapewniają przedstawiciele Cerebras, ich maszyna, w porównaniu z klastrem TPU2 wykorzystywanym przez Google'a do trenowania SI, zużywa 5-krotnie mniej energii i zajmuje 30-krotnie mniej miejsca, a jest przy tym 3-krotnie bardziej wydajna. Takie zestawienie brzmi imponująco, a na ile rzeczywiście WSE jest lepszy od dotychczasowych rozwiązań powinno ostatecznie okazać się w bieżącym roku. Jak zauważa analityk Mike Demler, sieci neuronowe stają się coraz bardziej złożone, więc możliwość szybkiego ich trenowania jest niezwykle ważna.

Trzeba jednak przyznać, że w twierdzeniach Cerebras musi być ziarno prawdy. Wśród klientów firmy jest m.in. Argonne National Laboratory, które ma już maszyny CS-1 u siebie. Zapewne już wkrótce dowiemy się, czy rzeczywiście zapewniają one tak wielką wydajność i pozwalają tak szybko trenować sieci neuronowe.

Twórcami Cerebras są specjaliści, którzy pracowali w firmie Sea Micro, przejętej przez AMD. Pomysł stworzenia komputera wyspecjalizowanego w sztucznej inteligencji zaczął kiełkować w ich głowach w 2015 roku. Stwierdzili, że odpowiedni procesor musi być w stanie szybko przesyłać duże ilości danych, układy pamięci muszą znajdować się blisko rdzenia, a same rdzenie nie powinny zajmować się danymi, którymi już zajmują się inne rdzenie. To zś oznaczało, że tego typu układ musi składać się z olbrzymiej liczby niewielkich rdzeni wyspecjalizowanych w obliczeniach z zakresu sieci neuronowych, połączenia między rdzeniami muszą być szybkie i zużywać niewiele energii, a wszystkie dane muszą być dostępne na procesorze, a nie w osobnych układach pamięci.

Twórcy Cerebras uznali, że tym, czego potrzebują, jest chip niemalże wielkości całego plastra krzemowego. Udało im się taki układ skonstruować, chociaż nie było to łatwe zadanie i wciąż muszą poradzić sobie z licznymi problemami. Jednym z nich było poradzenie sobie z filozofią tworzenia współczesnych plastrów krzemowych. Obecnie z pojedynczego plastra tworzy się wiele procesorów. Po ich przygotowaniu, plaster, zawierający wiele identycznych układów, jest cięty. W procesie przygotowywania plastra do produkcji tworzy się na nim specjalne linie, wzdłuż których przebiegają cięcia. Tymczasem Cerebras potrzebowało takiego plastra w całości, z połączeniami pomiędzy poszczególnymi rdzeniami. To zaś wymagało nawiązania współpracy z TSMC i opracowania metody przeprowadzenia połączeń przez linie.

Wysiłek się opłacił. Poszczególne rdzenie komunikują się między sobą z prędkością 1000 Pb/s, a komunikacja pomiędzy pamięcią a rdzeniami przebiega w tempie do 9 PB/s. To nie jest trochę więcej. To o cztery rzędy wielkości więcej, gdyż wszystko odbywa się w ramach tego samego plastra, cieszy się Feldman.

Jednak przeprowadzenie połączeń przez linie nie był jedynym problemem. Trzeba było zmodyfikować cały proces projektowania i produkcji układów. Nawet oprogramowanie do projektowania procesorów jest przygotowane pod niewielkie układy. Każda zasada, każde narzędzie i każde urządzenie jest obecnie dostosowana do produkcji układów scalonych o zwyczajowych rozmiarach. My zaś potrzebujemy czegoś znacznie większego, dlatego też musieliśmy na nowo opracować każdy element, dodaje Feldman.

Jeszcze innym problemem okazało się zasilanie takiego układu. Każdy z 1,2 biliona tranzystorów potrzebuje 0,8 wolta. To standardowe napięcie, ale tranzystorów jest tak dużo, że do układu należy doprowadzić prąd o natężeniu 20 000 amperów.

Uzyskanie w całym plastrze 20 000 amperów bez znacznego spadku napięcia było kolejnym wyzwaniem inżynieryjnym, mówią przedstawiciele Cerebras. Doprowadzenie prądu do krawędzi WSE nie wchodziło w rachubę, gdyż opory spowodowałyby spadek napięcia do zera zanim prąd osiągnąłby środek układu. Rozwiązaniem okazało się prostopadłe podłączenie od góry. Inżynierowie Cerebras zaprojektowali specjalny zestaw składający się z setek układów wyspecjalizowanych w kontrolowaniu przepływu prądu. Za pomocą miliona miedzianych połączeń dostarcza on zasilanie do WSE.

Cerebras nie podaje żadnych danych odnośnie testów wydajności swojego rozwiązania w porównaniu z innymi systemami. Zamiast tego firma zachęca swoich klientów, by po prostu sprawdzili, czy  CS-1 i WSE sprawują się lepiej w zadaniach, których ci klienci potrzebują. Nie ma w tym jednak nic dziwnego. Każdy korzysta z własnych modeli dostosowanych do własnych potrzeb. To jedyne co się liczy dla klienta, mówi analityk Karl Freund.

Jednym z takich klientów jest właśnie Argonne National Laboratory. Ma ono dość specyficzne potrzeby. Wykorzystuje sieci neuronowe do rozpoznawania różnych rodzajów fal grawitacyjnych w czasie rzeczywistym. Pracujący tam specjaliści wolą więc samodzielnie przekonać się, czy nowe urządzenie lepiej sprawdzi się w tych zastosowaniach niż dotychczas stosowane superkomputery.


« powrót do artykułu

Share this post


Link to post
Share on other sites

Create an account or sign in to comment

You need to be a member in order to leave a comment

Create an account

Sign up for a new account in our community. It's easy!

Register a new account

Sign in

Already have an account? Sign in here.

Sign In Now
Sign in to follow this  

  • Similar Content

    • By KopalniaWiedzy.pl
      Światło posiada niezwykle interesującą cechę. Jego fale o różnej długości nie wchodzą ze sobą w interakcje. Dzięki temu można jednocześnie przesyłać wiele strumieni danych. Podobnie, światło o różnej polaryzacji również nie wchodzi w interakcje. Zatem każda z polaryzacji mogłaby zostać wykorzystana jako niezależny kanał przesyłania i przechowywania danych, znakomicie zwiększając gęstość informacji.
      Naukowcy z Uniwersytetu Oksfordzkiego poinformowali właśnie o opracowaniu metody wykorzystania polaryzacji światła do zmaksymalizowania gęstości danych. Wszyscy wiemy, że przewaga fotoniki nad elektronika polega na tym, że światło przemieszcza się szybciej i jest bardziej funkcjonalne w szerokich zakresach. Naszym celem było wykorzystanie wszystkich zalet fotoniki połączonych z odpowiednim materiałem, dzięki czemu chcieliśmy uzyskać szybsze i gęstsze przetwarzanie informacji, mówi główny autor badań, doktorant June Sang Lee.
      Jego zespół, we współpracy z profesorem C. Davidem Wrightem z University of Exeter, opracował nanowłókno HAD (hybrydyzowane-aktywne-dielektryczne). Każde z nanowłókien wyróżnia się selektywną reakcją na konkretny kierunek polaryzacji, zatem możliwe jest jednoczesne przetwarzanie danych przenoszonych za pomocą różnych polaryzacji. Stało się to bazą do stworzenia pierwszego fotonicznego procesora wykorzystującego polaryzację światła. Szybkość obliczeniowa takiego procesora jest większa od procesora elektronicznego, gdyż poszczególne nanowókna są modulowane za pomocą nanosekundowych impulsów optycznych. Nowy układ może być ponad 300-krotnie bardziej wydajny niż współczesne procesory.
      To dopiero początek tego, co możemy osiągnąć w przyszłości, gdy uda się nam wykorzystać wszystkie stopnie swobody oferowane przez światło, w tym polaryzację. Dzięki temu uzyskamy niezwykły poziom równoległego przetwarzania danych. Nasze prace wciąż znajdują się na bardzo wczesnym etapie, dlatego też szacunki dotyczące prędkości pracy takiego układu wciąż wymagają eksperymentalnego potwierdzenia. Mamy jednak niezwykle ekscytujące pomysły łączenia elektroniki, materiałów nieliniowych i komputerów, komentuje profesor Harish Bhakaran, który od ponad 10 lat prowadzi prace nad wykorzystaniem światła w technologiach obliczeniowych.
      Ze szczegółami pracy można zapoznać się w artykule Polarisation-selective reconfigurability in hybridized-active-dielectric nanowires opublikowanym na łamach Science Advances.

      « powrót do artykułu
    • By KopalniaWiedzy.pl
      W piśmie Energy & Environmental Science ukazał się artykuł opisujący mikroprocesor zasilany procesem fotosyntezy. Twórcami niewielkiego systemu są naukowcy z University of Cambridge, a ich procesor pracuje bez przerwy od ponad roku. Ich badania dają nadzieję na stworzenie stabilnego, odnawialnego źródła zasilania dla niewielkich urządzeń.
      Wielkość całego systemu jest porównywalna z rozmiarami baterii AA. W jego skład wchodzą glony z rodzaju Synechocystis, niewielka aluminiowa elektroda i mikroprocesor. Całość zbudowana jest z tanich, powszechnie dostępnych i w większości poddających się recyklingowi materiałów. Twórcy systemu mówią, że najbardziej się on przyda w miejscach, gdzie brak jest dostępu do sieci energetycznych, a potrzebne są niewielkie ilości energii np. do zasilania czujników.
      Rozrastający się Internet of Things zwiększa zapotrzebowanie na energię elektryczną. Myślimy, że mamy tutaj rozwiązanie pozwalające na generowanie jej niewielkich ilości na bieżące potrzeby, mówi jeden z twórców systemu, profesor Christopher Howe. W naszym systemie nie występuje problem wyczerpania energii, gdyż do jej wytwarzania wykorzystywane jest światło słoneczne, dodaje.
      Podczas prowadzonego właśnie eksperymentu glony wykorzystywane są do zasilania procesora Arm Cortex M0+, który powszechnie wykorzystywany jest w Internet of Things. Zasilany glonami procesor pracował zarówno w warunkach domowych jak i na zewnątrz. Był wystawiony na naturalne zmiany światła i temperatury. Byliśmy pod wrażeniem ciągłości jego pracy. Sądziliśmy, że całość może ulec awarii po kilku tygodniach, ale tak się nie stało, mówi doktor Paolo Bombelli z Wydziału Biochemii University of Cambridge.
      Glony nie potrzebują specjalnego odżywiania, gdyż zapewniają sobie – i procesorowi – energię drogą fotosyntezy. I mimo tego, że do jej przeprowadzenia konieczne jest światło, procesor był zasilany nawet w okresach, gdy panowała ciemność. Glony wciąż prowadziły procesy metaboliczne.
      Twórcy systemu zwracają uwagę, że zasilanie miliardów Internet of Things stosowanymi obecnie akumulatorami litowo-jonowymi byłoby niepraktyczne. Potrzebne do tego byłoby więcej litu, niż obecnie wytwarzamy. A tradycyjne ogniwa fotowoltaiczne wytwarzane są z użyciem materiałów niebezpiecznych dla środowiska. Stąd potrzeba opracowania nowych, stabilnych i przyjaznych środowisku źródeł energii.

      « powrót do artykułu
    • By KopalniaWiedzy.pl
      Od dekad tranzystory są mniejsze i mniejsze. Dzięki temu w procesorze możemy upakować ich więcej. To zaś najłatwiejszy sposób na zwiększenie wydajności procesora. Powoli zbliżamy się do momentu, w którym nie będziemy już w stanie zmniejszać długości bramki tranzystora. Niewykluczone, że Chińczycy właśnie dotarli do tej granicy.
      Prąd w tranzystorze przepływa pomiędzy źródłem a drenem. Przepływ ten kontrolowany jest przez bramkę, która przełącza się pod wpływem napięcia. Długość bramki to kluczowy czynnik decydujący o rozmiarach tranzystora.
      W ostatnich latach naukowcy zaczęli eksperymentować z nowymi materiałami, z których chcą budować elektronikę przyszłości. W obszarze ich zainteresowań jest na przykład grafen – dwuwymiarowy materiał składający się z pojedynczej warstwy atomów węgla – czy disiarczek molibdenu, czyli warstwa atomów molibdenu zamknięta między dwiema warstwami siarki.
      Teraz specjaliści z Chin wykorzystali te materiały do zbudowania rekordowo małego tranzystora. Długość jego bramki wynosi zaledwie 0,34 nanometra. To tyle, co średnica atomu węgla.
      Nowy tranzystor można porównać do dwóch schodów. Na górnym znajduje się źródło, na dolnym zaś dren. Oba zbudowane są z tytanu i palladu. Powierzchnia schodów działa jak łączący je kanał. Jest ona zbudowana w pojedynczej warstwy disiarczku molibdenu, pod którą znajduje się izolująca warstwa ditlenku hafnu. Wyższy stopień zbudowany jest z wielu warstw. Na samy dole znajduje sie warstwa grafenu, nad nią zaś aluminium pokryte tlenkiem aluminium. Jego zadaniem jest oddzielenie grafenu i disiarczku molibdenu. Jedynym miejscem ich połączenia jest widoczna na grafice niewielka szczelina w wyższym stopniu.
      Gdy bramka zostaje ustawiona w pozycji „on” jej długość wynosi zaledwie 0,34 nm. Autorzy nowego tranzystora twierdzą, że nie uda się tej odległości już bardziej zmniejszyć. Na pewno zaś próba zbudowania jeszcze mniejszych tranzystorów będzie wymagała nowatorskiego podejścia do materiałów dwuwymiarowych.
      Ze szczegółami pracy zespołu z Tsinghua University można zapoznać się na łamach Nature.

      « powrót do artykułu
    • By KopalniaWiedzy.pl
      Na University of Leeds powstał system sztucznej inteligencji (SI), który analizuje skany oczu wykonywane podczas rutynowych wizyt u okulisty czy optyka i wskazuje osoby narażone na... wysokie ryzyko ataku serca. System analizuje zmiany w miniaturowych naczyniach krwionośnych siatkówki, o kórych wiemy, że wskazują na szerszy problem z układem krążenia.
      Specjaliści z Leeds wykorzystali techniki głębokiego uczenia się, by przeszkolić SI w automatycznym odczytywaniu skanów oraz wyławianiu osób, które w ciągu najbliższego roku mogą doświadczyć ataku serca.
      System, który został opisany na łamach Nature Machine Intelligence, wyróżnia się dokładnością rzędu 70–80 procent i zdaniem jego twórców może być wykorzystany przy diagnostyce chorób układu krążenia.
      Choroby układu krążenia, w tym ataki serca, to główne przyczyny zgonów na całym świecie i druga przyczyna zgonów w Wielkiej Brytanii. To choroby chroniczne, obniżające jakość życia. Ta technika może potencjalnie zrewolucjonizować diagnostykę. Skanowanie siatkówki to tani i rutynowy proces stosowany w czasie wielu badań oczu, mówi profesor Alex Frangi, który nadzorował rozwój nowego systemu. Osoby badane przez okulistę czy optometrystę mogą niejako przy okazji dowiedzieć się, czy nie rozwija się u nich choroba układu krążenia. Dzięki temu leczenie można będzie zacząć wcześniej, zanim pojawią się inne objawy.
      System sztucznej inteligencji trenowano na danych okulistycznych i kardiologicznych ponad 5000 osób. Uczył się odróżniania stanów patologicznych od prawidłowych. Gdy już się tego nauczył, na podstawie samych skanów siatkówki był w stanie określić wielkość oraz wydajność pracy lewej komory serca. Powiększona komora jest powiązana z większym ryzykiem chorób serca. Następnie SI, łącząc dane o stanie lewej komory serca z informacjami o wieku i płci pacjenta, może przewidzieć ryzyko ataku serca w ciągu najbliższych 12 miesięcy.
      Obecnie rozmiar i funkcjonowanie lewej komory serca jesteśmy w stanie określić za pomocą echokardiografii czy rezonansu magnetycznego. To specjalistyczne i kosztowne badania, które są znacznie gorzej dostępne niż badania prowadzone w gabinetach okulistycznych czy optycznych. Nowy system nie tylko obniży koszty i poprawi dostępność wczesnej diagnostyki kardiologicznej, ale może odegrać olbrzymią rolę w krajach o słabiej rozwiniętym systemie opieki zdrowotnej, gdzie specjalistyczne badania są bardzo trudno dostępne.
      Ten system sztucznej inteligencji to wspaniałe narzędzie do ujawniania wzorców istniejących w naturze. I właśnie to robi, łączy wzorce zmian w siatkówce ze zmianami w sercu, cieszy się profesor Sven Plein, jeden z autorów badań.

      « powrót do artykułu
    • By KopalniaWiedzy.pl
      Microsoft zatrudnił byłego projektanta układów scalonych Apple'a, , który wcześniej pracował też w firmach Arm i Intel,  trafił do grupy kierowanej przez Raniego Borkara, zajmującej się rozwojem chmury Azure. Zatrudnienie Filippo wskazuje, że Microsoft chce przyspieszyć prace nad własnymi układami scalonymi dla serwerów tworzących oferowaną przez firmę chmurę. Koncern idzie zatem w ślady swoich największych rywali – Google'a i Amazona.
      Obecnie procesory do serwerów dla Azure są dostarczane przez Intela i AMD. Zatrudnienie Filippo już odbiło się na akcjach tych firm. Papiery Intela straciły 2% wartości, a AMD potaniały o 1,1%.
      Filippo rozpoczął pracę w Apple'u w 2019 roku. Wcześniej przez 10 lat był głównym projektantem układów w firmie ARM. A jeszcze wcześniej przez 5 lat pracował dla Intela. To niezwykle doświadczony inżynier. Właśnie jemu przypisuje się wzmocnienie pozycji układów ARM na rynku telefonów i innych urządzeń.
      Od niemal 2 lat wiadomo, że Microsoft pracuje nad własnymi procesorami dla serwerów i, być może, urządzeń Surface.
      Giganci IT coraz częściej starają się projektować własne układy scalone dla swoich urządzeń, a związane z pandemią problemy z podzespołami tylko przyspieszyły ten trend.

      « powrót do artykułu
  • Recently Browsing   0 members

    No registered users viewing this page.

×
×
  • Create New...