Znajdź zawartość

Przed rokiem firma Cerebras Systems zaprezentowała największy w historii procesor o gigantycznej mocy obliczeniowej, który pokonał najpotężniejszy superkomputer, symulując procesy fizyczne szybciej, niż odbywają się one w rzeczywistości. Teraz firma ogłosiła, że stworzyła drugą wersję swojego procesora i udostępni go w 3. kwartale bieżącego roku. Wafer Scale Engine 2 (WSE 2) ma ponaddwukrotnie więcej tranzystorów, rdzeni i pamięci niż WSE 1. Trenowanie systemów sztucznej inteligencji trwa wiele tygodni. To zdecydowanie zbyt długo, gdyż w takiej sytuacji można wytrenować tylko kilka sieci rocznie. Jeśli zaś moglibyśmy wytrenować sieć neuronową w ciągu 2-3 godzin, to rocznie możemy przetestować tysiące rozwiązań, mówi Andrew Feldman, dyrektor i współzałożyciel Cerebras. Mogą w tym pomóc właśnie olbrzymie procesory WSE. Ich twórcy zauważyli, że rozwiązaniem problemu wąskiego gardła, którym jest konieczność ciągłego przesyłania danych pomiędzy procesorem a układami pamięci, będzie zbudowanie wielkiego procesora, który będzie w stanie przechować wszystkie potrzebne dane w swoich rdzeniach. Oba procesory WSE mają powierzchnię 46 255 mm2. Dla porównania procesor Nvidia A100 ma powierzchnię 826 mm2. WSE 2 korzysta z 2,6 biliona tranzystorów (WSE 1 z 1,2 biliona, a A100 z 54,2 miliardów). Najnowszy procesor Cerebras składa się z 850 000 rdzeni (WSE 1 ma ich 400 000, A100 – 7344). W WSE 2 zastosowano 40 gigabajtów pamięci. TO aż 1000-krotnie więcej niż w A100 i ponaddwukrotnie więcej niż w WSE 1. Ponadto rdzenie WSE 2 wymieniają między sobą dane z prędkością 200 PB/s, podczas gdy A100 przekazuje dane z prędkością 155 GB/s, a WSE 1 z prędkością 9 PB/s. Najnowszy procesor Cerebras został wykonany w technologii 7nm, czyli tej samej co A100. WSE 1 korzystał z 16nm. Cerebras zapewnia, że udoskonalił również samą mikroarchitekturę WSE 2 tak, by jeszcze lepiej spełniał on zadania stawiane przed systemami sztucznej inteligencji. Firma może pochwalić się rosnącą liczbą klientów, którzy prowadzą na WSE 1 i mają zamiar prowadzić na WSE 2 niezwykle złożone obliczenia. Wśród klientów tych jest Argonne National Lab, które wykorzystuje WSE do prac nad lekami na nowotwory, badania COVID-19, badania fal grawitacyjnych czy badań nad nowymi materiałami. Z kolei Edinburgh Parallel Computing Centre używa WSE do przetwarzania języka naturalnego i badań genetycznych. Koncern farmaceutyczny GlaxoSmithKline poszukuje nowych leków za pomocą WSE 1, a Lawrence Livermore National Lab symuluje fuzję jądrową, prowadzi badania nad traumatycznymi uszkodzeniami mózgu. Wśród klientów Cerebras jest też wiele firm z przemysłu ciężkiego, wojskowego czy wywiadu. « powrót do artykułu

Cerebras Systems, twórca niezwykłego olbrzymiego procesora dla sztucznej inteligencji, poinformował, że jest on szybszy niż procesy fizyczne, które symuluje. W symulacji, składającej się z 500 milionów zmiennych CS-1 zmierzył się z superkomputerem Joule, 69. najpotężniejszą maszyną na świecie. I wykonał swoje zadanie 200-krotnie szybciej niż ona. O powstaniu niezwykłego procesora oraz wyzwaniach inżynieryjnych z nim związanych informowaliśmy na początku bieżącego roku. Wówczas jego twórcy obiecywali, że do końca roku przekonamy się o jego wydajności. I słowa dotrzymali. CS-1 symulował proces spalania w elektrowniach węglowych. I przeprowadził symulację tego procesu szybciej, niż zachodzi sam proces. Firma Cerebras i jej partnerzy z US National Energy Technology Center (NETL) mówią, że CS-1 jest znacznie szybszy od jakiegokolwiek superkomputera bazującego na tradycyjnych układach CPU czy GPU. Jak wyjaśnia dyrektor Cerebras, Andrew Feldman, prognozowanie pogody, projektowanie skrzydeł samolotu, przewidywanie rozkładu temperatur w reaktorze jądrowym i wiele innych złożonych problemów jest rozwiązywanych poprzez badanie ruchu cieczy w przestrzeni i czasie. W czasie takiej symulacji dzieli się przestrzeń na sześciany, modeluje ruch cieczy w każdym z sześcianów i określa interakcje pomiędzy sześcianami. W symulacji może być milion lub więcej sześcianów i 500 000 zmiennych. Przeprowadzenie odpowiednich obliczeń wymaga olbrzymiej mocy, wielu rdzeni, olbrzymiej ilości pamięci umieszczonej jak najbliżej rdzeni obliczeniowych, wydajnych połączeń pomiędzy rdzeniami oraz pomiędzy rdzeniami a układami pamięci. Wymaga też długotrwałego trenowania odpowiednich modeli sieci neuronowych. Układ CS-1 na pojedynczym kawałku krzemu mieści 400 000 rdzeni, 18 gigabajtów pamięci oraz łącza umożliwiające przesyłanie pomiędzy rdzeniami danych z prędkością 100 Pb/s, a przesył pomiędzy rdzeniami a układami pamięci odbywa się z prędkością 9 PB/s. Specjaliści z NETL postanowili porównać możliwości superkomputera Joule z możliwościami CS-1. Joule korzysta z 84 000 rdzeni CPU i do pracy potrzebuje 450 KW. Cerebras używa zaledwie 20 KW. Joule przeprowadził odpowiednie obliczenia w ciągu 2,1 milisekundy. CS-1 zajęły one 6 mikrosekund, był więc ponad 200-krotnie szybszy. Jak mówi Feldman, olbrzymia wydajność CS-1 niesie ze sobą dwa wnioski. Po pierwsze obecnie nie istnieje żaden superkomputer zdolny do pokonania CS-1 w rozwiązywaniu tego typu problemów. Wynika to z faktu, że takie symulacje nie skalują się dobrze. Dokładanie kolejnych rdzeni do współczesnych superkomputerów nie tylko nie pomoże, ale może nawet spowalniać tak wyspecjalizowane obliczenia. Dowiodło tego chociażby porównanie CS-1 i Joule'a. Superkomputer pracował najbardziej wydajnie, gdy używał 16 384 z 84 000 dostępnych rdzeni. Problemy takie wynikają z połączeń pomiędzy rdzeniami i pomiędzy rdzeniami a układami pamięci. Jeśli chcemy na przykład symulować układ składający się z zestawu 370x370x370 sześcianów to CS-1 mapuje warstwy na sąsiadujące ze sobą rdzenie. Komunikacja między rdzeniami odbywa się błyskawicznie, więc szybko wymieniają one dane dotyczące sąsiadujących sześcianów, a obliczenia dla każdej z warstw są przechowywane w znajdujących się na tym samym krzemie układach pamięci, więc rdzenie również mają do niej bezpośredni dostęp. Dodatkowo, jako że CS-1 jest w stanie przeprowadzić symulacje procesów fizycznych szybciej niż te procesy się odbywają, może zostać też wykorzystany do kontrolowania pracy złożonych systemów obliczeniowych. Feldman poinformował, że wśród klientów korzystających z SC-1 są m.in. GlaxoSmithKline, Argonne National Laboratory, Lawrence Livermore National Laboratory, Pittsburgh Supercomputing Centre oraz niewymienione z nazwy firmy i instytucje z branż wojskowej, wywiadowczej oraz przemysłu ciężkiego. Co więcej Cerebras ma już gotowego następcę CS-1. Został on wykonany w technologii 7nm (CS-1 zbudowano w technologi 16nm), korzysta z 40 GB pamięci (CS-1 z 20 GB) i 850 000 rdzeni (CS-1 ma 400 000 rdzeni). « powrót do artykułu