Jump to content
Forum Kopalni Wiedzy
Sign in to follow this  
KopalniaWiedzy.pl

Nowe podejście do superkomputerów

Recommended Posts

Uczeni z Uniwerstytetu Johnsa Hopkinsa konfigurują swój nowy superkomputer w sposób, który może zmienić zasady pomiaru wydajności takich maszyn. Argumentują przy tym, że nowa konfiguracja jest lepiej dostosowana do obliczeń naukowych, podczas których superkomputery wykorzystują gigantyczne ilości danych.

Obecnie wydajność superkomputerów mierzy się we flopsach czyli w operacjach zmiennoprzecinkowych na sekundę. Uczeni z Johna Hopkinsa konfigurują swoją maszynę pod kątem osiągnięcia najlepszej wydajności mierzonej w IOPS-ach, a zatem w liczbie operacji wejścia/wyjścia na sekundę. Innymi słowy, flopsy informują nas o zdolnościach obliczeniowych komputera, a IOPS-y o tym, jakie ilości danych mogą maszynę opuszczać i być do niej przesyłane.

Alexander Szalay, informatyk i astrofizyk z Institute for Data Intensive Engineering and Science wyjaśnia, że dla naukowców liczba operacji wejścia/wyjścia stała się wąskim gardłem. Ludzie uruchamiają na superkomputerach coraz większe symulacje, które zajmują olbrzymie ilości miejsca w pamięci operacyjnej, i bardzo trudno jest zapisywać dane wyjściowe na dysk.

Na nowy system, nazwany Data-Scope, przeznaczono 3,1 miliona dolarów, z czego 2,1 miliona to grant z Narodowej Fundacji Nauki. Superkomputer ma rozpocząć prace w maju przyszłego roku. Już w tej chwili 20 grup naukowych z Johnsa Hopkinsa wyraziło zainteresowanie jego użyciem. Chcą go wykorzystać do obliczeń związanych z genetyką, obiegiem wody w oceanach, turbulencjami, astrofizyką itp. Uniwersytet będzie udostępniał Data-Scope także obcym uczonym.

Proponowana przez uczonych z Johnsa Hopkinsa zmiana podejścia może być bardzo interesująca, gdyż powinna pozwolić na zmniejszenie kosztów użytkowania superkomputerów. Obecnie większość uczonych może na pojedynczej maszynie analizować dane o objętości nie większej niż 10 terabajtów. Do obrabiania większej ilości danych zaprzęga się kilka superkomputerów. Jak twierdzi Szalay, dzięki zmianie konfiguracji i skupieniu się na wskaźniku IOPS, możliwe będzie obniżenie kosztów analizy danych.

Twórcy Data-Scope zapewniają, że wydajność wydajność IOPS superkomputera wyniesie od 400 do 500 gigabitów na sekundę. To ponaddwukrotnie więcej niż wydajność IOPS obecnego lidera listy TOP500 - superkomputera Jaguar. Jednocześnie wydajność Data-Scope'a we FLOPS-ach to zaledwie 600 TFlops, czyli trzykrotnie mniej niż Jaguara.

Projektowany superkomputer składa się z około 100 serwerów, z których każdy ma do dyspozycji 24 dedykowane HDD i 4 SDD. Zapewnią one przepustowość danych rzędu 4,4 gigabity na sekundę. Za zdecydowaną większość obliczeń będą odpowiadały po dwa procesory graficzne (GPU) umieszczone w każdym z serwerów.

Konstruktorzy nowego superkomputera kierują się wytycznymi Gene'a Amdahla, który stwierdził, że idealna maszyna powinna dysponować 1 bitem I/O na każdą instrukcję, którą wykonuje. Obecnie reguła ta jest ignorowana i tzw. liczba Amdahla dla typowego superkomputera wynosi .001. W przypadku Data-Scope'a będzie to .6 lub .7.

Share this post


Link to post
Share on other sites

ameryki nie odkryli... chociaż tak naprawdę logiczne jest, że warto równolegle rozwijać jedno i drugie (szybkość dostarczania danych oraz moc obliczniową). Przecież to normalne że szybki procek będzie większość czasu mielił 'jałowe takty" jak będziemy mu dane podawać z dyskietki... z zabójczą prędkością 150kb/s ... i w druga stronę. Jak podepniemy najszybszy obecnie dysk HDD pod usb 1.0 i jakiegoś kompa z demobilu to i tak będzie się wszystko wolno przegrywało i działało. Jedno musi współgrać z drugim.

Share this post


Link to post
Share on other sites

Create an account or sign in to comment

You need to be a member in order to leave a comment

Create an account

Sign up for a new account in our community. It's easy!

Register a new account

Sign in

Already have an account? Sign in here.

Sign In Now
Sign in to follow this  

  • Similar Content

    • By KopalniaWiedzy.pl
      Unia Europejska kończy przygotowania do stworzenia „cyfrowego bliźniaka” Ziemi, za pomocą którego z niespotykaną dotychczas precyzją będzie można symulować atmosferę, oceany, lądy i kriosferę. Ma to pomóc zarówno w tworzeniu precyzyjnych prognoz pogody, jak i umożliwić przewidywanie wystąpienia susz, pożarów czy powodzi z wielodniowym, a może nawet wieloletnim wyprzedzeniem.
      Destination Earth, bo tak został nazwany projekt, będzie miał też za zadanie przewidywanie zmian społecznych powodowanych przez pogodę czy klimat. Ma również pozwolić na ocenę wpływ różnych polityk dotyczących walki ze zmianami klimatu.
      Destination Earth ma pracować z niespotykaną dotychczas rozdzielczością wynoszącą 1 km2. To wielokrotnie więcej niż obecnie wykorzystywane modele, dzięki czemu możliwe będzie uzyskanie znacznie bardziej dokładnych danych. Szczegóły projektu poznamy jeszcze w bieżącym miesiącu, natomiast sam projekt ma zostać uruchomiony w przyszłym roku i będzie działał na jednym z trzech superkomputerów, jakie UE umieści w Finlandii, Włoszech i Hiszpanii.
      Destination Earth powstała na bazie wcześniejszego Extreme Earth. Program ten, o wartości miliarda euro, był pilotowany przez European Centre for Medium-Range Weather Forecests (ECMWF). UE zlikwidowała ten program, jednak była zainteresowana kontynuowaniem samego pomysłu. Tym bardziej, że pojawiły się obawy, iż UE pozostanie w tyle w dziedzinie superkomputerów za USA, Chinami i Japonią, więc w ramach inicjatywy European High-Performance Computing Joint Undertaking przeznaczono 8 miliardów euro na prace nad eksaskalowym superkomputerem. Mają więc powstać maszyny zdolne do obsłużenia tak ambitnego projektu jak Destination Earth. Jednocześnie zaś Destination Earth jest dobrym uzasadnieniem dla budowy maszyn o tak olbrzymich mocach obliczeniowych.
      Typowe modele klimatyczne działają w rozdzielczości 50 lub 100 km2. Nawet jeden z czołowych modeli, używany przez ECMWF, charakteryzuje się rozdzielczością 9 km2. Wykorzystanie modelu o rozdzielczości 1 km2 pozwoli na bezpośrednie renderowanie zjawiska konwekcji, czyli pionowego transportu ciepła, które jest krytyczne dla formowania się chmur i burz. Dzięki temu można będzie przyjrzeć się rzeczywistym zjawiskom, a nie polegać na matematycznych przybliżeniach. Destination Earth ma być też tak dokładny, że pozwoli na modelowanie wirów oceanicznych, które są ważnym pasem transmisyjnym dla ciepła i węgla.
      W Japonii prowadzono już testy modeli klimatycznych o rozdzielczości 1 km2. Wykazały one, że bezpośrednie symulowane burz i wirów pozwala na opracowanie lepszych krótkoterminowych prognoz pogody, pozwala też poprawić przewidywania dotyczące klimatu w perspektywie miesięcy czy lat. Jest to tym bardziej ważne, że niedawne prace wykazały, iż modele klimatyczne nie są w stanie wyłapać zmian we wzorcach wiatrów, prawdopodobnie dlatego, że nie potrafią odtworzyć burz czy zawirowań.
      Modele o większej rozdzielczości będą mogły brać pod uwagę w czasie rzeczywistym informacje o zanieczyszczeniu powietrza, szacie roślinnej, pożarach lasów czy innych zjawiskach, o których wiadomo, że wpływają na pogodę i klimat. Jeśli jutro dojdzie do erupcji wulkanicznej, chcielibyśmy wiedzieć, jak wpłynie ona na opady w tropikach za kilka miesięcy, mówi Francisco Doblas-Reyes z Barcelona Supercomputing Center.
      Tak precyzyjny model byłby w stanie pokazać np. jak subsydiowanie paliw roślinnych wpływa na wycinkę lasów Amazonii czy też, jak zmiany klimatu wpłyną na ruch migracyjne ludności w poszczególnych krajach.
      Działanie na tak precyzyjnym modelu będzie wymagało olbrzymich mocy obliczeniowych oraz kolosalnych możliwości analizy danych. O tym, jak poważne to zadanie, niech świadczy następujący przykład. W ubiegłym roku przeprowadzono testy modelu o rozdzielczości 1 kilometra. Wykorzystano w tym celu najpotężniejszy superkomputer na świecie, Summit. Symulowano 4 miesiące działania modelu. Testujący otrzymali tak olbrzymią ilość danych, że wyodrębnienie z nich użytecznych informacji dla kilku symulowanych dni zajęło im... pół roku. Obecnie w tym tkwi najpoważniejszy problem związany z modelami pogodowymi i klimatycznymi w wysokiej rozdzielczości. Analiza uzyskanych danych zajmuje bardzo dużo czasu. Dlatego też jednym z najważniejszych elementu projektu Destination Earth będzie stworzenie modelu analitycznego, który dostarczy użytecznych danych w czasie rzeczywistym.
      Destination Earth będzie prawdopodobnie pracował w kilku trybach. Na co dzień będzie się prawdopodobnie zajmował przewidywaniem wpływu ekstremalnych zjawisk atmosferycznych na najbliższe tygodnie i miesiące. Co jakiś czas, być może raz na pół roku, zajmie się długoterminowymi, obejmującymi dekady, prognozami zmian klimatycznych.
      Nie tylko Europa planuje tworzenie precyzyjnych modeli klimatycznych przy użyciu eksaskalowych superkomputerów. Też zmierzamy w tym kierunku, ale jeszcze nie zaangażowaliśmy się to tak mocno, przyznaje Ruby Leung z Pacific Northwest National Laboratory, który jest głównym naukowcem w prowadzonym przez amerykański Departament Energii projekcie modelowania systemu ziemskiego.

      « powrót do artykułu
    • By KopalniaWiedzy.pl
      Tegoroczna International Conference for Hight Performance Computing (SC19) nie przyniosła żadnych sensacyjnych informacji na temat TOP500, listy najpotężniejszych komputerów na świecie. Znacznie bardziej interesujące było to, co mówiono o systemach eksaskalowych, których budowa ma rozpocząć się w 2021 roku.
      Wielkimi wygranymi są tutaj ADM, Cray i Intel. Już teraz wiadomo, że firmy te będą tworzyły trzy eksaskalowe maszyny, których powstanie sfinansuje Departament Energii. Cray, należący obecnie do HP Enterprise, będzie odpowiedzialny za połączenia we wszystkich wspomnianych superkomputerach. Maszyna eksaskalowa to superkomputery zdolny do wykonania 1 eksaflopsa czyli 1 tryliona (1018) operacji zmiennoprzecinkowych na sekundę.
      Budową superkomputera Frontier, który stanie w Oak Ridge National Laboratory, zajmą się AMD i Cray. AMD dostarczy CPU i GPU. Zintegrowanie całości będzie zadaniem Craya. Z kolei maszyna Aurora, przeznaczona dla Argonne National Laboratory, ma zostać zbudowana przez Intela (GPU i GPU) oraz Craya (integracja). Trzeci z planowanych w najbliższych latach amerykańskich systemów eksaskalowych – El Capitán – ma zostać zbudowany przez Craya. Obecnie nie wiadomo, kto dostarczy doń procesorów.
      Na pierwszy rzut oka widać, że brakuje w tym towarzystwie dwóch potentatów rynku HPC (High Performance Computing) – IBM-a i Nvidii. Jednak jeśli nawet żadna z tych firm nie będzie zaangażowana w budowę El Capitana, to z pewnością nie zabraknie dla nich pracy na rynku superkomputerów.
      Jeszcze przed SC19 odbyła się konferencja zorganizowana przez Intela, na której koncern mówił o kościach, które rozwija na potrzeby Aurory. Wiemy, że zostaną one wykonane w 7-nanometrowym procesie. Nazwa kodowa procesora Xeon dla Aurory to Sapphire Rapids. Jednak uczestników konferencji bardziej zainteresował przyszły intelowski GPU – Xe HPC o nazwie kodowej Ponte Vecchio.
      Ponte Vecchio będzie miał wersję specjalnie na rynek HPC. Głównym zadaniem układów GPU przeznaczonych do zastosowań HPC jest przetwarzanie liczb zmiennoprzecinkowych pojedynczej i podwójnej precyzji, jednak nowy GPU Intela ma również wspierać formaty popularne na polu sztucznej inteligencji, takie jak INT8, BFloat16 i FP16. Intel wykorzysta również technologię pakowania układów EMIB, która pozwala na podłączenie GPU do interfejsu HBM (High Bandwidth Memory). Ponadto w Ponte Vecchio znajdziemy technologię Foveros 3D pozwalającą składać procesor na podobieństwo klocków i interkonekt XE Memory Fabric (XEMF), przez co CPU i GPU mają mieć dostęp do superszybkiej pamięci zwanej Rambo cache'em. Dzięki dużej ilości cache'u ma poprawić się skalowalność tak ambitnych projektów jak superkompuery eksaskalowe.
      Na potrzeby tych rozwiązań intel tworzy też nowe oprogramowanie oparte na nowym języku programowania Data Parallel C++ (DPC++). Bazuje on na standardzie SYCL z dodanymi przez Intela specyficznymi rozszerzeniami.
      Pojedynczy węzeł Aurory będzie zawierał 2 układy Xeon Sapphire Rapids oraz 6 Ponte Vecchio HPC GPU. Trzeba zauważyć, że Intel wziął na siebie bardzo ambitne zadanie. W ciągu dwóch lat musi bowiem mieć gotowe i przetestowane nowe oprogramowanie, nowy GPU wykonany według nowego procesu produkcyjnego i nowej technologii pakowania.
      W lepszej sytuacji jest AMD. Maszyna Frontier będzie korzystała z EPYC CPU i Radeon Instinct GPU. Firma już produkuje te kości. Obecnie pracuje nad ROCM, czyli odpowiedzią na CUDA Nvidii. ROCM będzie wspierało Tensor Flow i PyTorch. Obecnie AMD bardzo mocno inwestuje w rozwój tej platformy, a podczas SC19 przedstawiciele firmy zapowiedzieli poszerzenie ofery procesorów EPYC.
      Co jeszcze wiemy o przyszłych amerykańskich eksaskalowych komputerach?
      Budowana przez Craya maszyna El Capitán będzie stała z Lawrence Livermore National Laboratory. Jej maksymalna wydajność ma przekraczać 1,5 eksaflopsa, a komputer – wyposażony w zaawansowane możliwości modelowania, symulacji i sztucznej inteligencji bazujące na architekturze Shasta – będzie wykorzystywany do zadań związanych z bezpieczeństwem nuklearnym. Na jego zbudowanie przeznaczono 600 milionów USD, a maszyna ma zostać dostarczona pod koniec 2022 roku.
      Tworzony przez AMD i Craya Frontier ma ruszyć już w 2021 roku, a jego wydajność ma być wyższa niż 1,5 eksafolopsa. Superkomputer będzie wykorzystywany do wielu zadań związanych m.in. z badaniami nad rozpadem atomowym, badaniami klimatu, zostanie zaprzęgnięty do pracy w dziedzinie biomedycyny i inżynierii materiałowej. Również i on ma kosztować około 600 milionów USD.
      Jeśli zaś chodzi o Aurorę, to będzie się on zajmował badaniami nad fuzją jądrową, poszukiwał leków na nowotwory, wykorzystany zostanie przez chemików do badania procesów katalitycznych, wspomoże też nauki z dziedziny neurobiologii czy astrofizyki. Również i na tę maszynę przeznaczono 600 milionów dolarów. Jej wydajność ma przekraczać 1 eksaflops, a komputer ma być gotowy w 2021 roku.

      « powrót do artykułu
    • By KopalniaWiedzy.pl
      Do 2020 r. naukowcy z Akademii Górniczo-Hutniczej w Krakowie zbudują, razem z partnerami europejskimi, superkomputer. Będzie on 10 razy szybszy niż obecnie działający najszybszy komputer w Europie – poinformowało Ministerstwo Nauki i Szkolnictwa Wyższego.
      Ów superkomputer trafi do jednego z ośmiu ośrodków obliczeń superkomputerowych, których lokalizację ogłosiła w piątek Komisja Europejska. Europejskie superkomputery będą wspierać naukowców, przemysł i przedsiębiorstwa w opracowywaniu nowych zastosowań w wielu dziedzinach – od tworzenia leków i nowych materiałów, po walkę ze zmianą klimatu.
      Prace odbędą się w ramach Europejskiego Wspólnego Przedsięwzięcia w dziedzinie Obliczeń Wielkiej Skali (EuroHPC Joint Undertaking).
      Deklarację o przystąpieniu Polski do EuroHPC podpisał w 2018 wicepremier, minister nauki i szkolnictwa wyższego Jarosław Gowin.
      Jak podało Ministerstwo Nauki i Szkolnictwa Wyższego (MNiSW), Polska jest jednym z ośmiu krajów, które wchodzi w skład konsorcjum LUMI (Large Unified Modern Infrastructure). Razem z Finlandią, Belgią, Czechami, Danią, Norwegią, Szwecją i Szwajcarią weźmie udział w opracowaniu, instalacji i udostępnieniu naukowcom superkomputera przed-eksaskalowego. Instalacja planowana jest już w roku 2020 i odbędzie się w fińskim centrum danych w Kajaani.
      Polskę w konsorcjum LUMI reprezentuje Akademickie Centrum Komputerowe Cyfronet Akademii Górniczo-Hutniczej w Krakowie, operator najszybszego w Polsce superkomputera Prometheus.
      Planowana moc obliczeniowa superkomputera będzie ok. 10 razy większa od szwajcarskiego Piz Daint – najszybszego superkomputera działającego obecnie w Europie. Dzięki temu europejscy naukowcy i przedsiębiorcy zyskają narzędzie dostępne do tej pory jedynie światowym liderom w zakresie obliczeń wielkiej skali: USA, Japonii i Chin - poinformował resort nauki.
      Dostęp do superkomputera będzie realizowany tradycyjnie, jak również poprzez chmurę.
      Całkowity budżet systemu wynosi ponad 207 mln euro. Połowa tej kwoty pochodzi ze środków Komisji Europejskiej, a połowa od państw tworzących konsorcjum. Ministerstwo Nauki i Szkolnictwa Wyższego przekaże na ten cel 5 mln euro. To wsparcie zapewni polskim naukowcom - zarówno akademickim, jak i tym z przemysłu - bezpośredni dostęp do najszybszych europejskich zasobów obliczeniowych – podkreśla resort nauki.
      Jak przypomina, obecnie polscy naukowcy korzystają z istniejących superkomputerów m.in. do badania sztucznych liści grafenowych odtwarzających proces fotosyntezy; komputerowego projektowania leków, modelowania enzymów i wydajnych katalizatorów, symulacji cząstek elementarnych; analizy fal grawitacyjnych.
      Obliczenia wielkiej skali umożliwią przeprowadzanie wielokrotnie bardziej zaawansowanych badań niż obecnie. Nowe możliwości pozwolą na dokonywanie przełomów w nauce. Przekroczenie istniejących ograniczeń przyczyni się do nowych osiągnięć w zakresie chemii, inżynierii materiałowej, biotechnologii, fizyki czy medycyny - wskazuje resort nauki.
      Według MNiSW moc obliczeniowa superkomputera z centrum obliczeniowego z Kajaani pozwoli podjąć również takie problemy badawcze, jak prognozowanie zmian klimatycznych, rozwój sztucznej inteligencji, produkcję czystej energii; wspomoże też badania w zakresie medycyny spersonalizowanej.
      Superkomputer będzie składać się z trzech partycji: akceleracyjnej, opartej o procesory graficzne ogólnego przeznaczenia GPU, klasycznej, zbudowanej z tradycyjnych procesorów CPU, partycji do analizy danych.
      Planowana moc obliczeniowa superkomputera EuroHPC to ok. 200 PFlops, czyli 0,2 EFlops. Na potrzeby prowadzenia obliczeń superkomputer będzie wyposażony w zasoby pamięci masowych o pojemności ponad 60 PB, w tym szybkie pamięci typu flash o przepustowości ponad 1TB/s.

      « powrót do artykułu
    • By KopalniaWiedzy.pl
      Superkomputer Watson, który pokonał w teleturnieju Va Banque ludzkich arcymistrzów - Kena Jenningsa i Brada Ruttera - stanie do walki z... trolami patentowymi.
      IBM wyposażył komputer w oprogramowanie o nazwie Strategic IP Insight Platform (SIIP), dzięki któremu maszyna będzie mogła zapoznawać się z recenzowanymi pismami specjalistycznymi, bazami danych patentów, będzie katalogowała przedsiębiorstwa, analizowała ich własność intelektualną i produkty. IBM ma nadzieję, że dzięki temu będzie można łatwo wyłapać patenty, które nie powinny być przyznane, gdyż już wcześniej używano tego typu rozwiązań.
      Teoretycznie patenty powinny być przyznawane tylko na rozwiązania nowe i nieoczywiste. Jednak samo zdefiniowanie tego, co jest rozwiązaniem „oczywistym" jest bardzo trudne. Jeśli zaś weźmiemy też pod uwagę błędy popełniane przez urzędników, nawał pracy, zaniechania, niemożność dotarcia do wszelkich danych i inne czynniki, stanie się jasnym, jak łatwo można przyznać patent na rozwiązanie, które istniało już wcześniej.
      Tutaj ma właśnie wkroczyć Watson. O ile bowiem superkomputer nie rozstrzygnie sporów wokół tego, które rozwiązanie jest oczywiste, a które nie, to może pomóc w stwierdzeniu, czy jakiś wynalazek był już wcześniej używany.
      Podczas pokazu Watsona wyposażono w opis 4,7 miliona patentów oraz 11 milionów artykułów naukowych z lat 1976-2000. Watson na podstawie tekstu i grafik wyodrębniał nowe związki chemiczne, odnajdował słowa-klucze, nazwiska autorów i nazwy firm.
      Na podstawie takiej analizy Watson wyodrębnił 2,5 miliona związków chemicznych, które uznał za unikatowe. Dla każdego z nich zidentyfikował następnie najwcześniejszy patent.
      IBM udostępnił utworzoną przez Watsona bazę amerykańskiemu NIH (National Institutes of Health), zezwalając każdemu naukowcowi, niezależnie od miejsca zamieszkania, na bezpłatne korzystanie z bazy.
    • By KopalniaWiedzy.pl
      Japoński superkomputer Tsubame 2.0 otrzymał prestiżową Nagrodę Gordona Bella. To najwyższe wyróżnienie na rynku superkomputerów. Przyznawane jest ono za niezwykłe osiągnięcia w dziedzinie przetwarzania równoległego.
      Tsubame 2.0 to rzeczywiście niezwykła maszyna. Wykorzystuje ona serwery HP ProLiant SL390 z sześciordzeniowymi procesorami Xeon 5650 oraz karty Nvidia Tesla GPU. Dzięki zastosowaniu procesorów graficznych do wykonywania obliczeń wektorowych udało się znacznie odciążyć CPU.
      Do osiągnięcia wydajności 2 petaflopsów Tsubame 2.0 potrzebuje zaledwie 1,2 megawata mocy. Superkomputer pracuje zatem 3,4 razy bardziej efektywnie niż jego odpowiednik, komputer Cielo, który wykorzystuje tylko procesory x86.
      Tsubame 2.0 zajmuje pierwsze miejsce na liście Green500, najbardziej efektywnych superkomputerów na świecie.
×
×
  • Create New...