Jump to content
Forum Kopalni Wiedzy
Sign in to follow this  
KopalniaWiedzy.pl

Powstaje największy na świecie system przechowywania danych

Recommended Posts

IBM pracuje nad najbardziej pojemnym magazynem danych w historii. W laboratoriach w Almaden powstaje 120-petabajtowy system przechowywania danych. Będzie się on składał z 200 000 wspólnie pracujących dysków twardych. W sumie ma on pomieścić biliard plików, a jego twórcy mają nadzieję, że wspomoże symulowanie tak złożonych systemów jak klimat i pogoda. Same informacje dotyczące położenia poszczególnych plików, ich nazw oraz atrybutów zajmą około 2 petabajtów.

Magazyn danych powstaje na potrzeby jednego z klientów IBM-a, który zamówił też nowy superkomputer do symulowania procesów zachodzących w przyrodzie. Bruce Hillsberg, dyrektor ds. badań nad systemami przechowywania danych, który odpowiada za powyższy projekt mówi, że doświadczenia zdobyte podczas tworzenia takiego systemu przydadzą się do opracowania podobnych komercyjnych magazynów danych. Jego zdaniem w ciągu najbliższych kilku lat firmy oferujące chmury obliczeniowe zaczną składać zamówienia na podobne systemy przechowywania danych.

Inżynierowie IBM-a mają do wykonania bardzo ambitne zadanie. Obecnie największe systemy przechowywania danych liczą sobie około 15 petabajtów.

Na potrzeby obecnego zamówienia IBM opracował nowy sprzęt i oprogramowanie. Wiadomo, że całość będzie chłodzona wodą, a inżynierowie zastanawiają się, w jaki sposób umieścić dyski tak, by zajmowały jak najmniej miejsca. Kolejnym poważnym wyzwaniem jest radzenie sobie z nieuniknionymi awariami poszczególnych dysków. Wykorzystano standardową technikę przechowywania licznych kopii danych na różnych urządzeniach, ale jednocześnie udoskonalono ją tak, by mimo awarii poszczególnych dysków całość pracowała z maksymalną wydajnością.

Gdy jakiś dysk ulegnie awarii, to po jego wymianie system pobierze dane z innych dysków tak, by stworzyć dokładną kopię zepsutego nośnika. Wgrywanie danych ma odbywać się na tyle wolno, by nie wpływało na wydajność systemu. Jeśli natomiast jednocześnie zepsuje się kilka sąsiednich dysków, tworzenie ich kopii ma przebiegać bardzo szybko, by uniknąć niebezpieczeństwa, że dojdzie do kolejne awarii, która spowoduje całkowitą utratę danych. Hillsberg ocenia, że dzięki takim rozwiązaniom system nie utraci żadnych danych przez około milion lat, a jednocześnie nie wpłynie negatywnie na wydajność superkomputera.

Magazyn będzie wykorzystał system plików GPFS, który powstał w Almaden na potrzeby superkomputerów. System ten zapisuje wiele kopii plików na różnych nośnikach, co pozwala na błyskawiczny ich odczyt, ponieważ różne fragmenty pliku mogą być później odczytywane jednocześnie z różnych dysków. Ponadto umożliwia on informacji o dokładnym położeniu każdego pliku, dzięki czemu uniknięto konieczności skanowania dysków w poszukiwaniu potrzebnych plików. W ubiegłym miesiącu, korzystając z systemu GPFS inżynierowe IBM-a zaindeksowali 10 miliardów plików w ciągu zaledwie 43 minut, znacznie poprawiając poprzedni rekord wynoszący miliard plików w trzy godziny.

Share this post


Link to post
Share on other sites

zawstydzą nawet samego Chucka Norrisa - ściągną internet na "dyskietkę" :)

 

gdzieś ze dwa lata temu było głośno o zamówieniu amerykańskiego NSA na macierz o pojemności rzędu jotabajta (na kopie naszych maili, rozmów telefonicznych i wszystkiego co da się legalnie bądź nie skądkolwiek skopiować). stos dysków (w sumie 1012 sztuk) o pojemności 1TB (1012 bajtów) każdy, ułożonych ciasno obok siebie miałby w przybliżeniu 2km x 2km x 100m. nikt nigdy nie sprostował ani nie zdementował tej informacji, przynajmniej ja się z takim dementi nie spotkałem. te 120PB wyglądają trochę biednie przy tym kolosie :P

http://range.wordpress.com/2009/11/02/nsas-yottabytes-of-data/

pominę czysto techniczne rozważania na temat niemożliwości istnienia takiego monstrum.

Share this post


Link to post
Share on other sites

Create an account or sign in to comment

You need to be a member in order to leave a comment

Create an account

Sign up for a new account in our community. It's easy!

Register a new account

Sign in

Already have an account? Sign in here.

Sign In Now
Sign in to follow this  

  • Similar Content

    • By KopalniaWiedzy.pl
      W laboratorium IBM-a w Zurichu zaprezentowano rekordowo pojemny napęd taśmowy. Pojedynczy kartridż pozwala na przechowanie aż... 580 terabajtów danych. To aż 29-krotnie więcej niż oferowany obecnie przez IBM-a kartridż o pojemności 20 TB. Błękitny Gigant jest tutaj rynkowym liderem. Najnowszy standard przemysłowy LTO-Ultrium (Linear Tape-Open, version 9) mówi o kartridżach o pojemności 18 TB.
      Mark Lantz, menedżer CloudFPGA odpowiedzialny w IBM Zurich za technologie taśmowe mówi, że w ostatnich latach taśmy magnetyczne przeżywają swój renesans. Ma to związek z jednej strony z wykładniczym wzrostem ilości wytwarzanych danych, które trzeba gdzieś archiwizować oraz z jednoczesnym spowolnieniem przyrostu gęstości zapisu na dyskach twardych. Jak zauważa Lantz, w ciągu ostatnich kilkunastu lat składane roczne tempo wzrostu gęstości zapisu na HDD spadło do poniżej 8%. Jednocześnie świat produkuje coraz więcej danych. Roczny wzrost wytwarzania informacji wynosi aż 61%. Eksperci mówią, że do roku 2025 wytworzymy 175 zetabajtów danych.
      Jako, że gęstość zapisu HDD niemal stanęła w miejscu, dramatycznie wzrosła cena każdego gigabajta dysnku twardego. Już w tej chwili 1 bit HDD jest czterokrotnie droższy niż 1 bit taśmy magnetycznej. Ta wielka nierównowaga pojawiła się w bardzo niekorzystnym momencie, gdy ilość wytwarzanych danych zaczęła gwałtownie rosnąć. Centra bazodanowe mają coraz większy problem. Na szczęście zdecydowana większość danych to informacje, które są rzadko potrzebne. To zaś oznacza, że w ich przypadku szybkość odczytu danych nie jest rzeczą zbyt istotną. Mogą być więc przechowywane na taśmach magnetycznych.
      Taśmy mają wiele zalet w porównaniu z dyskami twardymi. Są bardziej odporne na ataki cyberprzestępców, do działania potrzebują mniej energii, są trwałe i znacznie tańsze w przeliczeniu na gigabajt. Zalety te spowodowały, że – jak ocenia IBM – już 345 000 eksabajtów danych przechowywanych jest właśnie na taśmach.
      Najnowszy napęd taśmowy to wynik 15-letniej współpracy IBM-a i Fujifilm. Od roku 2006 firmy pobiły sześć kolejnych rekordów dotyczących napędów taśmowych. Ostatnie osiągnięcie było możliwe dzięki udoskonaleniu samej taśmy, głowicy odczytującej oraz serwomechanizmu odpowiadającego za precyzję pozycjonowania głowicy. Firma Fujifilm odeszła tutaj od przemysłowego standardu jakim jest ferryt baru i pokryła taśmę mniejszymi cząstkami ferrytu strontu. Inżynierowie IBM-a, mając do dyspozycji nową taśmę, opracowali nową technologię głowicy odczytująco-zapisującej, która współpracuje z tak gładką taśmą.
      O tym jak wielkie postępy zostały dokonane w ciągu kilkunastoletniej współpracy Fujifilm i IBM-a najlepiej świadczą liczby. W roku 2006 obie firmy zaprezentowały taśmę pozwalającą na zapisanie 6,67 miliarda bitów na calu kwadratowym. Najnowsza taśma pozwala na zapis 317 miliardów bitów na cal. Kartridż z roku 2006 miał pojemność 8 TB, obecnie jest to 580 TB. Szerokość ścieżki zapisu wynosiła przed 14 laty 1,5 mikrometra (1500 nanometrów), teraz to zaledwie 56,2 nanometra. Liniowa gęstość zapisu w roku 2006 sięgała 400 000 bitów na cal taśmy. Na najnowszej taśmie na każdym calu można zapisać 702 000 bitów. Zmniejszyła się też – z 6,1 mikrometra do 4,3 mikrometra – grubość taśmy, wzrosła za to jej długość. W pojedynczym kartridżu mieści się obecnie 1255 metrów taśmy, a przed 14 laty było to 890 metrów.

      « powrót do artykułu
    • By KopalniaWiedzy.pl
      IBM uruchomił w Nowym Jorku Quantum Computation Center, w którym znalazł się największy na świecie zbiór komputerów kwantowych. Wkrótce dołączy do nich nich 53-kubitowy system, a wszystkie maszyny są dostępne dla osób i instytucji z zewnątrz w celach komercyjnych i naukowych.
      Quantum Computation Center ma w tej chwili ponad 150 000 zarejestrowanych użytkowników oraz niemal 80 klientów komercyjnych, akademickich i badawczych. Od czasu, gdy w 2016 roku IBM udostępnił w chmurze pierwszy komputer kwantowy, wykonano na nim 14 milionów eksperymentów, których skutkiem było powstanie ponad 200 publikacji naukowych. W związku z rosnącym zainteresowaniem obliczeniami kwantowymi, Błękity Gigant udostępnił teraz 10 systemów kwantowych, w tym pięć 20-kubitowych, jeden 14-kubitowy i cztery 5-kubitowe. IBM zapowiada, że w ciągu miesiąca liczba dostępnych systemów kwantowych wzrośnie do 14. Znajdzie się wśród nich komputer 53-kubitowy, największy uniwersalny system kwantowy udostępniony osobom trzecim.
      Nasza strategia, od czasu gdy w 2016 roku udostępniliśmy pierwszy komputer kwantowy, polega na wyprowadzeniu obliczeń kwantowych z laboratoriów, gdzie mogły z nich skorzystać nieliczne organizacje, do chmur i oddanie ich w ręce dziesiątków tysięcy użytkowników, mówi Dario Gil, dyrektor IBM Research. Chcemy wspomóc rodzącą się społeczność badaczy, edukatorów i deweloperów oprogramowania komputerów kwantowych, którzy dzielą z nami chęć zrewolucjonizowania informatyki, stworzyliśmy różne generacje procesorów kwantowych, które zintegrowaliśmy w udostępnione przez nas systemy kwantowe.
      Dotychczas komputery kwantowe IBM-a zostały wykorzystane m.in. podczas współpracy z bankiem J.P. Morgan Chase, kiedy to na potrzeby operacji finansowych opracowano nowe algorytmy przyspieszające pracę o całe rzędy wielkości. Pozwoliły one na przykład na osiągnięcie tych samych wyników dzięki dostępowi do kilku tysięcy przykładów, podczas gdy komputery klasyczne wykorzystujące metody Monte Carlo potrzebują milionów próbek. Dzięki temu analizy finansowe mogą być wykonywane niemal w czasie rzeczywistym. Z kolei we współpracy z Mitsubishi Chemical i Keio University symulowano początkowe etapy reakcji pomiędzy litem a tlenem w akumulatorach litowo-powietrznych.

      « powrót do artykułu
    • By KopalniaWiedzy.pl
      Badacze IBM-a postawili sobie ambitny cel. Chcą co roku dwukrotnie zwiększać wydajność komputerów kwantowych tak, by w końcu były one szybsze lub bardziej wydajne niż komputery klasyczne. Podczas tegorocznych targów CES IBM pokazał przełomowe urządzenie: IBM Q System One, pierwszy komputer kwantowy, który ma być gotowy do komercyjnego użytku.
      Celem IBM-a jest coś, co nazywają „Quantum Advantage” (Kwantowa przewaga). Zgodnie z tym założeniem komputery kwantowe mają zyskać „znaczną” przewagę nad komputerami klasycznymi. Przez „znaczną” rozumie się tutaj system, który albo będzie setki lub tysiące razy szybszy od komputerów kwantowych, albo będzie wykorzystywał niewielki ułamek pamięci potrzebny maszynom kwantowym lub też będzie w stanie wykonać zadania, jakich klasyczne komputery wykonać nie są.
      Wydajność komputera kwantowego można opisać albo za pomocą tego, jak sprawują się poszczególne kubity (kwantowe bity), albo też jako ogólną wydajność całego systemu.
      IBM poinformował, że Q System One może pochwalić się jednym z najniższych odsetków błędów, jakie kiedykolwiek zmierzono. Średni odsetek błędów na dwukubitowej bramce logicznej wynosi mniej niż 2%, a najlepszy zmierzony wynik to mniej niż 1%. Ponadto system ten jest bliski fizycznemu limitowi czasów koherencji, który w w przypadku Q System One wyniósł średnio 73 ms.To oznacza, że błędy wprowadzane przez działanie urządzenia są dość małe i zbliżamy się do osiągnięcia minimalnego możliwego odsetka błędów, oświadczyli badacze IBM-a.
      Błękitny Gigant stworzył też Quantum Volume, system pomiaru wydajności komputera kwantowego jako całości. Bierze on pod uwagę zarówno błędy na bramkach, błędyh pomiarów czy wydajność kompilatora. Jeśli chcemy osiągnąć Quantum Advantage w latach 20. XXI wieku, to każdego roku wartość Quantum Volume musi się co najmniej podwajać, stwierdzili badacze. Na razie udaje im się osiągnąć cel. Wydajność pięciokubitowego systemu Tenerife z 2017 roku wynosiła 4. W 2018 roku 20-kubitowy system IBM Q osiągnął w teście Quantum Volume wynik 8. Najnowszy zaś Q System One nieco przekroczył 16.
      Sądzimy, że obecnie przyszłość komputerów to przyszłość komputerów kwantowych, mówią specjaliści z IBM-a.

      « powrót do artykułu
    • By KopalniaWiedzy.pl
      IBM poinformował o podpisaniu porozumienia, w ramach którego Błękitny Gigant przejmie znanego producenta jednej z dystrybucji Linuksa, firmę Red Hat. Transakcja będzie warta 34 miliardy dolarów. Jeśli do niej dojdzie będzie to trzecia największa w historii akwizycja na rynku IT.
      Umowa przewiduje, że IBM wykupi akcje Red Hata, płacąc za każdą z nich 190 dolarów. Na zamknięciu ostatniej sesji giełdowej przed ogłoszeniem transakcji akcje Red Hata kosztowały 116,68 USD.
      Przejęcie Red Hata zmieni zasady gry. Całkowicie zmieni rynek chmur obliczeniowych, mówi szef IBM-a Ginni Rometty. "IBM stanie się największym na świecie dostawcą dla hybrydowych chmur i zaoferuje przedsiębiorcom jedyną otwartą architekturę chmur, dzięki której klient będzie mógł uzyskać z niej maksimum korzyści", dodał. Zdaniem menedżera obenie większość firm wstrzymuje się z rozwojem własnych chmur ze względu na zamknięte architektury takich rozwiązań.
      Jeszcze przed kilku laty IBM zajmował się głównie produkcją sprzętu komputerowego. W ostatnim czasie firma zdecydowanie weszła na takie rynki jak analityczny czy bezpieczeństwa. Teraz ma zamiar konkurować z Microsoftem, Amazonem czy Google'em na rynku chmur obliczeniowych.
      Po przejęciu Red Hat będzie niezależną jednostką zarządzaną przez obecnego szefa Jima Whitehursta i obecny zespół menedżerów. To ważny dzień dla świata open source. Doszło do największej transakcji w historii rynku oprogramowania i bierze w tym udział firma zajmująca się otwartym oprogramowaniem. Tworzymy historię, dodał Paul Cormier, wiceprezes Red Hata.
      Obecnie Red Hat ma siedziby w 35 krajach, zatrudnia około 12 000 osób je jest jednym z największych oraz najbardziej znanych graczy na rynku open source. W roku 2018 zysk firmy wyniósł 259 milionów dolarów czy przychodach rzędu 2,9 miliarda USD. Dla porównania, w 2017 roku przychody IBM-a zamknęły się kwotą 79 miliardów dolarów, a zysk to 5,8 miliarda USD.
      Na przejęcie muszą się jeszcze zgodzić akcjonariusze Red Hata oraz odpowiednie urzędy antymonopolowe.

      « powrót do artykułu
    • By KopalniaWiedzy.pl
      IBM pokaże dzisiaj prototypowy optyczny układ scalony „Holey Optochip“. To pierwszy równoległy optyczny nadajnik-odbiornik pracujący z prędkością terabita na sekundę. Urządzenie działa zatem ośmiokrotnie szybciej niż inne tego typu kości. Układ pozwala na tak szybki transfer danych, że mógłby obsłużyć jednocześnie 100 000 typowych użytkowników internetu. Za jego pomocą można by w ciągu około godziny przesłać zawartość Biblioteki Kongresu USA, największej biblioteki świata.
      Holey Optochip powstał dzięki wywierceniu 48 otworów w standardowym układzie CMOS. Dało to dostęp do 24 optycznych nadajników i 24 optycznych odbiorników. Przy tworzeniu kości zwrócono też uwagę na pobór mocy. Jest on jednym z najbardziej energooszczędnych układów pod względem ilości energii potrzebnej do przesłania jednego bita informacji. Holey Optochip potrzebuje do pracy zaledwie 5 watów.
      Cały układ mierzy zaledwie 5,2x5,8 mm. Odbiornikami sygnału są fotodiody, a nadajnikami standardowe lasery półprzewodnikowe VCSEL pracujące emitujące światło o długości fali 850 nm.
  • Recently Browsing   0 members

    No registered users viewing this page.

×
×
  • Create New...