Skocz do zawartości
Forum Kopalni Wiedzy
KopalniaWiedzy.pl

Powstaje największy na świecie system przechowywania danych

Rekomendowane odpowiedzi

IBM pracuje nad najbardziej pojemnym magazynem danych w historii. W laboratoriach w Almaden powstaje 120-petabajtowy system przechowywania danych. Będzie się on składał z 200 000 wspólnie pracujących dysków twardych. W sumie ma on pomieścić biliard plików, a jego twórcy mają nadzieję, że wspomoże symulowanie tak złożonych systemów jak klimat i pogoda. Same informacje dotyczące położenia poszczególnych plików, ich nazw oraz atrybutów zajmą około 2 petabajtów.

Magazyn danych powstaje na potrzeby jednego z klientów IBM-a, który zamówił też nowy superkomputer do symulowania procesów zachodzących w przyrodzie. Bruce Hillsberg, dyrektor ds. badań nad systemami przechowywania danych, który odpowiada za powyższy projekt mówi, że doświadczenia zdobyte podczas tworzenia takiego systemu przydadzą się do opracowania podobnych komercyjnych magazynów danych. Jego zdaniem w ciągu najbliższych kilku lat firmy oferujące chmury obliczeniowe zaczną składać zamówienia na podobne systemy przechowywania danych.

Inżynierowie IBM-a mają do wykonania bardzo ambitne zadanie. Obecnie największe systemy przechowywania danych liczą sobie około 15 petabajtów.

Na potrzeby obecnego zamówienia IBM opracował nowy sprzęt i oprogramowanie. Wiadomo, że całość będzie chłodzona wodą, a inżynierowie zastanawiają się, w jaki sposób umieścić dyski tak, by zajmowały jak najmniej miejsca. Kolejnym poważnym wyzwaniem jest radzenie sobie z nieuniknionymi awariami poszczególnych dysków. Wykorzystano standardową technikę przechowywania licznych kopii danych na różnych urządzeniach, ale jednocześnie udoskonalono ją tak, by mimo awarii poszczególnych dysków całość pracowała z maksymalną wydajnością.

Gdy jakiś dysk ulegnie awarii, to po jego wymianie system pobierze dane z innych dysków tak, by stworzyć dokładną kopię zepsutego nośnika. Wgrywanie danych ma odbywać się na tyle wolno, by nie wpływało na wydajność systemu. Jeśli natomiast jednocześnie zepsuje się kilka sąsiednich dysków, tworzenie ich kopii ma przebiegać bardzo szybko, by uniknąć niebezpieczeństwa, że dojdzie do kolejne awarii, która spowoduje całkowitą utratę danych. Hillsberg ocenia, że dzięki takim rozwiązaniom system nie utraci żadnych danych przez około milion lat, a jednocześnie nie wpłynie negatywnie na wydajność superkomputera.

Magazyn będzie wykorzystał system plików GPFS, który powstał w Almaden na potrzeby superkomputerów. System ten zapisuje wiele kopii plików na różnych nośnikach, co pozwala na błyskawiczny ich odczyt, ponieważ różne fragmenty pliku mogą być później odczytywane jednocześnie z różnych dysków. Ponadto umożliwia on informacji o dokładnym położeniu każdego pliku, dzięki czemu uniknięto konieczności skanowania dysków w poszukiwaniu potrzebnych plików. W ubiegłym miesiącu, korzystając z systemu GPFS inżynierowe IBM-a zaindeksowali 10 miliardów plików w ciągu zaledwie 43 minut, znacznie poprawiając poprzedni rekord wynoszący miliard plików w trzy godziny.

Udostępnij tę odpowiedź


Odnośnik do odpowiedzi
Udostępnij na innych stronach

zawstydzą nawet samego Chucka Norrisa - ściągną internet na "dyskietkę" :)

 

gdzieś ze dwa lata temu było głośno o zamówieniu amerykańskiego NSA na macierz o pojemności rzędu jotabajta (na kopie naszych maili, rozmów telefonicznych i wszystkiego co da się legalnie bądź nie skądkolwiek skopiować). stos dysków (w sumie 1012 sztuk) o pojemności 1TB (1012 bajtów) każdy, ułożonych ciasno obok siebie miałby w przybliżeniu 2km x 2km x 100m. nikt nigdy nie sprostował ani nie zdementował tej informacji, przynajmniej ja się z takim dementi nie spotkałem. te 120PB wyglądają trochę biednie przy tym kolosie :P

http://range.wordpress.com/2009/11/02/nsas-yottabytes-of-data/

pominę czysto techniczne rozważania na temat niemożliwości istnienia takiego monstrum.

Udostępnij tę odpowiedź


Odnośnik do odpowiedzi
Udostępnij na innych stronach

Jeśli chcesz dodać odpowiedź, zaloguj się lub zarejestruj nowe konto

Jedynie zarejestrowani użytkownicy mogą komentować zawartość tej strony.

Zarejestruj nowe konto

Załóż nowe konto. To bardzo proste!

Zarejestruj się

Zaloguj się

Posiadasz już konto? Zaloguj się poniżej.

Zaloguj się

  • Podobna zawartość

    • przez KopalniaWiedzy.pl
      Dyrektor wykonawczy IBM-a Arvind Krishna poinformował, że jego firma przestanie rekrutować ludzi na stanowiska, na których w najbliższych latach mogą być oni zastąpieni przez sztuczną inteligencję. W wywiadzie dla Bloomberga menedżer stwierdził, że rekrutacja na stanowiska biurowe, na przykład w dziale HR, może zostać znacznie spowolniona lub całkowicie wstrzymana. Obecnie na tego typu stanowiskach – gdzie nie ma kontaktu z klientem – IBM zatrudnia 26 000 osób.
      Zdaniem Krishny, w ciągu najbliższych 5 lat sztuczna inteligencja może zastąpić 30% z nich. To oznacza, że w samym tylko IBM-ie maszyny zastąpią 7800 osób. Stąd też pomysł na spowolnienie lub wstrzymanie rekrutacji, dzięki czemu uniknie się zwalniania ludzi.
      Krishna mówi, że takie zadania, jak pisanie listów referencyjnych czy przesuwanie pracowników pomiędzy poszczególnymi wydziałami, prawdopodobnie zostaną całkowicie zautomatyzowane. Inne zaś, takie jak analizy produktywności czy struktury zatrudnienia, ludzie będą wykonywali jeszcze przez kolejną dekadę.
      Błękitny Gigant zatrudnia obecnie około 260 000 osób i wciąż zwiększa zatrudnienie. Potrzebuje pracowników przede wszystkim do rozwoju oprogramowania oraz osób pracujących z klientem. Na początku bieżącego roku firma ogłosiła, że planuje zwolnienia, które w sumie obejmą 5000 osób, ale jednocześnie w I kwartale zatrudniła 7000 osób.

      « powrót do artykułu
    • przez KopalniaWiedzy.pl
      Prace międzynarodowej grupy badawczej, na czele której stali specjaliści ze Skołkowskiego Instytutu Nauki i Technologii (Skoltech) w Moskwie oraz IBM-a zaowocowały powstaniem energooszczędnego superszybkiego przełącznika optycznego. Urządzenie nie wymaga chłodzenia, a jednocześnie jest ponad 100-krotnie szybsze od najszybszych współczesnych tranzystorów.
      Tym, co czyni to urządzenie tak bardzo energooszczędnym jest fakt, że do przełączenia stanu potrzebuje zaledwie kilku fotonów, mówi główny autor badań Anton Zasiedatieliew. W laboratorium udało się nam go przełączać za pomocą pojedynczego fotonu. I to w temperaturze pokojowej. Jednak minie sporo czasu, zanim taka technologia będzie mogła trafić do procesorów optycznych, dodaje profesor Pawlos Lagudakis.
      Możliwość przełączania za pomocą pojedynczego fotonu oznacza, że układ jest niezwykle energooszczędny i zostało niewiele miejsca na jego dalsze udoskonalenie. Oczywiście musimy przy tym pamiętać, że obecnie działa to jedynie w wyspecjalizowanym laboratorium. Jednak tak właśnie zaczyna się wielu historia technologii, które w końcu trafiają do codziennego użytku. Większość współczesnych tranzystorów elektrycznych potrzebuje dziesiątki razy więcej energii, by się przełączyć, a te, którym wystarczy pojedynczy elektron, działają znacznie wolniej niż zademonstrowany właśnie przełącznik optyczny.
      Jednak szybkość i energooszczędność to nie jedyne zalety nowej technologii. Równie ważny jest fakt, że przełącznik działa w temperaturze pokojowej i nie wymaga chłodzenia. Tymczasem systemy chłodzenia potrzebne współczesnym komputerom nie tylko wpływają na koszty samego sprzętu, ale też znacząco zwiększają zużycie energii koniecznej do ich zasilania.
      Urządzenie składa się z dwóch laserów. Bardzo słaby promień lasera kontrolnego jest używany do przełączania stanu drugiego jaśniejszego z laserów. Do przełączenia wystarczy kilka fotonów, stąd wynika wysoka efektywność całości. Przełączanie odbywa się wewnątrz mikrownęki. To 35-nanometrowej grubości organiczny polimer półprzewodzący zamknięty pomiędzy dwiema nieorganicznymi warstwami o wysokim współczynniku odbicia. Mikrownęka zbudowana jest w taki sposób, by jak najdłużej więzić nadchodzące światło, prowadząc w ten sposób do jego sprzężenia z materiałem wnęki.
      Oddziaływanie światła z materią to podstawa działania nowego urządzenia. Gdy fotony sprzęgają się z parami dziura-elektron – tworzącymi kwazicząstkę o nazwie ekscyton – pojawiają się kwazicząstki ekscyton-polaryton. Gdy silniejszy z laserów oświetla przełącznik powstają tysiące identycznych krótko żyjących kwazicząstek tworzących kondensat Bosego-Einsteina, w którym kodowany jest stan urządzenia „0” lub „1”.
      Najpierw za pomocą silniejszego lasera we wnęce tworzone są kwazicząstki o energiach większych niż energia podstawowa. Przełącznik znajduje się w stanie „0” Do przełączenia potrzebny jest laser słabszy, za pomocą którego tworzona jest grupa kwazicząstek o energii podstawowej. Ich pojawienie się wywołuje lawinowy proces przełączania się pozostałych kwazicząstek do stanu podstawowego. W ten sposób uzyskujemy stan „1”. Czas przełączania liczony jest w femtosekundach, dzięki czemu przełącznik jest ponad 100-krotnie szybszy od współczesnych tranzystorów.
      Naukowcy użyli kilku sztuczek, by utrzymać zapotrzebowanie na energię na jak najniższym poziomie przy jednoczesnym zmaksymalizowaniu pracy urządzenia. W efektywnym przełączaniu pomagają wibracje molekuł półprzewodzącego polimeru. Konieczne było precyzyjne dopasowanie częstotliwości pracy laserów, stanu kondensatu i energii wibracji molekuł polimeru.
      Przed nami jeszcze sporo pracy. Musimy zmniejszyć całkowite zapotrzebowania urządzenia na energię. Obecnie jest ono zdominowane przez silniejszy z laserów, który utrzymuje przełącznik w gotowości. Prawdopodobnie trzeba będzie wykorzystać tutaj perowskitowego superkryształu, z którym wcześniej eksperymentowaliśmy. Są one doskonałymi kandydatami to zbudowania naszego przełącznika, gdyż zapewniają bardzo silną interakcję światła z materią, stwierdzają autorzy badań.

      « powrót do artykułu
    • przez KopalniaWiedzy.pl
      W laboratorium IBM-a w Zurichu zaprezentowano rekordowo pojemny napęd taśmowy. Pojedynczy kartridż pozwala na przechowanie aż... 580 terabajtów danych. To aż 29-krotnie więcej niż oferowany obecnie przez IBM-a kartridż o pojemności 20 TB. Błękitny Gigant jest tutaj rynkowym liderem. Najnowszy standard przemysłowy LTO-Ultrium (Linear Tape-Open, version 9) mówi o kartridżach o pojemności 18 TB.
      Mark Lantz, menedżer CloudFPGA odpowiedzialny w IBM Zurich za technologie taśmowe mówi, że w ostatnich latach taśmy magnetyczne przeżywają swój renesans. Ma to związek z jednej strony z wykładniczym wzrostem ilości wytwarzanych danych, które trzeba gdzieś archiwizować oraz z jednoczesnym spowolnieniem przyrostu gęstości zapisu na dyskach twardych. Jak zauważa Lantz, w ciągu ostatnich kilkunastu lat składane roczne tempo wzrostu gęstości zapisu na HDD spadło do poniżej 8%. Jednocześnie świat produkuje coraz więcej danych. Roczny wzrost wytwarzania informacji wynosi aż 61%. Eksperci mówią, że do roku 2025 wytworzymy 175 zetabajtów danych.
      Jako, że gęstość zapisu HDD niemal stanęła w miejscu, dramatycznie wzrosła cena każdego gigabajta dysnku twardego. Już w tej chwili 1 bit HDD jest czterokrotnie droższy niż 1 bit taśmy magnetycznej. Ta wielka nierównowaga pojawiła się w bardzo niekorzystnym momencie, gdy ilość wytwarzanych danych zaczęła gwałtownie rosnąć. Centra bazodanowe mają coraz większy problem. Na szczęście zdecydowana większość danych to informacje, które są rzadko potrzebne. To zaś oznacza, że w ich przypadku szybkość odczytu danych nie jest rzeczą zbyt istotną. Mogą być więc przechowywane na taśmach magnetycznych.
      Taśmy mają wiele zalet w porównaniu z dyskami twardymi. Są bardziej odporne na ataki cyberprzestępców, do działania potrzebują mniej energii, są trwałe i znacznie tańsze w przeliczeniu na gigabajt. Zalety te spowodowały, że – jak ocenia IBM – już 345 000 eksabajtów danych przechowywanych jest właśnie na taśmach.
      Najnowszy napęd taśmowy to wynik 15-letniej współpracy IBM-a i Fujifilm. Od roku 2006 firmy pobiły sześć kolejnych rekordów dotyczących napędów taśmowych. Ostatnie osiągnięcie było możliwe dzięki udoskonaleniu samej taśmy, głowicy odczytującej oraz serwomechanizmu odpowiadającego za precyzję pozycjonowania głowicy. Firma Fujifilm odeszła tutaj od przemysłowego standardu jakim jest ferryt baru i pokryła taśmę mniejszymi cząstkami ferrytu strontu. Inżynierowie IBM-a, mając do dyspozycji nową taśmę, opracowali nową technologię głowicy odczytująco-zapisującej, która współpracuje z tak gładką taśmą.
      O tym jak wielkie postępy zostały dokonane w ciągu kilkunastoletniej współpracy Fujifilm i IBM-a najlepiej świadczą liczby. W roku 2006 obie firmy zaprezentowały taśmę pozwalającą na zapisanie 6,67 miliarda bitów na calu kwadratowym. Najnowsza taśma pozwala na zapis 317 miliardów bitów na cal. Kartridż z roku 2006 miał pojemność 8 TB, obecnie jest to 580 TB. Szerokość ścieżki zapisu wynosiła przed 14 laty 1,5 mikrometra (1500 nanometrów), teraz to zaledwie 56,2 nanometra. Liniowa gęstość zapisu w roku 2006 sięgała 400 000 bitów na cal taśmy. Na najnowszej taśmie na każdym calu można zapisać 702 000 bitów. Zmniejszyła się też – z 6,1 mikrometra do 4,3 mikrometra – grubość taśmy, wzrosła za to jej długość. W pojedynczym kartridżu mieści się obecnie 1255 metrów taśmy, a przed 14 laty było to 890 metrów.

      « powrót do artykułu
    • przez KopalniaWiedzy.pl
      IBM uruchomił w Nowym Jorku Quantum Computation Center, w którym znalazł się największy na świecie zbiór komputerów kwantowych. Wkrótce dołączy do nich nich 53-kubitowy system, a wszystkie maszyny są dostępne dla osób i instytucji z zewnątrz w celach komercyjnych i naukowych.
      Quantum Computation Center ma w tej chwili ponad 150 000 zarejestrowanych użytkowników oraz niemal 80 klientów komercyjnych, akademickich i badawczych. Od czasu, gdy w 2016 roku IBM udostępnił w chmurze pierwszy komputer kwantowy, wykonano na nim 14 milionów eksperymentów, których skutkiem było powstanie ponad 200 publikacji naukowych. W związku z rosnącym zainteresowaniem obliczeniami kwantowymi, Błękity Gigant udostępnił teraz 10 systemów kwantowych, w tym pięć 20-kubitowych, jeden 14-kubitowy i cztery 5-kubitowe. IBM zapowiada, że w ciągu miesiąca liczba dostępnych systemów kwantowych wzrośnie do 14. Znajdzie się wśród nich komputer 53-kubitowy, największy uniwersalny system kwantowy udostępniony osobom trzecim.
      Nasza strategia, od czasu gdy w 2016 roku udostępniliśmy pierwszy komputer kwantowy, polega na wyprowadzeniu obliczeń kwantowych z laboratoriów, gdzie mogły z nich skorzystać nieliczne organizacje, do chmur i oddanie ich w ręce dziesiątków tysięcy użytkowników, mówi Dario Gil, dyrektor IBM Research. Chcemy wspomóc rodzącą się społeczność badaczy, edukatorów i deweloperów oprogramowania komputerów kwantowych, którzy dzielą z nami chęć zrewolucjonizowania informatyki, stworzyliśmy różne generacje procesorów kwantowych, które zintegrowaliśmy w udostępnione przez nas systemy kwantowe.
      Dotychczas komputery kwantowe IBM-a zostały wykorzystane m.in. podczas współpracy z bankiem J.P. Morgan Chase, kiedy to na potrzeby operacji finansowych opracowano nowe algorytmy przyspieszające pracę o całe rzędy wielkości. Pozwoliły one na przykład na osiągnięcie tych samych wyników dzięki dostępowi do kilku tysięcy przykładów, podczas gdy komputery klasyczne wykorzystujące metody Monte Carlo potrzebują milionów próbek. Dzięki temu analizy finansowe mogą być wykonywane niemal w czasie rzeczywistym. Z kolei we współpracy z Mitsubishi Chemical i Keio University symulowano początkowe etapy reakcji pomiędzy litem a tlenem w akumulatorach litowo-powietrznych.

      « powrót do artykułu
    • przez KopalniaWiedzy.pl
      Badacze IBM-a postawili sobie ambitny cel. Chcą co roku dwukrotnie zwiększać wydajność komputerów kwantowych tak, by w końcu były one szybsze lub bardziej wydajne niż komputery klasyczne. Podczas tegorocznych targów CES IBM pokazał przełomowe urządzenie: IBM Q System One, pierwszy komputer kwantowy, który ma być gotowy do komercyjnego użytku.
      Celem IBM-a jest coś, co nazywają „Quantum Advantage” (Kwantowa przewaga). Zgodnie z tym założeniem komputery kwantowe mają zyskać „znaczną” przewagę nad komputerami klasycznymi. Przez „znaczną” rozumie się tutaj system, który albo będzie setki lub tysiące razy szybszy od komputerów kwantowych, albo będzie wykorzystywał niewielki ułamek pamięci potrzebny maszynom kwantowym lub też będzie w stanie wykonać zadania, jakich klasyczne komputery wykonać nie są.
      Wydajność komputera kwantowego można opisać albo za pomocą tego, jak sprawują się poszczególne kubity (kwantowe bity), albo też jako ogólną wydajność całego systemu.
      IBM poinformował, że Q System One może pochwalić się jednym z najniższych odsetków błędów, jakie kiedykolwiek zmierzono. Średni odsetek błędów na dwukubitowej bramce logicznej wynosi mniej niż 2%, a najlepszy zmierzony wynik to mniej niż 1%. Ponadto system ten jest bliski fizycznemu limitowi czasów koherencji, który w w przypadku Q System One wyniósł średnio 73 ms.To oznacza, że błędy wprowadzane przez działanie urządzenia są dość małe i zbliżamy się do osiągnięcia minimalnego możliwego odsetka błędów, oświadczyli badacze IBM-a.
      Błękitny Gigant stworzył też Quantum Volume, system pomiaru wydajności komputera kwantowego jako całości. Bierze on pod uwagę zarówno błędy na bramkach, błędyh pomiarów czy wydajność kompilatora. Jeśli chcemy osiągnąć Quantum Advantage w latach 20. XXI wieku, to każdego roku wartość Quantum Volume musi się co najmniej podwajać, stwierdzili badacze. Na razie udaje im się osiągnąć cel. Wydajność pięciokubitowego systemu Tenerife z 2017 roku wynosiła 4. W 2018 roku 20-kubitowy system IBM Q osiągnął w teście Quantum Volume wynik 8. Najnowszy zaś Q System One nieco przekroczył 16.
      Sądzimy, że obecnie przyszłość komputerów to przyszłość komputerów kwantowych, mówią specjaliści z IBM-a.

      « powrót do artykułu
  • Ostatnio przeglądający   0 użytkowników

    Brak zarejestrowanych użytkowników przeglądających tę stronę.

×
×
  • Dodaj nową pozycję...