Ruszył teleskop, który ma sfotografować czarną dziurę

[KopalniaWiedzy.pl 358]

Przed dwoma dniami pracę rozpoczął tzw. Event Horizon Telescope (EHT). To wirtualny teleskop wielkości całej planety, za pomocą którego astronomowie chcą zobrazować horyzont zdarzeń czarnej dziury Drogi Mlecznej, Sagittariusa A*. Jej masa jest o około 4 miliony razy większa od masy Słońca, a dziura znajduje się w odległości 25 600 lat świetlnych od Ziemi. Ze względu na jej wielkość oraz bliskość jest to największa widziana z Ziemi czarna dziura. Czarne dziury, z których przecież nie ucieka światło, można obserwować dzięki świeceniu dysku materii wokół nich. Jednak obecnie wykorzystywane teleskopy mają zbyt małą rozdzielczość, by dokładnie obrazować ten dysk.

Event Horizon Telescope wykorzystuje technikę zwaną interferometrią wielkobazową (Very Long Baseline Interferometry – VLBI), która wymaga wykorzystania oddalonych od siebie teleskopów, obserwujących ten sam obiekt pod innym kątem, dzięki czemu możliwe jest stworzenie obrazu o wysokiej rozdzielczości. W skład EHT wchodzą teleskopy na Hawajach (Caltech Submilimeter Observatory), w Chile (Atacama Large Milimeter/submilimeter Array), Meksyku (Large Milimeter Telescope Alfonso Serrano), Antarktydzie (South Pole Telescope), Francji i Hiszpanii. Dzięki nim astronomowie chcą nie tylko zbadać strukturę dysku wokół czarnej dziury, ale również przetestować ogólną teorię względności, przyjrzeć się, w jaki sposób czarna dziura pochłania materię, a być może nawet zaobserwować proces tworzenia się dżetów.

EHT ruszył 5 kwietnia i będzie zbierał dane do 14 kwietnia. Przyjrzy się nie tylko Saggitariusowi A*, ale również bardziej aktywnej supermasywnej czarnej dziurze w galaktyce Messier 87. Teleskop zbierze tak dużą ilość danych, że nie będzie możliwe jej przesłanie za pomocą internetu. Dane będa składowane lokalnie i zostaną przewiezione do Instytut Maksa Plancka w Niemczech oraz do Haystack Observatory w Massachusetts, gdzie zostaną przetworzone. Cały proces potrwa wiele miesięcy, ale dzięki temu powinniśmy wkrótce zobaczyć obszar bezpośrednio otaczający czarną dziurę.

« powrót do artykułu

[Gość Astro]

 

 

Teleskop zbierze tak dużą ilość danych, że nie będzie możliwe jej przesłanie za pomocą internetu.

 

http://eventhorizontelescope.org/technology/data_collection.html

http://www.haystack.mit.edu/tech/vlbi/mark6/index.html

Niektórych pewnie zmartwi, ale nie hula to pod Windows.

[tempik 83]

 

 

Teleskop zbierze tak dużą ilość danych, że nie będzie możliwe jej przesłanie za pomocą internetu.

 

aż mi się przypomniało jak spiraciłem windowsa 95 przegrywając instalkę na bodaj 25 dyskietek 3,5". oczywiście było kilka podejść bo wiadomo jak to było z elastycznymi nośnikami magnetycznymi

 

sporo musi być tych danych, przerzucenie  TB danych światłowodem między kontynentami to krócej niż start i lądowanie samolotem. chyba że problem jest z tym że obserwatoria są na kompletnym zadupiu i jest problem z jakąkolwiek komunikacją

[Gość Astro]

So, ultimately, we're talking about 10,000 laptops of data

http://www.bbc.com/news/science-environment-38937141

[radar 104]

Co to do k&*&%^ nędzy jest "standard laptops" w jednostce pojemności danych? Ciężko napisać ile to jest?

Mimo to, jedyna przeszkoda jaka mi się nasuwa to to:

 

 

chyba że problem jest z tym że obserwatoria są na kompletnym zadupiu i jest problem z jakąkolwiek komunikacją

Inaczej to tłumaczenie nie ma racji bytu. "10000 laptops of data" to userzy snapchata generują i przesyłają pewnie dziennie... albo w niewiele więcej czasu. Bzdury.

[Gość Astro]

Tłumaczę i objaśniam ().

Jeśli rusza "run", a mówimy właśnie o ZARYPISTEJ rozdzielczości (co jest właśnie clou programu), to nie tylko płynie KUPA danych, ale i niesamowicie dokładne timingi tego (zegary atomowe – taka tam podstawowa zabawka przy tego typu zabawach). "Online via Internet" to nieprzewidywalna zupełnie przeszkoda. Swoje lokalne zegary atomowe i redundantne (przy okazji zarypiście szybkie) dyski to ZDECYDOWANIE lepszy pomysł na uzyskanie wyniku.

[radar 104]

 

 

Swoje lokalne zegary atomowe i redundantne (przy okazji zarypiście szybkie) dyski to ZDECYDOWANIE lepszy pomysł na uzyskanie wyniku.

Cool, tylko po co to pakować potem do samolotu? Brak internetu czy kasy na dodatkowe dyski? Obojętnie co z tych dwóch to przeszkodą nie jest internet tylko kasa.

[Gość Astro]

 

 

Cool, tylko po co to pakować potem do samolotu? Brak internetu czy kasy na dodatkowe dyski?

 

Gdybym bardzo dbał o swoje dane, to nie zaufałbym Internetowi. Kilku ciężkozbrojnych w samolocie bardziej mnie przekonuje.

Ed. No i będzie szybciej.

[osmial 0]

Rozumiem potrzebę zapisu zgodnie z tymi mega dokładnymi timestampami ale kiedy to już jest zapisane (dane odczytane z sensorów/czujników/etc.) fizycznie na dyskach to chyba już można by to puścić światłowodami w świat? Nie zakładam, żeby oni o tym nie wiedzieli, zakładam, że zapomniałeś Astro w swoich wyjaśnieniach o jeszcze jakimś dosyć istotnym drobiazgu No albo ja czegoś po prostu nie rozumiem, tak czy inaczej jeśli masz chwilkę uprzejmię proszę rozwiń myśl

[Gość Astro]

Proszę bardzo. Cytat:

"The array will generate such a huge amount of data that it’s more efficient to fly the data from each of the telescopes to a centralized location than it is to transfer it over the internet."

Dodam tylko, że pewnie "userzy snapchata generują i przesyłają pewnie" coś podobnego dziennie. Nie robią tego jednak wszyscy na raz jednym kablem (niechby i światłowodem).

[thikim 119]

Z niektórych miejsc rzeczywiście szybciej będzie pewnie przewieźć dane. Ale w samych Stanach to jednak myślę że szybciej by było je od razu równoległe z zapisem pchać łączami.

10 000 laptopów to załóżmy 5 000 TB. Nawet przy dobrym łączu to rzeczywiście jest problem.

Ale jest kilka ale.

1. Przewiezienie tych minimum 1000 dysków to też jest problem logistyczny.

2. Dysków musi być więcej bo musi być redundancja. Minimum o 1/3 więcej.

A przy przesyłaniu redundancja już jest wbudowana w kanał.

Edytowane 8 kwietnia 2017 przez thikim

[Jajcenty 314]

Ale w samych Stanach to jednak myślę że szybciej by było je od razu równoległe z zapisem pchać łączami.

Pewnie o tym nie wiedzieli kiedy podejmowali decyzję. Tradycyjnie, spróbujmy coś oszacować. Zwykła transmisja 1080p to jakieś 4 Mb/s. Astro wspomniał o dużej rozdzielczości i zegarach atomowych, wystarczy by 1080p robić 10³ częściej i już mamy 4Gb/s 

Dla 4K i 10⁶ obrazków/s mamy jakieś 8Tb/s.  Można wyjść od drugiej strony, 10000 laptopów * 1TB = 10PB. Chcą to zbierać przez 10 dni. Z tego wychodzi średnia przepływność 11 GB/s. Wychodzi na to, że mają tam strasznie słabe łącza.

 

edit: doradzam sprawdzenie tych szacunków. Cierpię na chroniczność błędów obliczeniowych.

Edytowane 9 kwietnia 2017 przez Jajcenty

[thikim 119]

Ale policz tak:

zbieranie 10 dni

wymontowywanie minimum 1000 dysków - też trochę czasu zajmie

pakowanie

cały galimatias z lotem

rozpakowywanie

podłączanie 1000 dysków

przegrywanie na własne dyski

Dużo tego pier... zamiast wydać parę komend i iść spać

PS. Tzn. zakładam że to będzie przewóz jakiś szaf.

No i nie mam jasności czy te 10000 (naukowa miara ilości danych ) laptopów to wszystkie ośrodki czy tylko jeden.

Bo jak wszystkie to z jednego ośrodka byłoby < 1000 laptopów. Ale i wtedy transfer mniejszy potrzebny.

Edytowane 9 kwietnia 2017 przez thikim

[Gość Astro]

Pewnie o tym nie wiedzieli kiedy podejmowali decyzję.

 

Dokładnie. Projekt EHT wystartował w 2006 r., a nie wchodząc w szczegóły nie jest to skrzyknięcie się chłopaków na piwo…

Edytowane 9 kwietnia 2017 przez Astro

[thikim 119]

To w takim razie jednak dyski mogą być dużo słabsze niż zakładałem

I będzie ich więcej.

[Gość Astro]

Thikim, link podałem już wyżej. Taki to sobie system dyskowy:

http://www.haystack.mit.edu/tech/vlbi/mark6/index.html

[radar 104]

Thikim, link podałem już wyżej. Taki to sobie system dyskowy:

http://www.haystack.mit.edu/tech/vlbi/mark6/index.html

Nie jest to jakieś nie wiadomo co.

Nawet jak projekt wystartował 11 lat temu to nie wystartował w kosmos, da się zmienić założenia i podejście. Wystarczy, że w 2015-2016 ktoś się zastanowi i powie, ej, zamiast się z tym brandzlować podłączmy to do neta i prześlijmy, nawet w kilka-kilkanaście dni. Może i samolotem byłoby sumarycznie szybciej, ale niech się taki samolot spitoli do oceanu albo pieprznie o górę i po ptokach.... a jak zerwie się łącze internetowe to po podłączeniu można dać "resume".

[Gość Astro]

Nie jest to nie wiadomo co, ale kosztuje (nawet sporo; nazwy firmy nie podam, ale łatwo znajdziesz na stronie EHT). Pamiętaj, że wszystkie dane muszą wylądować w pobliżu superkomputera, który będzie to "składał" trochę dłużej niż czas obserwacji. Nie wiem jakie mają tam łącze, ale nie jest to zapewne 10 dedykowanych światłowodów. Trzeba będzie też sporej i szybkiej pamięci dyskowej i to nie w "chmurze" (dublujemy koszty?). By nie było, że tylko "tradycjonalizm"

VLBI has traditionally operated by recording the signal at each telescope on magnetic tapes or disks, and shipping those to the correlation center for replay. Recently, it has become possible to connect VLBI radio telescopes in close to real-time, while still employing the local time references of the VLBI technique, in a technique known as e-VLBI.

O e-VLBI słyszeli nawet w Haystack Obserwatory

https://www.google.pl/url?sa=t&rct=j&q=&esrc=s&source=web&cd=3&cad=rja&uact=8&ved=0ahUKEwiStIb_hprTAhWCvhQKHbnmAEQQFgg6MAI&url=http%3A%2F%2Fwww.haystack.edu%2Ftech%2Fvlbi%2Fevlbi%2Fpresentations%2FWhitney%2520-%2520e-VLBI%2520development%2520at%2520Haystack.ppt&usg=AFQjCNEkku8jkeY1xooK5I7XO7MvJy869g

Warto dodać, że dedykowane łącza kosztują sporo. Porównaj koszty e-VLBI w tak maleńkiej Europie (EXPReS). Dodawać chyba nie muszę, że z definicji (nawet przy DZISIEJSZYCH założeniach) wymagania projektu są zbyt wysokie.

 

W ogóle

 

 

a jak zerwie się łącze internetowe to po podłączeniu można dać "resume"

to napisz do ludków (link bez problemu znajdziesz w tym, co już podpiąłem), że są niedouczonymi tradycjonalistami, żyją sentymentami jak taśmy magnetyczne i przewijaki, źle wydatkują pieniądze, a Ty jesteś lepszy i z dobroci serca pochylisz się nad problemem by pomóc (dla dobra Ludzkości ).

[rahl 26]

Tłumaczę i objaśniam (). Jeśli rusza "run", a mówimy właśnie o ZARYPISTEJ rozdzielczości (co jest właśnie clou programu), to nie tylko płynie KUPA danych, ale i niesamowicie dokładne timingi tego (zegary atomowe – taka tam podstawowa zabawka przy tego typu zabawach). "Online via Internet" to nieprzewidywalna zupełnie przeszkoda. Swoje lokalne zegary atomowe i redundantne (przy okazji zarypiście szybkie) dyski to ZDECYDOWANIE lepszy pomysł na uzyskanie wyniku.

 

 

Argument o "timingach" po prostu mnie rozwalił - jak prześlesz dane w pudełkach przy użyciu samolotu to będzie lepsze zgranie niż przez internet. ROTLF

 

Gdybym bardzo dbał o swoje dane, to nie zaufałbym Internetowi. Kilku ciężkozbrojnych w samolocie bardziej mnie przekonuje.

Ed. No i będzie szybciej.

2x ROTFL - ani to bezpiecznie ani szybko. Przez internet można dane przesyłać już w trakcie pomiarów, pingi i timingi (LoL Astro) Internetu nie mają tu nic do rzeczy - to surowe dane zawierające wszelkie potrzebne informacje. Nie trzeba czekać aż "moduł" się zapełni i dopiero potem wysyłać (oczywiście po wcześniejszym zrobieniu kopi zapasowej na dwa inne moduły - bo wypadki chodzą po ludziach i samolotach.

 

 

Nie jest to nie wiadomo co, ale kosztuje (nawet sporo; nazwy firmy nie podam, ale łatwo znajdziesz na stronie EHT). Pamiętaj, że wszystkie dane muszą wylądować w pobliżu superkomputera, który będzie to "składał" trochę dłużej niż czas obserwacji. Nie wiem jakie mają tam łącze, ale nie jest to zapewne 10 dedykowanych światłowodów. Trzeba będzie też sporej i szybkiej pamięci dyskowej i to nie w "chmurze" (dublujemy koszty?). By nie było, że tylko "tradycjonalizm"

O e-VLBI słyszeli nawet w Haystack Obserwatory

https://www.google.pl/url?sa=t&rct=j&q=&esrc=s&source=web&cd=3&cad=rja&uact=8&ved=0ahUKEwiStIb_hprTAhWCvhQKHbnmAEQQFgg6MAI&url=http%3A%2F%2Fwww.haystack.edu%2Ftech%2Fvlbi%2Fevlbi%2Fpresentations%2FWhitney%2520-%2520e-VLBI%2520development%2520at%2520Haystack.ppt&usg=AFQjCNEkku8jkeY1xooK5I7XO7MvJy869g

Warto dodać, że dedykowane łącza kosztują sporo. Porównaj koszty e-VLBI w tak maleńkiej Europie (EXPReS). Dodawać chyba nie muszę, że z definicji (nawet przy DZISIEJSZYCH założeniach) wymagania projektu są zbyt wysokie.

 

W ogóle

 

 

to napisz do ludków (link bez problemu znajdziesz w tym, co już podpiąłem), że są niedouczonymi tradycjonalistami, żyją sentymentami jak taśmy magnetyczne i przewijaki, źle wydatkują pieniądze, a Ty jesteś lepszy i z dobroci serca pochylisz się nad problemem by pomóc (dla dobra Ludzkości ).

Z tego co wiem to Instytut MaxaPlanka ma co najmniej 100Gbit(tak było ostatni raz jak sprawdzałem) głównego łącza, Hystack nawet lepiej (toż to MIT). Oba mają także zdolności przechowywania danych setki razy większe niż to co wygeneruje EHT. Więc nie trzeba dokupować żadnych dysków (które i tak będą potrzebne aby skopiować dane).

Faktycznie, może braknąć przepustowości do transferu live w trakcie pomiarów. Przesłanie tych danych przez internet już po zakończeniu pomiarów miałoby znacznie więcej sensu i będzie 1000 razy tańsze niż wożenie pakietów dysków z kilkunastu lokalizacji na świece.

Ale problem jest z wysyłką danych a nie ich odbiorem. Teleskopy "off-site" (szczególnie ten na Antarktydzie) mają relatywnie słabe łącza.

Edytowane 10 kwietnia 2017 przez rahl

[Gość Astro]

 

 

2x ROTFL - ani to bezpiecznie ani szybko.

 

Przekonałeś mnie. Statystyka wypadków lotniczych jest porażająca, toż to bardzo niebezpieczne. W ogóle, po co wydają na to kasę? W każdej chwili w któreś z obserwatoriów może przywalić meteoryt! Co do szybkości zdecyduj się:

 

 

Ale problem jest z wysyłką danych a nie ich odbiorem. Teleskopy "off-site" (szczególnie ten na Antarktydzie) mają relatywnie słabe łącza.

:

(tak, wiem, że w tym wypadku jest problem z wysyłką). Celowo przeciwstawiłem VLBI i e-VLBI (nie mylić z eVLBI).

 

Oparłem się na zdaniu autorów projektu, którzy, jak sądzę, są mądrzejsi w tej kwestii ode mnie (cytat i linki wyżej). Skoro wiesz jednak lepiej, to miłego tarzania się po podłodze…

The project is capturing this data on 126 HGST Ultrastar helium-filled 6TB hard drives; currently 756TB of storage with plans to expand to 6PB
Each day an observation is run at a site, the site captures 350TB of data
For context, EHT is processing ~10x the amount of data of the Large Hadron Collider in Switzerland

https://www.reddit.com/r/IAmA/comments/3ihgbr/were_scientists_on_the_event_horizon_telescope/

We have custom enclosures that house 16 disk drives, each at ~6TB, so a total of 96TB. We stripe the data across the drives and then beat any internet by shipping the filled disks via airplane back to a central location for processing.

Ed. Dyskusja sprzed jakiegoś roku.

[Jajcenty 314]

We have custom enclosures that house 16 disk drives, each at ~6TB, so a total of 96TB. We stripe the data across the drives and then beat any internet by shipping the filled disks via airplane back to a central location for processing.

 

 

Tak to już jest. Kiedy przenoszę 16 GB pendrive do sąsiedniego pokoju uzyskuję nieosiągalne dla LANu przepustowości. 

Mam tylko jedną wątpliwość - czy rzeczywiście potrzeba wszystkich danych w jednym miejscu w jednym czasie? Przecież i tak będą przetwarzać paczkami?

Edytowane 11 kwietnia 2017 przez Jajcenty

[Afordancja 57]

Tak to już jest. Kiedy przenoszę 16 GB pendrive do sąsiedniego pokoju uzyskuję nieosiągalne dla LANu przepustowości. 

 

hm..oczyma wyobraźni widzę już takie zawody, maksymalna "przepustowość" na 100 metrów, na minutę. (Innymi słowy ile dysków jesteś w stanie przenieść w minutę na odległość 100 metrów, widzę tu wiele strategii, czy raz a dużo ale za to wolniej, czy np. 3 szybkie "paczki".

 

(sorry za offtop, ale nie mogłem się powstrzymać)

 

[edit]

no 100 m, to może kiepska odległość na minutę

Edytowane 11 kwietnia 2017 przez Afordancja

[Jajcenty 314]

 

 

hm..oczyma wyobraźni widzę już takie zawody, maksymalna "przepustowość" na 100 metrów, na minutę.

Można by posyłać peny jaskółkami...   

[Gość Astro]

Przecież i tak będą przetwarzać paczkami?

 

Wszystko wskazuje na to, że jednak nie – potrzebna całość. Dekonwolucja i takie tam sprawy…

https://en.wikipedia.org/wiki/Deconvolution

Nie bardzo wczytywałem się w "bebechy" algorytmu, ale jeśli ktoś ma czas, to:

https://people.csail.mit.edu/klbouman/pw/papers_and_presentations/cvpr2016_bouman.pdf

https://arxiv.org/pdf/1605.06156.pdf

Co ciekawe, o ile splot jest śliczniutko wyłożony na polskojęzycznej wiki

https://pl.wikipedia.org/wiki/Splot_(analiza_matematyczna)

to rozplot (dekonwolucja) już tak sobie

https://pl.wikipedia.org/wiki/Dekonwolucja

(choć dobre i to).

 

Można by posyłać peny jaskółkami.

 

Podejrzewam, że za jednym powolnym obrotem Pudziana z jakimiś 100 kg penów jaskółka nie zdąży tyle razy obrócić z jednym. Przynajmniej na 100 m.

Podejrzewam też, że stary dobry wiarus gołąb będzie bardziej przewidywalny (choć pewnie wolniejszy), ale na raz jak nic zabierze (przy współczesnej technologii) 10 TB.

 

Ed. My tu sobie żartujemy, a podejrzewam, że z tymi gołębiami głupie to być nie musi.

https://what-if.xkcd.com/31/

Edytowane 11 kwietnia 2017 przez Astro

[Jajcenty 314]

 

 

Ed. My tu sobie żartujemy, a podejrzewam, że z tymi gołębiami głupie to być nie musi.

Wiemy. Kojarzy się od razu ze słynnym RFC 1149 

 

 

Podejrzewam, że za jednym powolnym obrotem Pudziana z jakimiś 100 kg penów jaskółka nie zdąży tyle razy obrócić z jednym.

Nie chcę rozpętać piekła, ale czy my mamy zamiar dyskutować udźwig jaskółki? Bo wiesz, wiele zależy od tego jaka to jaskółka...