Znajdź zawartość

Zróżnicowanie komórek mózgowych może prowadzić do szybszego uczenia się, odkryli naukowcy z Imperial College London (ICL). Spostrzeżenie to może zwiększyć wydajność systemów sztucznej inteligencji. Uczeni zauważyli, że gdy w symulowanych sieciach neuronowych indywidualnie dobierali właściwości elektryczne poszczególnych komórek, sieci takie uczyły się szybciej, niż sieci złożone z komórek o identycznych parametrach. Okazało się również, że gdy mamy zróżnicowane komórki, sieć neuronowa potrzebuje ich mniej, a całość zużywa mniej energii niż sieć o identycznych komórkach. Zdaniem autorów badań, może to wyjaśniać, dlaczego mózgi tak efektywnie potrafią się uczyć. Mózg musi być wydajny energetycznie, a jednocześnie zdolnym do rozwiązywania złożonych zadań. Nasza praca sugeruje, że zróżnicowanie neuronów – zarówno w mózgach jak i w systemach sztucznej inteligencji – pozwala spełnić oba warunki, mówi główny autor badań, doktorant Nicolas Perez z Wydziału Inżynierii Elektrycznej i elektronicznej. Odkrycie powinno też zachęcić twórców sieci neuronowych do budowania ich tak, by były bardziej podobne do mózgu. Nasze mózgi składają się z neuronów. Pozornie są one identyczne, ale przy bliższym przyjrzeniu się, widoczne są liczne różnice. Z kolei każda komórka sztucznych sieci neuronowych jest identyczna, różnią się one tylko połączeniami. Pomimo dużych postępów w rozwoju systemów sztucznej inteligencji, bardzo daleko im do mózgów. Dlatego też uczeni z ICL zastanawiali się, czy przyczyną nie jest brak zróżnicowania komórek sztucznych sieci neuronowych. Rozpoczęli więc badania, w ramach których emulowali różne właściwości komórek składających się na siec sztucznej inteligencji. Zauważyli, że zróżnicowanie komórek spowodowało zwiększenie szybkości uczenia się i spadek zapotrzebowania na energię. Ewolucja dała nam niesamowicie funkcjonujący mózg. Dopiero zaczynamy rozumieć, jak on działa, stwierdził doktor Dan Goodman. W ramach badań uczeni manipulowali „stałą czasową”, czyli tym, jak szybko każda komórka sztucznej sieci neuronowej decyduje, co ma zrobić w zależności od tego, co robią połączone z nią komórki. Niektóre z tak manipulowanych komórek podejmowały decyzję bardzo szybko, natychmiast po tym, jak działania podjęły komórki z nimi połączone. Inne zaś odczekały chwilę i podejmowały decyzję na podstawie tego, co przez pewien czas robiły komórki z nimi połączone. Po zróżnicowaniu „stałej czasowej” swoich komórek, naukowcy przeprowadzili zestaw testów dla uczenia maszynowego się, takich jak rozpoznawanie gestów, pogrupowanie ubrań czy ręcznie napisanych cyfr oraz zidentyfikowanie wypowiadanych komend oraz cyfr. Eksperymenty pokazały, że połączenie komórek o różnej „stałej czasowej” powoduje, że cała sieć lepiej rozwiązuje złożone zadania. Okazało się przy okazji, że najlepiej sprawuje się sieć o takiej konfiguracji, której zróżnicowanie jest najbliższe zróżnicowaniu komórek w mózgu. To z kolei sugeruje, że nasz mózg ewoluował w kierunku osiągnięcia najlepszego poziomu zróżnicowania dla optymalnego uczenia się. « powrót do artykułu

Trenowanie systemów sztucznej inteligencji trwa obecnie wiele tygodni. Firma Cerebras Systems twierdzi, że potrafi skrócić ten czas do kilku godzin. Pomysł polega na tym, by móc testować więcej pomysłów, niż obecnie. Jeśli moglibyśmy wytrenować sieć neuronową w ciągu 2-3 godzin, to rocznie możemy przetestować tysiące rozwiązań, mówi Andrew Feldman, dyrektor i współzałożyciel Cerebras. Jeśli chcemy wytrenować sieć sztucznej inteligencji, która np. ma zarządzać autonomicznym samochodem, potrzebujemy wielu tygodni i olbrzymiej mocy obliczeniowej. Sieć musi przeanalizować olbrzymią liczbę zdjęć czy materiałów wideo, by nauczyć się rozpoznawania istotnych obiektów na drodze. Klienci Cerebras skarżą się, że obecnie trenowanie dużej sieci neuronowej może trwać nawet 6 tygodni. W tym tempie firma może wytrenować około 6 sieci rocznie. To zdecydowanie zbyt mało dla przedsiębiorstw, które chcą sprawdzić wiele nowych pomysłów za pomocą SI. Rozwiązaniem problemu ma być komputer CS-1, a właściwie jego niezwykły procesor. Maszyny CS-1 mają wysokość 64 centymetrów, a każda z nich potrzebuje do pracy 20 kW. Jednak 3/4 obudowy każdego z komputerów zajmuje układ chłodzenia, a tym, co najbardziej rzuca się w oczy jest olbrzymi układ scalony. Zajmuje on powierzchnię 46 255 milimetrów kwadratowych, czyli około 50-krotnie więcej niż tradycyjny procesor. Zawiera 1,2 biliona tranzystorów, 400 000 rdzeni obliczeniowych i 18 gigabajtów pamięci SRAM. Procesor o nazwie Wafer Scale Engine (WSE) wypada znacznie lepiej niż podobne systemy. Jak zapewniają przedstawiciele Cerebras, ich maszyna, w porównaniu z klastrem TPU2 wykorzystywanym przez Google'a do trenowania SI, zużywa 5-krotnie mniej energii i zajmuje 30-krotnie mniej miejsca, a jest przy tym 3-krotnie bardziej wydajna. Takie zestawienie brzmi imponująco, a na ile rzeczywiście WSE jest lepszy od dotychczasowych rozwiązań powinno ostatecznie okazać się w bieżącym roku. Jak zauważa analityk Mike Demler, sieci neuronowe stają się coraz bardziej złożone, więc możliwość szybkiego ich trenowania jest niezwykle ważna. Trzeba jednak przyznać, że w twierdzeniach Cerebras musi być ziarno prawdy. Wśród klientów firmy jest m.in. Argonne National Laboratory, które ma już maszyny CS-1 u siebie. Zapewne już wkrótce dowiemy się, czy rzeczywiście zapewniają one tak wielką wydajność i pozwalają tak szybko trenować sieci neuronowe. Twórcami Cerebras są specjaliści, którzy pracowali w firmie Sea Micro, przejętej przez AMD. Pomysł stworzenia komputera wyspecjalizowanego w sztucznej inteligencji zaczął kiełkować w ich głowach w 2015 roku. Stwierdzili, że odpowiedni procesor musi być w stanie szybko przesyłać duże ilości danych, układy pamięci muszą znajdować się blisko rdzenia, a same rdzenie nie powinny zajmować się danymi, którymi już zajmują się inne rdzenie. To zś oznaczało, że tego typu układ musi składać się z olbrzymiej liczby niewielkich rdzeni wyspecjalizowanych w obliczeniach z zakresu sieci neuronowych, połączenia między rdzeniami muszą być szybkie i zużywać niewiele energii, a wszystkie dane muszą być dostępne na procesorze, a nie w osobnych układach pamięci. Twórcy Cerebras uznali, że tym, czego potrzebują, jest chip niemalże wielkości całego plastra krzemowego. Udało im się taki układ skonstruować, chociaż nie było to łatwe zadanie i wciąż muszą poradzić sobie z licznymi problemami. Jednym z nich było poradzenie sobie z filozofią tworzenia współczesnych plastrów krzemowych. Obecnie z pojedynczego plastra tworzy się wiele procesorów. Po ich przygotowaniu, plaster, zawierający wiele identycznych układów, jest cięty. W procesie przygotowywania plastra do produkcji tworzy się na nim specjalne linie, wzdłuż których przebiegają cięcia. Tymczasem Cerebras potrzebowało takiego plastra w całości, z połączeniami pomiędzy poszczególnymi rdzeniami. To zaś wymagało nawiązania współpracy z TSMC i opracowania metody przeprowadzenia połączeń przez linie. Wysiłek się opłacił. Poszczególne rdzenie komunikują się między sobą z prędkością 1000 Pb/s, a komunikacja pomiędzy pamięcią a rdzeniami przebiega w tempie do 9 PB/s. To nie jest trochę więcej. To o cztery rzędy wielkości więcej, gdyż wszystko odbywa się w ramach tego samego plastra, cieszy się Feldman. Jednak przeprowadzenie połączeń przez linie nie był jedynym problemem. Trzeba było zmodyfikować cały proces projektowania i produkcji układów. Nawet oprogramowanie do projektowania procesorów jest przygotowane pod niewielkie układy. Każda zasada, każde narzędzie i każde urządzenie jest obecnie dostosowana do produkcji układów scalonych o zwyczajowych rozmiarach. My zaś potrzebujemy czegoś znacznie większego, dlatego też musieliśmy na nowo opracować każdy element, dodaje Feldman. Jeszcze innym problemem okazało się zasilanie takiego układu. Każdy z 1,2 biliona tranzystorów potrzebuje 0,8 wolta. To standardowe napięcie, ale tranzystorów jest tak dużo, że do układu należy doprowadzić prąd o natężeniu 20 000 amperów. Uzyskanie w całym plastrze 20 000 amperów bez znacznego spadku napięcia było kolejnym wyzwaniem inżynieryjnym, mówią przedstawiciele Cerebras. Doprowadzenie prądu do krawędzi WSE nie wchodziło w rachubę, gdyż opory spowodowałyby spadek napięcia do zera zanim prąd osiągnąłby środek układu. Rozwiązaniem okazało się prostopadłe podłączenie od góry. Inżynierowie Cerebras zaprojektowali specjalny zestaw składający się z setek układów wyspecjalizowanych w kontrolowaniu przepływu prądu. Za pomocą miliona miedzianych połączeń dostarcza on zasilanie do WSE. Cerebras nie podaje żadnych danych odnośnie testów wydajności swojego rozwiązania w porównaniu z innymi systemami. Zamiast tego firma zachęca swoich klientów, by po prostu sprawdzili, czy  CS-1 i WSE sprawują się lepiej w zadaniach, których ci klienci potrzebują. Nie ma w tym jednak nic dziwnego. Każdy korzysta z własnych modeli dostosowanych do własnych potrzeb. To jedyne co się liczy dla klienta, mówi analityk Karl Freund. Jednym z takich klientów jest właśnie Argonne National Laboratory. Ma ono dość specyficzne potrzeby. Wykorzystuje sieci neuronowe do rozpoznawania różnych rodzajów fal grawitacyjnych w czasie rzeczywistym. Pracujący tam specjaliści wolą więc samodzielnie przekonać się, czy nowe urządzenie lepiej sprawdzi się w tych zastosowaniach niż dotychczas stosowane superkomputery. « powrót do artykułu

Problem trzech ciał, czyli ruchu trzech ciał oddziałujących na siebie przez grawitację, stanowi poważne wyzwanie obliczeniowe od czasu sformułowania go przez Newtona. Obecnie, dzięki komputerom. możemy poznać dokładne rozwiązanie problemu, jednak nawet nowoczesnym maszynom obliczenia zajmują całe tygodnie, a nawet miesiące. Grupa naukowców z Uniwersytetów w Lejdzie, Aveiro, Edynburgu i Cambridge zaprzęgła do obliczeń sztuczną inteligencję. Okazało się, że sieci neuronowe radzą sobie z obliczeniami nawet 100 milionów razy szybciej niż najbardziej zaawansowany obecnie algorytm Brutus. Jak mówi Chris Foley z University of Cambridge, to pokazuje, że sieci neuronowe mogą zostać wykorzystane do badania zachowania gromad gwiazd i lepszego poznania wszechświata. Jak czytamy w opublikowanym w arXiv artykule pod tytułem „Newton vs the machine: solving the chaotic three-body problem using deep neural networks [PDF]”, równania takie odgrywają główną rolę w rozwiązaniu wielu klasycznych problemów fizyki. Na przykład wyjaśniają one dynamiczną ewolucję gromad kulistych i jąder galaktycznych, które są uważane za miejsca powstawania układów podwójnych czarnych dziur, które w końcu łączą się, wytwarzając fale grawitacyjne. Los tych systemów zależy od interakcji trzech ciał, układów podwójnych czarnych dziur i pojedynczej czarnej dziury. Interakcje pomiędzy nimi zachodzą zwykle w ściśle określonym przedziale czasu i, biorąc pod uwagę silne interakcje pomiędzy tymi trzema ciałami, można zignorować wpływ innych ciał, co oznacza, że interakcje pomiędzy trzema ciałami można obliczać w izolacji od innych interakcji. Foley zauważa, że jeśli potwierdzi się, że sieć neuronowa pozwala na dokonanie precyzyjnych obliczeń w bardo krótkim czasie, to będziemy mogli myśleć o odpowiedziach na znacznie głębsze pytania, jak np. te o powstawanie fal grawitacyjnych. Jako, że sieci neuronowe wymagają odpowiedniego treningu przed zaprzęgnięciem ich do pracy Foley i jego koledzy – Philip G. Breen, Tjarda Boekholt i Simon Portegies Zwart – przygotowali za pomocą Brutusa 9900 uproszczonych scenariuszy dotyczących problemu trzech ciał. One posłużyły do treningu. Następnie przetestowali swoją sieć neuronową dając jej do rozwiązania 5000 kolejnych problemów tego typu, z którymi wcześniej się nie zetknęła. Okazało się, że wykonane przez nią obliczenia dały bardzo podobne wyniki, jak te, które uzyskano z Brutusa. O ile jednak Brutus potrzebował na rozwiązanie każdego z tych 5000 problemów około 2 minut, sieć neuronowa radziła sobie z nimi w ułamku sekundy. Christopher Foley wyjaśnia, że Brutus i podobne mu algorytmy są znacznie wolniejsze od SI, gdyż prowadzą obliczenia dla każdego niewielkiego przesunięcia się każdego z ciał w układzie. Tymczasem sztuczna inteligencja przygląda się ruchowi i poszukuje wzorców, które pozwolą na przewidzenie przyszłego zachowania ciał. Uczony zauważa, że problemem może być skalowanie możliwości sieci neuronowej. Musi ona bowiem się uczyć na istniejącym zestawie danych. Teraz była trenowana na uproszczonych scenariuszach. Jeśli jednak będzie potrzeba nauczenia jej radzenia sobie z bardziej złożonymi scenariuszami, czy z układami czterech lub nawet pięciu ciał, konieczne będzie wcześniejsze przygotowanie scenariuszy treningowych. A te trzeba będzie wykonać za pomocą powolnego Brutusa. Tu właśnie dochodzimy do momentu, gdy z jednej strony możemy trenować fantastycznie pracującą sieć neuronową, a z drugiej potrzebujemy danych treningowych. To wąskie gardło, stwierdza Foley. Sposobem na poradzenie sobie z tym problemem byłoby stworzenie całego zestawu danych uzyskanych za pomocą takich programów jak Brutus. To jednak oznacza, że najpierw musiałyby powstać standardowe protokoły, dzięki którym dane uzyskane od różnych programów będą spełniały te same wymagania i zostaną zapisane w tych samych formatach. Innym problemem jest fakt, że sieć neuronowa może zostać uruchomiona na określony czas. Nie sposób jednak przewidzieć, jak długo potrwają konkretne obliczenia zatem sieć może przestać działać zanim dostarczy wyników. Foley przewiduje powstawanie hybryd, w których część pracy wykonają programy takie jak Brutus, a sieci neuronowe zajmą się przetwarzaniem tylko najbardziej wymagających obliczeń. Za każdym razem gdy podczas obliczeń Brutus się zatnie, może włączać się sieć neuronowa i popchnie obliczenia do przodu, a gdy Brutus znowu będzie gotów do pracy, podejmie ją na nowo. « powrót do artykułu

Miliony ludzi na całym świecie z różnych powodów potrzebują pomocy w ubieraniu. Roboty mogłyby się sprawdzić przy tym zadaniu, na razie kłopotów przysparzają jednak skomplikowane ludzkie ciało i same ubrania. By sprostać zapotrzebowaniu, w Georgia Institute of Technology skonstruowano robota PR2, który w ciągu 1 dnia przeanalizował blisko 11 tys. symulacji ubierania człowieka i na tej podstawie "wyobraził sobie", co może czuć ubierana w szpitalną koszulę istota ludzka. Maszyna nie polega na wzroku, ale na dotyku oraz siłach generowanych i odbieranych podczas przesuwania ubrania przez dłoń, łokieć i ramię człowieka. Niektóre przeanalizowane symulacje ubierania przebiegały wzorcowo, inne były spektakularnymi porażkami - gdy koszula zahaczała się o dłoń lub łokieć, robot przykładał do ręki niebezpieczne siły. Na podstawie tych przykładów sieć neuronowa PR2 nauczyła się szacować siły przykładane do człowieka. Ludzie uczą się nowych umiejętności metodą prób i błędów. PR2 także daliśmy taką możliwość. Przeprowadzanie tysięcy prób na człowieku byłoby zarówno niebezpieczne, jak i żmudne. Za pomocą symulacji, w ciągu zaledwie jednego dnia, robot mógł się jednak swobodnie nauczyć, co człowiek czuje podczas ubierania - wyjaśnia doktorant Zackory Erickson. Robot nauczył się także przewidywać konsekwencje ubierania w różny sposób. Wie, że o ile pewne ruchy naprężają tkaninę, o tyle inne pozwalają przesunąć koszulę gładko wzdłuż ludzkiej ręki. Maszyna wykorzystuje te przewidywania, by wybrać ruchy, które pozwolą bezproblemowo ubrać rękę. Po nauce na symulacjach przyszedł czas na ubieranie prawdziwych ludzi. Ochotnicy siadali naprzeciw robota i patrzyli, jak podnosił on koszulę i zaczynał ją wkładać na ich rękę. Kluczem jest to, że robot zawsze myśli zawczasu. Pyta sam siebie, "czy jeśli włożę koszulę w ten sposób, na ramię człowieka zadziała większa, czy mniejsza siła? Co by się stało, gdybym to zrobił inaczej?" - opowiada prof. Charlie Kemp. Naukowcy manipulowali czasowaniem robota i pozwolili mu planować przyszłe ruchy na 1/5 s do przodu. Nie schodzili poniżej tego czasu, bo zwiększało to wskaźnik błędów. Na razie robot ubiera tylko jedną rękę. Cały proces zajmuje mu ok. 10 sekund.   « powrót do artykułu