Skocz do zawartości
Forum Kopalni Wiedzy
KopalniaWiedzy.pl

Hakerzy mogą łatwo oszukać systemy sztucznej inteligencji

Rekomendowane odpowiedzi

W ubiegłym tygodniu podczas International Conference on Machine Learning (ICML) grupa naukowców pokazała żółwia wydrukowanego techniką 3D. Dla ludzi żółw wyglądał niemal jak żywy. Jednak algorytmy sztucznej inteligencji rozpoznały w obiekcie... strzelbę. W innym przypadku kij baseballowy wykonany techniką druku 3D został przez SI uznany za... filiżankę espresso.

Na naszych oczach sztuczna inteligencja, systemy maszynowego uczenia się, czynią tak wielkie postępy, że coraz częściej podnoszą się głosy zaniepokojenia, ostrzegające nas przed zbytnim rozwijaniem inteligencji maszyn. Jednak, jak się okazuje, systemy SI są zdumiewająco podatne na ataki. A w ostatnim czasie eksperci coraz częściej prezentują nam przykłady takich ataków. My, którzy pracujemy nad maszynowym uczeniem się nie jesteśmy przyzwyczajeni, by myśleć o bezpieczeństwie naszych systemów, mówi jeden z twórców żółwia 3D i badań nad atakiem na AI, Anish Athalye z MIT.

Specjaliści zajmujący się sztuczną inteligencją mówią, że przeprowadzenie takich ataków jest bardzo użyteczne z naukowego punku widzenia. Pozwalają one bowiem analizować sposób działania sieci neuronowych, które obecnie nie są dobrze rozumiane. Ataki to wspaniałe szkło powiększające, przez które możemy lepiej zrozumieć to, co nazywamy maszynowym uczeniem, mówi Dawn Song z Uniwersytetu Kalifornijskiego w Berkeley.

W ubiegłym roku Song i jej koledzy umieścili na standardowym znaku drogowym „STOP” kilka naklejek, które spowodowały, że system SI uznał znak za... ograniczenie prędkości do 45 mil na godzinę. Nietrudno wyobrazić sobie konsekwencje takiego ataku na samochód autonomiczny.

Ataki można podzielić na takie, w których napastnik ma wiedzę o algorytmach wykorzystywanych przez system i na takie, w których algorytmów tych nie zna. W pierwszym przypadku może obliczyć, w jaki sposób należy zmienić dane wejściowe do systemu wykorzystującego dane algorytmy, by otrzymać pożądane dane wyjściowe. W ten sposób można np. manipulować obrazem tak, by dla człowieka nie wyglądal on na zmanipulowany, ale by sztuczna inteligencja źle go rozpoznała.

Bardziej wymagające są ataki, gdy nie znamy algorytmów. Wówczas napastnik zna tylko danej wejściowe i wyjściowe. Przeprowadzenie takiego ataku jest trudne, ale nie niemożliwe. Podczas ostatniego ICML Athalye i jego zespół zaprezentowali tego typu atak przeciwko usłudze Google Cloud Vision. W sposób niewidoczny dla człowieka zmienili oni zdjęcie przedstawiające dwóch narciarzy tak, że system Google'a uznał je za zdjęcie psa.

Jednym ze sposobów na uchronienie się przed tego typu atakami jest stworzenie formuły, pozwalającej algorytmom SI zweryfikować, czy dobrze rozpoznały dany obiekt. Jeśli możesz przeprowadzić weryfikację, oznacza to koniec zabawy dla napastników, mówi Pushmeet Kohli z DeepMind. Podczas ICML zaprezentowano nawet dwa takie algorytmy weryfikujące. Problem w tym, że obecnie nie da się ich skalować na duże sieci neuronowe współczesnych SI. Co prawda Kohli twierdzi, że w przyszłości się to uda, jednak Song uważa, że w świecie praktycznych zastosowań będą one miały poważne ograniczenia. Nie istnieje matematyczna definicja tego, kim jest pieszy. Czy możemy więc udowodnić, że autonomiczny samochód w żadnym przypadku nie uderzy w pieszego? Nie możemy, stwierdza uczona.


« powrót do artykułu

Udostępnij tę odpowiedź


Odnośnik do odpowiedzi
Udostępnij na innych stronach

Jako wieczny malkontent: jeśli chcą wprowadzić algorytm weryfikujący, czy sieć działa OK, to po jaki grzyb ta sieć? Nie lepiej zostawić sam algorytm? Kolejna rzecz - nikt nie wie, jak sieć działa, czy to atakujący, czy ten co ją "nauczył", a w takim układzie jedyne czego nie wiedziałby atakujący, to z którą siecią akurat ma do czynienia (co też ma znaczenie, bo tak jak z atakami na serwery internetowe, jeśli wiemy jakie jest tam oprogramowanie i w jakiej wersji, to wiemy też jak to można zhakować, albo przynajmniej jakie próby hakowania jeszcze nie zadziałały).

A tak ogólnie ta moda na maszynowe uczenie to wygląda mi na efekt postępującego rozleniwienia: po co się męczyć i kodować jakieś reguły w sieci np. systemu eksperckiego (bo to trzeba fachowca, który umie te reguły określić, a potem innego kto je zamieni w oprogramowanie), kiedy można zrobić funkcję mówiącą "źle/dobrze" i mieć nadzieję, że sieć nauczy się sama czegoś, co (tutaj nadzieja drugiego stopnia) jest tym o co nam chodziło.

Udostępnij tę odpowiedź


Odnośnik do odpowiedzi
Udostępnij na innych stronach
W dniu 20.07.2018 o 13:22, KopalniaWiedzy.pl napisał:

Nie istnieje matematyczna definicja tego, kim jest pieszy

Hmm. Zagadkowe słowa :) i wniosek.

W dniu 20.07.2018 o 13:22, KopalniaWiedzy.pl napisał:

zmienili oni zdjęcie przedstawiające dwóch narciarzy tak, że system Google'a uznał je za zdjęcie psa.

Bo takie są niespodzianki z SI. Z dużej ilości danych wyłapuje się jakieś małe fragmenty które prowadzą do podjęcia decyzji. To się może udawać w sprawach mało krytycznych np. zabawkach dla dzieci. Ale nie w przypadkach kiedy pomyłka=śmierć.

Moim zdaniem jest sens w tym pomyśle z artykułu.
Mózg ludzki wydaje mi się że działa podobnie. Identyfikacja jest przeprowadzana wielopoziomowo od SI po dość sztywne algorytmy. A jak mamy niezgodność SI z sztywnym algorytmem to jest komenda: stop, analizuj jeszcze raz.

Udostępnij tę odpowiedź


Odnośnik do odpowiedzi
Udostępnij na innych stronach

Wszystko to jest bez sensu, podobnie jak usilne próby budowania kolejnych antropomorficznych robotów, które albo straszą, albo śmieszą wyglądem. Po to ten samochód jest autonomiczny, by nie stosować się do „ludzkich” informacji. Jedyne co powinien wykrywać, to swoje położenie i położenie przeszkód (inne pojazdy, cykliści, ludzie) — co za różnica czy system wykryje narciarza na piaszczystej pseudo-drodze w Afryce czy psa? Przeszkoda na drodze, to przeszkoda. Powinien spróbować ominąć, zwolnić, zatrzymać się, przekazać kontrolę kierowcy, ewentualnie użyć sygnałów. Natomiast od nawigacji powinny być mapy, a nie znaki. Zresztą znaki też można rozszerzyć o wkomponowaną nalepkę QR.

Projektanci patrzą zbyt szeroko i chcą zrobić system uniwersalny, na każdą pogodę i w ogóle super. A wystarczy po prostu działający.

Udostępnij tę odpowiedź


Odnośnik do odpowiedzi
Udostępnij na innych stronach
Napisano (edytowane)
15 godzin temu, wilk napisał:

Po to ten samochód jest autonomiczny, by nie stosować się do „ludzkich” informacji

A kto mówi o ludzkich informacjach? :)

Piszemy o ludzkich algorytmach. Takich które jak to napisałeś:

15 godzin temu, wilk napisał:

po prostu działający

Tak, one po prostu działają. Ewolucja eliminowała przez miliony lat te niedziałające.
Problem w zastosowaniu informatyki w takich życiowych sytuacjach jest taki że te same matematycznie obiekty - informatycznie nie są takie same tylko podobne :) I na razie jest to ogólnie problem nierozwiązywalny jak z matematycznie "=" przejść na "podobne".

Algorytmów ogólnych gotowych nie ma. Możliwe że istnieją jedynie dla wybranych przypadków. Dlatego używamy SI. 

Edytowane przez thikim

Udostępnij tę odpowiedź


Odnośnik do odpowiedzi
Udostępnij na innych stronach
W dniu ‎27‎.‎07‎.‎2018 o 19:51, wilk napisał:

Projektanci patrzą zbyt szeroko i chcą zrobić system uniwersalny, na każdą pogodę i w ogóle super. A wystarczy po prostu działający.

:D

Kim Dzon Un do swoich naukowców: przestańcie liczyć wszystkie zmienne, warianty i inne pier...oły. Ta rakieta ma bezawaryjnie i celnie  dolecieć do USA. 

W dniu ‎27‎.‎07‎.‎2018 o 19:51, wilk napisał:

. Natomiast od nawigacji powinny być mapy, a nie znaki

Hmm...nierozpoznanie przez SI interwencyjnie ustawionych znaków B1, B20, B62..zresztą wszystkich B, wygeneruje jakieś kłopoty .I ciekaw jestem, na jaka mapa ma wgrane znaki, które  pan policjant  może wygestykulować kiedy ma prawo i ochotę.

Udostępnij tę odpowiedź


Odnośnik do odpowiedzi
Udostępnij na innych stronach
15 godzin temu, thikim napisał:

ludzkich informacjach

Chodzi o ludzkie informacje, czyli odczytywanie znaków, sygnalizacji świetlnej, tego na co zwraca uwagę ludzki kierowca. To jest bez sensu. Ja rozumiem, że przy okazji chwytliwe granty i pole do rozwoju SI, ale to jest robienie wszystkiego naraz, przy okazji. Chcemy połączyć dwie deski, to przy okazji wynajdujemy spawanie, zgrzewanie, klejenie i nitowanie.

15 godzin temu, thikim napisał:

nie są takie same tylko podobne

Ale to pojazdu nie powinno w ogóle interesować. Przeszkoda to przeszkoda. Może ocenić jej szybkość poruszania się i ominąć lub oddać kierownicę. A czy to pies, człowiek czy wypuszczony z zoo hipopotam, to nie ma znaczenia. Co innego, gdyby to miał być system śledzenia celów w zastosowaniu wojskowych, ale na drodze robienie drabinki „if-ów” jest bez sensu. Skoro wystarczy niewielka modyfikacja, by sieć się pogubiła, to znaczy, że ma zbyt silne sprzężenie zwrotne lub została przeuczona. Poza tym kolejna bzdura — jakim cudem sieć uczona do rozpoznawania znaków rozpoznała psa? Dlaczego była do tego uczona? Od tego powinny być osobne komponenty, a nie jeden system rozpoznawania wszystkich obrazów. Sieć uczona do znaków powinna zwracać wyłącznie wyniki z własnej dziedziny, nawet jeśli rozpoznawanie już siada.

3 godziny temu, 3grosze napisał:

Ta rakieta ma bezawaryjnie i celnie  dolecieć do USA. 

Śmieszki, heheszki, ale rakieta jest w pełni samodzielna i jej zawrócenie się przez przypadek i odwiedzenie Kima nie jest opcją. A pociski typu cruise to już zupełnie inna kategoria. W przypadku samochodu wystarczającym jest reakcja na przeszkodę. Samochód nie musi wiedzieć czy właśnie nie rozjechał pijanego rowerzysty czy niedowidzącej seniorki. To całkowicie bez znaczenia dla nawigacji. Ponownie — przeszkoda to przeszkoda. SI może być znacząco lepszym kierowcą, popełniać mniej błędów, ale człowiek i tak zawsze da radę wpaść pod koła.

Udostępnij tę odpowiedź


Odnośnik do odpowiedzi
Udostępnij na innych stronach
Napisano (edytowane)
6 godzin temu, wilk napisał:

Ale to pojazdu nie powinno w ogóle interesować. Przeszkoda to przeszkoda

No właśnie nie. Ściana deszczu to przeszkoda? Liście na drodze to przeszkoda? Odblask światła na drodze to przeszkoda? Samochód przed nami to przeszkoda?

Musi być algorytm który dany obiekt sklasyfikuje jako istotną przeszkodę. I nie zatrzyma się bo przed nami jedzie samochód.

6 godzin temu, wilk napisał:

Chodzi o ludzkie informacje, czyli odczytywanie znaków, sygnalizacji świetlnej, tego na co zwraca uwagę ludzki kierowca

A maszyna ma na to nie zwracać uwagi? :D W sumie po co patrzeć na sygnalizację świetlną :D

Maszyna ma oczywiście możliwość "zobaczenia" większej ilości rzeczy i są one istotne.

Edytowane przez thikim

Udostępnij tę odpowiedź


Odnośnik do odpowiedzi
Udostępnij na innych stronach

Inny samochód? Oczywiście, że to przeszkoda i tak powinien być traktowany. Albo próbujemy go wyprzedzić, ominąć, albo czekamy aż sobie pojedzie. Ściana deszczu może być przeszkodą, jeśli jest to wodospad, za którym kryje się prawdziwa ściana. Bez sensu dywagacje. Odblask światła raczej nie zostawia echa na czujniku zbliżeniowym. A może się mylę? Po co ma zwracać uwagę i analizować (błędnie) rozmaite zestawy sygnalizatorów, które w każdym kraju wyglądają inaczej, skoro sam sygnalizator może wysyłać informację o aktualnym stanie? Kpisz sobie, a wystarczy, że spojrzysz nie tak daleko, na kolej.

Udostępnij tę odpowiedź


Odnośnik do odpowiedzi
Udostępnij na innych stronach

Jeśli chcesz dodać odpowiedź, zaloguj się lub zarejestruj nowe konto

Jedynie zarejestrowani użytkownicy mogą komentować zawartość tej strony.

Zarejestruj nowe konto

Załóż nowe konto. To bardzo proste!

Zarejestruj się

Zaloguj się

Posiadasz już konto? Zaloguj się poniżej.

Zaloguj się

×