Jump to content
Forum Kopalni Wiedzy
KopalniaWiedzy.pl

Hakerzy mogą łatwo oszukać systemy sztucznej inteligencji

Recommended Posts

W ubiegłym tygodniu podczas International Conference on Machine Learning (ICML) grupa naukowców pokazała żółwia wydrukowanego techniką 3D. Dla ludzi żółw wyglądał niemal jak żywy. Jednak algorytmy sztucznej inteligencji rozpoznały w obiekcie... strzelbę. W innym przypadku kij baseballowy wykonany techniką druku 3D został przez SI uznany za... filiżankę espresso.

Na naszych oczach sztuczna inteligencja, systemy maszynowego uczenia się, czynią tak wielkie postępy, że coraz częściej podnoszą się głosy zaniepokojenia, ostrzegające nas przed zbytnim rozwijaniem inteligencji maszyn. Jednak, jak się okazuje, systemy SI są zdumiewająco podatne na ataki. A w ostatnim czasie eksperci coraz częściej prezentują nam przykłady takich ataków. My, którzy pracujemy nad maszynowym uczeniem się nie jesteśmy przyzwyczajeni, by myśleć o bezpieczeństwie naszych systemów, mówi jeden z twórców żółwia 3D i badań nad atakiem na AI, Anish Athalye z MIT.

Specjaliści zajmujący się sztuczną inteligencją mówią, że przeprowadzenie takich ataków jest bardzo użyteczne z naukowego punku widzenia. Pozwalają one bowiem analizować sposób działania sieci neuronowych, które obecnie nie są dobrze rozumiane. Ataki to wspaniałe szkło powiększające, przez które możemy lepiej zrozumieć to, co nazywamy maszynowym uczeniem, mówi Dawn Song z Uniwersytetu Kalifornijskiego w Berkeley.

W ubiegłym roku Song i jej koledzy umieścili na standardowym znaku drogowym „STOP” kilka naklejek, które spowodowały, że system SI uznał znak za... ograniczenie prędkości do 45 mil na godzinę. Nietrudno wyobrazić sobie konsekwencje takiego ataku na samochód autonomiczny.

Ataki można podzielić na takie, w których napastnik ma wiedzę o algorytmach wykorzystywanych przez system i na takie, w których algorytmów tych nie zna. W pierwszym przypadku może obliczyć, w jaki sposób należy zmienić dane wejściowe do systemu wykorzystującego dane algorytmy, by otrzymać pożądane dane wyjściowe. W ten sposób można np. manipulować obrazem tak, by dla człowieka nie wyglądal on na zmanipulowany, ale by sztuczna inteligencja źle go rozpoznała.

Bardziej wymagające są ataki, gdy nie znamy algorytmów. Wówczas napastnik zna tylko danej wejściowe i wyjściowe. Przeprowadzenie takiego ataku jest trudne, ale nie niemożliwe. Podczas ostatniego ICML Athalye i jego zespół zaprezentowali tego typu atak przeciwko usłudze Google Cloud Vision. W sposób niewidoczny dla człowieka zmienili oni zdjęcie przedstawiające dwóch narciarzy tak, że system Google'a uznał je za zdjęcie psa.

Jednym ze sposobów na uchronienie się przed tego typu atakami jest stworzenie formuły, pozwalającej algorytmom SI zweryfikować, czy dobrze rozpoznały dany obiekt. Jeśli możesz przeprowadzić weryfikację, oznacza to koniec zabawy dla napastników, mówi Pushmeet Kohli z DeepMind. Podczas ICML zaprezentowano nawet dwa takie algorytmy weryfikujące. Problem w tym, że obecnie nie da się ich skalować na duże sieci neuronowe współczesnych SI. Co prawda Kohli twierdzi, że w przyszłości się to uda, jednak Song uważa, że w świecie praktycznych zastosowań będą one miały poważne ograniczenia. Nie istnieje matematyczna definicja tego, kim jest pieszy. Czy możemy więc udowodnić, że autonomiczny samochód w żadnym przypadku nie uderzy w pieszego? Nie możemy, stwierdza uczona.


« powrót do artykułu

Share this post


Link to post
Share on other sites

Jako wieczny malkontent: jeśli chcą wprowadzić algorytm weryfikujący, czy sieć działa OK, to po jaki grzyb ta sieć? Nie lepiej zostawić sam algorytm? Kolejna rzecz - nikt nie wie, jak sieć działa, czy to atakujący, czy ten co ją "nauczył", a w takim układzie jedyne czego nie wiedziałby atakujący, to z którą siecią akurat ma do czynienia (co też ma znaczenie, bo tak jak z atakami na serwery internetowe, jeśli wiemy jakie jest tam oprogramowanie i w jakiej wersji, to wiemy też jak to można zhakować, albo przynajmniej jakie próby hakowania jeszcze nie zadziałały).

A tak ogólnie ta moda na maszynowe uczenie to wygląda mi na efekt postępującego rozleniwienia: po co się męczyć i kodować jakieś reguły w sieci np. systemu eksperckiego (bo to trzeba fachowca, który umie te reguły określić, a potem innego kto je zamieni w oprogramowanie), kiedy można zrobić funkcję mówiącą "źle/dobrze" i mieć nadzieję, że sieć nauczy się sama czegoś, co (tutaj nadzieja drugiego stopnia) jest tym o co nam chodziło.

Share this post


Link to post
Share on other sites
W dniu 20.07.2018 o 13:22, KopalniaWiedzy.pl napisał:

Nie istnieje matematyczna definicja tego, kim jest pieszy

Hmm. Zagadkowe słowa :) i wniosek.

W dniu 20.07.2018 o 13:22, KopalniaWiedzy.pl napisał:

zmienili oni zdjęcie przedstawiające dwóch narciarzy tak, że system Google'a uznał je za zdjęcie psa.

Bo takie są niespodzianki z SI. Z dużej ilości danych wyłapuje się jakieś małe fragmenty które prowadzą do podjęcia decyzji. To się może udawać w sprawach mało krytycznych np. zabawkach dla dzieci. Ale nie w przypadkach kiedy pomyłka=śmierć.

Moim zdaniem jest sens w tym pomyśle z artykułu.
Mózg ludzki wydaje mi się że działa podobnie. Identyfikacja jest przeprowadzana wielopoziomowo od SI po dość sztywne algorytmy. A jak mamy niezgodność SI z sztywnym algorytmem to jest komenda: stop, analizuj jeszcze raz.

Share this post


Link to post
Share on other sites

Wszystko to jest bez sensu, podobnie jak usilne próby budowania kolejnych antropomorficznych robotów, które albo straszą, albo śmieszą wyglądem. Po to ten samochód jest autonomiczny, by nie stosować się do „ludzkich” informacji. Jedyne co powinien wykrywać, to swoje położenie i położenie przeszkód (inne pojazdy, cykliści, ludzie) — co za różnica czy system wykryje narciarza na piaszczystej pseudo-drodze w Afryce czy psa? Przeszkoda na drodze, to przeszkoda. Powinien spróbować ominąć, zwolnić, zatrzymać się, przekazać kontrolę kierowcy, ewentualnie użyć sygnałów. Natomiast od nawigacji powinny być mapy, a nie znaki. Zresztą znaki też można rozszerzyć o wkomponowaną nalepkę QR.

Projektanci patrzą zbyt szeroko i chcą zrobić system uniwersalny, na każdą pogodę i w ogóle super. A wystarczy po prostu działający.

Share this post


Link to post
Share on other sites
15 godzin temu, wilk napisał:

Po to ten samochód jest autonomiczny, by nie stosować się do „ludzkich” informacji

A kto mówi o ludzkich informacjach? :)

Piszemy o ludzkich algorytmach. Takich które jak to napisałeś:

15 godzin temu, wilk napisał:

po prostu działający

Tak, one po prostu działają. Ewolucja eliminowała przez miliony lat te niedziałające.
Problem w zastosowaniu informatyki w takich życiowych sytuacjach jest taki że te same matematycznie obiekty - informatycznie nie są takie same tylko podobne :) I na razie jest to ogólnie problem nierozwiązywalny jak z matematycznie "=" przejść na "podobne".

Algorytmów ogólnych gotowych nie ma. Możliwe że istnieją jedynie dla wybranych przypadków. Dlatego używamy SI. 

Edited by thikim

Share this post


Link to post
Share on other sites
W dniu ‎27‎.‎07‎.‎2018 o 19:51, wilk napisał:

Projektanci patrzą zbyt szeroko i chcą zrobić system uniwersalny, na każdą pogodę i w ogóle super. A wystarczy po prostu działający.

:D

Kim Dzon Un do swoich naukowców: przestańcie liczyć wszystkie zmienne, warianty i inne pier...oły. Ta rakieta ma bezawaryjnie i celnie  dolecieć do USA. 

W dniu ‎27‎.‎07‎.‎2018 o 19:51, wilk napisał:

. Natomiast od nawigacji powinny być mapy, a nie znaki

Hmm...nierozpoznanie przez SI interwencyjnie ustawionych znaków B1, B20, B62..zresztą wszystkich B, wygeneruje jakieś kłopoty .I ciekaw jestem, na jaka mapa ma wgrane znaki, które  pan policjant  może wygestykulować kiedy ma prawo i ochotę.

Share this post


Link to post
Share on other sites
15 godzin temu, thikim napisał:

ludzkich informacjach

Chodzi o ludzkie informacje, czyli odczytywanie znaków, sygnalizacji świetlnej, tego na co zwraca uwagę ludzki kierowca. To jest bez sensu. Ja rozumiem, że przy okazji chwytliwe granty i pole do rozwoju SI, ale to jest robienie wszystkiego naraz, przy okazji. Chcemy połączyć dwie deski, to przy okazji wynajdujemy spawanie, zgrzewanie, klejenie i nitowanie.

15 godzin temu, thikim napisał:

nie są takie same tylko podobne

Ale to pojazdu nie powinno w ogóle interesować. Przeszkoda to przeszkoda. Może ocenić jej szybkość poruszania się i ominąć lub oddać kierownicę. A czy to pies, człowiek czy wypuszczony z zoo hipopotam, to nie ma znaczenia. Co innego, gdyby to miał być system śledzenia celów w zastosowaniu wojskowych, ale na drodze robienie drabinki „if-ów” jest bez sensu. Skoro wystarczy niewielka modyfikacja, by sieć się pogubiła, to znaczy, że ma zbyt silne sprzężenie zwrotne lub została przeuczona. Poza tym kolejna bzdura — jakim cudem sieć uczona do rozpoznawania znaków rozpoznała psa? Dlaczego była do tego uczona? Od tego powinny być osobne komponenty, a nie jeden system rozpoznawania wszystkich obrazów. Sieć uczona do znaków powinna zwracać wyłącznie wyniki z własnej dziedziny, nawet jeśli rozpoznawanie już siada.

3 godziny temu, 3grosze napisał:

Ta rakieta ma bezawaryjnie i celnie  dolecieć do USA. 

Śmieszki, heheszki, ale rakieta jest w pełni samodzielna i jej zawrócenie się przez przypadek i odwiedzenie Kima nie jest opcją. A pociski typu cruise to już zupełnie inna kategoria. W przypadku samochodu wystarczającym jest reakcja na przeszkodę. Samochód nie musi wiedzieć czy właśnie nie rozjechał pijanego rowerzysty czy niedowidzącej seniorki. To całkowicie bez znaczenia dla nawigacji. Ponownie — przeszkoda to przeszkoda. SI może być znacząco lepszym kierowcą, popełniać mniej błędów, ale człowiek i tak zawsze da radę wpaść pod koła.

Share this post


Link to post
Share on other sites
6 godzin temu, wilk napisał:

Ale to pojazdu nie powinno w ogóle interesować. Przeszkoda to przeszkoda

No właśnie nie. Ściana deszczu to przeszkoda? Liście na drodze to przeszkoda? Odblask światła na drodze to przeszkoda? Samochód przed nami to przeszkoda?

Musi być algorytm który dany obiekt sklasyfikuje jako istotną przeszkodę. I nie zatrzyma się bo przed nami jedzie samochód.

6 godzin temu, wilk napisał:

Chodzi o ludzkie informacje, czyli odczytywanie znaków, sygnalizacji świetlnej, tego na co zwraca uwagę ludzki kierowca

A maszyna ma na to nie zwracać uwagi? :D W sumie po co patrzeć na sygnalizację świetlną :D

Maszyna ma oczywiście możliwość "zobaczenia" większej ilości rzeczy i są one istotne.

Edited by thikim

Share this post


Link to post
Share on other sites

Inny samochód? Oczywiście, że to przeszkoda i tak powinien być traktowany. Albo próbujemy go wyprzedzić, ominąć, albo czekamy aż sobie pojedzie. Ściana deszczu może być przeszkodą, jeśli jest to wodospad, za którym kryje się prawdziwa ściana. Bez sensu dywagacje. Odblask światła raczej nie zostawia echa na czujniku zbliżeniowym. A może się mylę? Po co ma zwracać uwagę i analizować (błędnie) rozmaite zestawy sygnalizatorów, które w każdym kraju wyglądają inaczej, skoro sam sygnalizator może wysyłać informację o aktualnym stanie? Kpisz sobie, a wystarczy, że spojrzysz nie tak daleko, na kolej.

Share this post


Link to post
Share on other sites

Create an account or sign in to comment

You need to be a member in order to leave a comment

Create an account

Sign up for a new account in our community. It's easy!

Register a new account

Sign in

Already have an account? Sign in here.

Sign In Now

  • Similar Content

    • By KopalniaWiedzy.pl
      Powiązani z chińskim rządem hakerzy z grupy APT41 włamali się do sieci wielkich firm telekomunikacyjnych, by móc podsłuchiwać rozmowy prowadzone przez światowych liderów. Eksperci z firmy FireEye Mandiant twierdzą, że hakerzy zainfekowali sieci narzędziem o nazwie MessageTap.
      Złośliwy kod został po raz pierwszy zauważony na linuksowych serwerach telekomunikacyjnych obsługujących SMS-y. Jego zadaniem było wyszukiwanie i kradzież treści wysyłanych przez osoby, którymi interesują się chińskie służby. Jak informuje FireEye, na celownik wzięto konkretne numery telefonów i numery IMSI. Wiadomości je zawierające były przechowywane w pliku CSV.
      Kradzione były też SMS-y zawierające słowa kluczowe związane z geopolityką. Były to na przykład treści zawierające interesujące Chińczyków nazwiska polityków, nazwy organizacji wojskowych i wywiadowczych oraz ruchów politycznych, czytamy w komunikacie FireEyer.
      firma ostrzega, że chińscy hakerzy zintensyfikowali swoje działania od roku 2017, gdy przekonali się, że ich działania pozwalają na zdobycie wielu poufnych informacji. W roku 2019 sama grupa APT41 zaatakowała cztery telekomy, a inne grupy powiązane z Pekinem wzięły na cel kolejne przedsiębiorstwa telekomunikacyjne.
      Poza operatorami telekomunikacyjnymi celem APT41 były też inne organizacje, takie jak firmy turystyczne czy zakłady opieki zdrowotnej, które posiadają informacje na temat interesujących osób, stwierdzają specjaliści FireEye. Jednocześnie zapewniono, że sprzęt, do którego włamali się Chińczycy nie został wyprodukowany przez Huawei.

      « powrót do artykułu
    • By KopalniaWiedzy.pl
      Badacze z firmy ESET uważają, że nowy zaawansowany backdoor, który atakuje SQL Server to dzieło chińskiej grupy APT17. Szkodliwy kod daje napastnikowi dostęp do bazy danych w taki sposób, że połączenie nie jest zapisywane w logach systemu. Grupa APT17 znana jest też pod nazwami Winniti Group, Axiom i Ke3chang.
      Specjaliści z ESET twierdzą, że zbadana przez nich wersja backdoora, zwana Skip-2.0 jest podobna do wcześniejszych narzędzi produkowanych przez Winnti Group, takich jak backdoor PortReuse czy trojan ShadowPad.
      Ten backdoor pozwala napastnikowi na potajemne kopiowanie, modyfikowanie i kasowanie zawartości bazy danych. Może być użyty, na przykład, do manipulowania wirtualnymi pieniędzmi używanymi w grach. Już wcześniej informowano o takich atakach z wykorzystaniem narzędzi Winnti, ostrzega ESET.
      Podobnie jak miało to miejsce w przypadku PortReuse i ShadowPad szkodliwy kod jest instalowany w C:\Windows\System32\TSVIPSrv.DLL. Testy wykazały, że skip-2.0 skutecznie atakuje różne wersje SQL Servera, w tym edycje 11 i 12. Wersja 12, która pojawiła się w roku 2014, wciąż jest najpopularniejszą edycją SQL Servera.
      Warto w tym miejscu przypomnieć, że PortReuse został znaleziony w komputerach sprzedawców oprogramowania i sprzętu w Azji Południowej, a ShadowPad zaatakował w 2017 roku południowokoreańskiego producenta oprogramowania, firmę NetSarang.

      « powrót do artykułu
    • By KopalniaWiedzy.pl
      Inżynierowie z intelowskiej grupy Strategic Offensive Research & Mitigation (STORM) opublikowali pracę naukową opisującą nowy rodzaj pamięci dla procesorów. Pamięć taka miałaby zapobiegać atakom side-channel wykorzystującym mechanizm wykonywania spekulatywnego, w tym atakom na błędy klasy Spectre.
      Wymienienie w tym kontekście dziury Spectre nie jest przypadkiem. Zespół STORM powstał bowiem po tym, jak Intel został poinformowany przez Google'a i niezależnych badaczy o istnieniu dziur Meltdown i Spectre. Przypomnijmy, że są to błędy w architekturze procesorów. Meltdown występuje niemal wyłącznie w procesorach Intela, Spectre dotyczy wszystkich procesorów wyprodukowanych przed rokiem 2019, które wykorzystują mechanizm przewidywania rozgałęzień. Dziura Spectre ma większy wpływ na procesory Intela niż innych producentów.
      Główny rywal Intela, AMD, w dużej mierze poradził sobie z atakami typu Spectre zmieniając architekturę procesorów Ryzen i Epyc. Intel jak dotąd walczy ze Spectre za pomocą poprawiania oprogramowania. To dlatego – jak wykazały testy przeprowadzone przez witrynę Phoronix – średni spadek wydajności procesorów Intela spowodowany zabezpieczeniami przed Spectre jest aż 5-krotnie większy niż w przypadku procesorów AMD.
      Inżynierowie ze STORM opisali nowy rodzaj pamięci dla procesorów, którą nazwali Speculative-Access Protected Memory (SAPM). Ma być ona odporna na obecne i przyszłe ataki typu Spectre i podobne. Członkowie grupy STORM mówią, że większość ataków typu Spectre przeprowadza w tle te same działania, a SAPM ma domyślnie blokować takie operacje, co zapobiegnie obecnym i ewentualnym przyszłym atakom.
      Jak przyznają badacze Intela, zaimplementowanie pamięci SAPM negatywnie wpłynie na wydajność procesorów tej firmy, jednak wpływ ten będzie mniejszy niż wpływ obecnie stosowanych łatek programowych. Mimo że spadek wydajności dla każdego przypadku dostępu do pamięci SAPM jest dość duży, to operacje tego typu będą stanowiły niewielką część operacji związanych z wykonaniem oprogramowania, zatem całkowity koszt będzie niski i potencjalnie mniejszy niż spadek wydajności spowodowany obecnie stosowanymi rozwiązaniami, czytamy w opublikowanym dokumencie.
      SAPM może zostać zaimplementowany zarówno na poziomie adresu fizycznego jak i wirtualnego. W tym drugim przypadku pamięć byłaby kontrolowana z poziomu systemu operacyjnego. Jeśli zaś ten zostałby skompromitowany, a tak się często dzieje, SAPM nie będzie chroniła przed atakiem.
      W opublikowanej pracy czytamy, że jest to praca teoretyczna, dotycząca możliwych implementacji, co oznacza, że całościowa koncepcja nie jest jeszcze gotowa i jeśli w ogóle SAPM powstanie, będzie wymagała długotrwałych szczegółowych testów.

      « powrót do artykułu
    • By KopalniaWiedzy.pl
      Apple oskarża Google'a o próbę wywołania strachu u wszystkich użytkowników iPhone'ów poprzez rozpowszechnianie fałszywej informacji jakoby doszło do wielkiego ataku na iPhone'y.
      Przypomnijmy, że na przełomie sierpnia i września google'owski Project Zero poinformował o odkryciu licznych witryn, które prowadzą szeroko zakrojone ataki na iPhone'y. Tymczasem, jak informuje rzecznik prasowy Apple'a Fred Sainz, atak był prowadzony na niewielką skalę, a badacze Google'a znaleźli zaledwie kilka witryn skierowanych do zamieszkującej Chiny mniejszości ujgurskiej, które atakowały swoich użytkowników.
      Wystarczy odwiedzić witrynę, by zostać zaatakowanym, napisał na blogu Project Zero jeden z pracowników Google'a Ian Beer. Udany atak pozwalał na ustalenie lokalizacji telefonu oraz kradzież zdjęć i haseł. Beer dodał, że ataki są prowadzone od co najmniej dwóch lat.
      Apple nie zaprzecza tym informacjom, jednak zauważa, że przedstawiciele Google'a pominęli ważne informacje. Po pierwsze ataki trafały dwa miesiące, nie dwa lata. Po drugie, były prowadzone przeciwko mniejszości ujgurskiej w Chinach, co wskazuje na działania chińskiego rządu, i nie można ich nazwać szeroko zakrojonymi. Ponadto, jak twierdzi Apple, te same witryny atakowały też użytkowników Windows i Androida, ale Google o tym nie wspomniał. Przedstawiciele Google'a tłumaczą, że nic nie wiedzieli o atakach na Androida.

      « powrót do artykułu
    • By KopalniaWiedzy.pl
      Platforma HackerOne poinformowała, że liczba etycznych hakerów, którzy zostali milionerami dzięki znalezionym przez siebie i zgłoszonym błędom, wzrosła do sześciu osób.
      HackerOne to jedna z pierwszych i największa obecnie firma, która postanowiła połączyć model współpracy społecznościowej pomiędzy badaczami, hakerami i firmami zainteresowanymi bezpieczeństwem z programem wypłacania nagród pieniężnych za zgłoszone dziury. Obecnie z HackerOne współpracuje około 200 000 badaczy ds. bezpieczeństwa, którzy odkryli dotychczach 72 000 dziur w ponad 1000 programach.
      HackerOne jest finansowana przez firmy i fundusze inwestycyjne oraz prywatnych inwestorów. To właśnie z tej platformy korzystał w 2016 roku amerykański Departament Obrony, który ogłosił za jej pośrednictwem konkurs „Hack the Pentagon”. Jego uczestnicy znaleźli i załatali 138 dziur w witrynach Departamentu Obrony i otrzymali w sumie 70 000 dolarów nagrody. Sukces tej inicjatywy spowodował, że w kolejnych latach pojawiły się takie programy jak „Hack the Army” oraz „Hack the Air Force”.
      W marcu bieżącego roku 19-letni Argentyńczyk Santiago Lopez został pierwszym etycznym hakerem, który na swojej działalności zarobił ponad 1 milion dolarów. Teraz HackOne informuje, że w ciągu kolejnych pięciu miesięcy barierę miliona dolarów na koncie przekroczyli kolejni hakerzy. Milionerami zostali Mark Litchfield z Wielkiej Brytanii, Frans Rosen ze Szwecji, Nathaniel Wakelam z Australii, ron Chan z Hongkongu oraz Tommy DeVoss z USA.

      « powrót do artykułu
×
×
  • Create New...