Wojna sztucznej inteligencji na platformie Kaggle

[KopalniaWiedzy.pl 357]

Najlepszą obroną przeciwko złej sztucznej inteligencji może być dobra sztuczna inteligencja. Systemy SI będą przyszłością bezpieczeństwa, a używać ich będą zarówno cyberprzestępcy jak i osoby odpowiedzialne za ochronę infrastruktury IT.

Autorzy platformy Kaggle, na której twórcy modeli statystycznych i analitycznych konkurują między sobą budując modele najlepiej opisujące dostępne zestawy danych, właśnie ogłosili rozpoczęcie zawodów pomiędzy algorytmami sztucznej inteligencji. Zawody, które potrwają przez pięć miesięcy, mają na celu wyłonienie najlepszych algorytmów ofensywnych i defensywnych. To świetny pomysł, by w jednym miejscu zgromadzić badania dotyczące zarówno technik oszukiwania systemów maszynowego uczenia się, jak systemów odpornych na tego typu ataki, cieszy się profesor Jeff Clune z University of Wyoming, który bada granice maszynowego uczenia się.

Konkurs będzie składał się z trzech elementów. W ramach pierwszego z wyzwań zadaniem będzie oszukanie mechanizmu maszynowego uczenia się tak, by przestał właściwie pracować. Druga konkurencja zakłada próbę wymuszenia na algorytmie nieprawidłowe sklasyfikowanie danych. W ramach trzeciego wyzwania uczestnicy będą musieli stworzyć systemy jak najbardziej odporne na ataki. Wstępne wyniki zostaną zaprezentowane już pod koniec bieżącego roku.

Maszynowe uczenie się, w ramach którego maszyna samodzielnie tworzy algorytm służący do rozwiązania stojącego przed nią problemu, staje się coraz ważniejszym narzędziem pracy w wielu gałęziach przemysłu i nauki. Od dawna jednak wiadomo, że technologię maszynowego uczenia można oszukać. Na przykład udaje się to spamerom, którzy oszukują automatyczne algorytmy wyłapujące niechciane e-maile. Czasami, ku zaskoczeniu ekspertów, okazuje się, że nawet niezwykle zaawansowane algorytmy można oszukać w bardzo prosty sposób. Zorganizowanie „bitwy algorytmów” może być dobrym sposobem na ich udoskonalenie. Antagonistyczne maszynowe uczenie się jest trudniejsze do badania niż jego konwencjonalna odmiana. Trudno jest bowiem stwierdzić, czy to atak był tak silny, czy obrona tak słaba, mówi Ian Goodfellow z Google Brain, które organizuje zawody.

Jako, że wspomniane algorytmy są coraz częściej wykorzystywane, rosną obawy o ich bezpieczeństwo. Tym bardziej, że maszynowe uczenie się jest coraz popularniejsze i może być wykorzystane zarówno do prowadzenia pozytywnych jak i negatywnych działań. Bezpieczeństwo IT zmierza w kierunku maszynowego uczenia. Ci źli będą wykorzystywali maszynowe uczenie do zautomatyzowania ataków, a my do obrony, mówi Goodfellow.

« powrót do artykułu

[darekp 80]

Trochę się kojarzy ze znaną scenką z Lema: 

 

- Moja maszyno cyfrowa! Moja dobra! - jest tak a tak, elektrosmok pragnie mnie tronu pozbawić, z królestwa wyrzucić, ratuj i mów, co czynić, aby go pokonać?!

(...)

Zabrzęczała maszyna, zaszumiała, odchrząknęła i rzekła:

- Rzecz jest prosta. Należy zbudować elektrosmoka, potężniejszego niż ten, który na Księżycu siedzi. Pokona on księżycowego, połamie mu wszystkie gnaty elektryczne i w ten sposób dopnie się celu!

- Ach, to doskonale! - odparł król. - A czy możesz sporządzić mi plan tego smoka?

- Będzie to supersmok - rzekła maszyna. - Nie tylko plany umiem sporządzić, ale i jego samego, co zaraz uczynię, ale zaczekaj chwilkę, królu! - I w samej rzeczy zaszuściła, zahuczała, zajaśniała składając coś w swym wnętrzu i już coś, jak pazur olbrzymi, elektryczny, płomienisty, wysunęło się jej z boku, kiedy król zakrzyknął:

- Stara maszyno cyfrowa, stój! (...), przecież elektrosmok, którego sporządzisz, pokona tamtego smoka, ale sam pewno zostanie na jego miejscu, jakże będzie można jego z kolei usunąć?!

- Sporządzając innego, następnego, jeszcze potężniejszego - wyjaśniła maszyna.

- Ależ nie! nie rób wobec tego nic, proszę, cóż mi z tego, że na Księżycu będą smoki coraz straszliwsze, kiedy ja tam żadnego nie chcę!    

- A, to inna rzecz - odparła maszyna - czemuś mi tego od razu nie powiedział? Widzisz, jak nielogicznie się wyrażasz?

Edytowane 20 lipca 2017 przez darekp

[ex nihilo 223]

No i teraz pytanie:

czy król dobrze (dla siebie oczywiście) zrobił, że nie pozwolił maszynie zbudować superelektrosmoka?

[darekp 80]

No i teraz pytanie:

czy król dobrze (dla siebie oczywiście) zrobił, że nie pozwolił maszynie zbudować superelektrosmoka?

 

Ano, oczywiście, że źle. Bo - niezależnie od tego, że on nie zbudował - ktoś inny go prędzej czy później zbuduje  

 

P.S. Żeby nie było wątpliwości - moja odpowiedź nie jest w 100 % na poważnie  Tzn. nie mam poczucia, że to rzeczywiście jest takie oczywiste...

Edytowane 20 lipca 2017 przez darekp

[thikim 119]

A to zależy oczywiście. Od tak nieistotnych szczegółów technicznych jak:

- kiedy nastąpi atak

- jakie będą straty

i wielu innych nieistotnych szczegółów w których tkwi diabeł.

Za dużo tu stopni swobody.

 

 

Bo - niezależnie od tego, że on nie zbudował - ktoś inny go prędzej czy później zbuduje

Odnosząc się do tego zdania i implikowanych przez nie szczegółów: dobrze zrobił.
Bo to daje mu czas. A czasu nie ma się nieograniczonej ilości. Król kiedyś umrze. Co go obchodzi co będzie po jego śmierci?

 

 

Najlepszą obroną przeciwko złej sztucznej inteligencji może być dobra sztuczna inteligencja

Ja to bym napisał tak

Może i może.

Edytowane 20 lipca 2017 przez thikim

[darekp 80]

Bo to daje mu czas. A czasu nie ma się nieograniczonej ilości. Król kiedyś umrze. Co go obchodzi co będzie po jego śmierci?

 

Mi się wydaje, że podobny sposób myślenia opisał Cejrowski w jednej ze swoich książek - niektóre plemiona Indian znad Amazonki uciekają coraz bardziej w głąb dżungli przed cywilizacją białego człowieka. Chowają się w coraz bardziej niedostępne zakątki. To jest taki ich świadomy wybór, wyczuwają, że kontakt z naszym światem zniszczy ich kulturę. I co o tym myśleć - nie da się uciekać w nieskończoność, więc to jest tylko takie "zyskanie na czasie", odsunięcie problemu "na później". Być może na wtedy, kiedy będę już martwy - tylko co z tego, skoro np. moje dzieci będą żyły? To nie jest rozwiązanie. Pomimo tego że IMHO w tym dążeniu do zachowania własnej kultury jest coś zasługującego na szacunek.

Czyli taka jakby sytuacja w której odpowiedź jest chyba tylko jedna - ale to nie jest łatwa odpowiedź (w przypadku tych Indian - pójść na "zderzenie" z "białasami" ale zacisnąć zęby i zachować coś z własnej tożsamości, w przypadku króla - zbudować maszynę, ale zarazem podjąć jakiś - pewnie bardzo duży - wysiłek, żeby do czegoś niekorzystnego z jego punktu widzenia - nie dopuścić) (??)

Edytowane 20 lipca 2017 przez darekp