Sztuczna inteligencja z Microsoftu rozgrywa idealną partię w Ms. Pac-Man

[KopalniaWiedzy.pl 317]

Badacze ze specjalizującej się w głębokim uczeniu kanadyjskiej firmy Maluuba, kupionej w bieżącym roku przez Microsoft, wykorzystali sztuczną inteligencję do rozegrania idealnych partii w Ms. Pac-Man i zdobycia maksymalnej liczby 999 990 punktów. Ms. Pac-Man to wersja popularnej gry z lat 80. ubiegłego wieku. Rozgrywka wygląda bardzo prosto, jednak jest trudna. Profesor Doina Precup z McGill University, mówi, że osiągnięcie ekspertów z Maluuba jest warte odnotowania, gdyż Ms. Pac-Man to jedna z najtrudniejszych gier dla sztucznej inteligencji.

Podczas pracy z Ms. Pac-Man wykorzystano algorytm „dziel i zwyciężaj”. Zdaniem Precup najbardziej interesujący jest sposób podejścia do problemu. Badacze Maluuby podzielili bowiem Ms. Pac-Man na szereg małych problemów, z których każdy przydzielono osobnemu algorytmowi SI. Pomysł, by pracować nad różnymi zagadnieniami po to, by osiągnąć wspólny cel, jest bardzo interesujący – mówi uczona. Dodaje, że niektóre teorie mówią, iż tak właśnie pracuje ludzki mózg. Jej zdaniem osiągnięcie zaprezentowane przez Maluubę może mieć daleko idące implikacje dla rozwoju SI ogólnego przeznaczenia.

Badacze z Maluuby nazwali swoją metodę Hybrid Reward Architecture. Wykorzystali ponad 150 algorytmów, które jednocześnie pracowały nad udoskonaleniem metody przejścia Pac-Mana. Algorytmy miały różne zadania. Na przykład niektóre musiał zdobyć konkretną kulkę z tych połykanych przez Ms. Pac-Man, z kolei zadaniem innych było wyłącznie uciekanie przed duszkami. Później badacze stworzyli główny algorytm, coś w rodzaju zarządzającego przedsiębiorstwem, który – zbierając sugestie z innych algorytmów – decydował, gdzie powinna poruszać się Ms. Pac-Man. Główny algorytm nie tylko brał pod uwagę to, ile algorytmów sugerowało ruch w konkretnym kierunku, ale również intensywność i uzasadnienie sugestii. jeśli na przykład 100 algorytmów sugerowało ruch w prawo, gdyż znajdowała się tam kulka, a trzy proponowały ruch w lewo, bo po prawej był duszek, główny algorytm większą wagę przykładał do sugestii tych, które ostrzegały przed duszkiem i poruszał Ms. Pac-Man w lewo.
Harm Van Seijen, główny badacz Maluuby, mówi, że najlepsze wyniki osiągano, gdy każdy z algorytmów zachowywał się egoistycznie, skupiał się wyłącznie na dotarciu do wybranej kulki, a główny algorytm decydował, jak wykorzystać dane przekazane przez każdy z algrytmów, by wykonać ruch najlepszy dla wszystkich.

Wiele firm wykorzystuje gry do udoskonalania algorytmów sztucznej inteligencji. Ms. Pac-Man jest jedną z najtrudniejszych. Sam twórca Ms. Pac-Man, Steve Golson, przyznał, że dopiero kilka miesięcy temu dowiedział się, że jego gra jest w ten sposób wykorzystywana. To ma sens – stwierdził Golson. Ms. Pac-Man została celowo zaprojektowana tak, by była mniej przewidywalna od Pac-Mana, jest więc trudniejsza, a sztuczna inteligencja musi nauczyć się prawidłowej reakcji na przypadkowe ruchy duszków.

Nieprzewidywalność Ms. Pac-Man oraz model nadzoru głównego algorytmu nad pozostałymi to najbardziej interesujące aspekty badań Maluuby. Wykorzystana przez firmę metoda może np. sprawdzić się w działaniach marketingowych, gdzie SI podpowie, którego klienta i w którym momencie warto zainteresować którym towarem. Jest to też obiecujące podejście potencjalnie przydatne do dalszych prac nad sztuczną inteligencją, której może np. pomóc w lepszym przetwarzaniu języków naturalnych.

 

« powrót do artykułu