Jump to content
Forum Kopalni Wiedzy
KopalniaWiedzy.pl

Musk i DeepMind nie chcą pracować nad robotami bojowymi

Recommended Posts

Podczas International Joint Conference On Artificial Intelligence, która odbywa się właśnie w Sztokholmie, Future of Life Insitute zaprezentował dokument, którego sygnatariusze zobowiązali się do nieprowadzenia prac nad śmiercionośnymi autonomicznymi systemami bojowymi. Dokument podpisało ponad 160 organizacji i ponad 2400 osób. Wśród sygnatariuszy znajdziemy m.in. google'owskie DeepMind u jego założyciele czy Elona Muska. DeepMind to twórca algorytmów sztucznej inteligencji, które pokonały człowieka w go.

My, podpisani poniżej, uznajemy, że decyzja o odebraniu życia człowiekowi nigdy nie powinna być podejmowana przez maszynę. Moralnym uzasadnieniem takiego stanowiska jest przekonanie, że decyzja o odebraniu życia nie może zostać podjęta przez maszynę, za którą to decyzję odpowiedzialni będą inni lub nikt. Argument praktyczny zaś brzmi: wprowadzenie do użytku śmiercionośnej, autonomicznej broni, która będzie wybierała cele bez interwencji człowieka, będzie miało destabilizujący efekt zarówno na państwa jak i na poszczególnych ludzi, czytamy w oświadczeniu.

My, niżej podpisani, wzywamy rządy do stworzenia międzynarodowego prawa zabraniającego istnienia autonomicznych systemów bojowych. [...] nie będziemy nigdy uczestniczyli ani wspierali rozwoju, wytwarzania, handlu ani użycia śmiercionośnych autonomicznych systemów bojowych. Wzywamy firmy technologiczne, organizacje, liderów politycznych i społecznych oraz prawodawców i wszystkich innych ludzi do przyłączenia się do nas.

Niezależnie od powyższego apelu 26 państw wezwało do nałożenia światowego zakazu tworzenia śmiercionośnych autonomicznych systemów bojowych. Państwa te to Algieria, Argentyna, Austria, Boliwia, Brazylia, Chile, Chiny, Kolumbia, Kostaryka, Kuba, Dżibuti, Ekwador, Egipt, Ghana, Gwatemala, Watykan, Irak, Meksyk, Nikaragua, Panama, Pakistan, Peru, Palestyna, Uganda, Wenezuela i Zimbabwe.

Wśród instytucji podpisanych pod zobowiązaniem znajdziemy University College London, Europejskie Stowarzyszenie Sztucznej Inteligencji, portugalski Universidade NOVA czy Polskie Stowarzyszenie Sztucznej Inteligencji. Apel podpisało wielu naukowców zajmujących się robotami, informatyką i sztuczną inteligencją. Znajdziemy tam uczonych z Uniwersytetu w Montrealu, Uniwersytetu Nowej Południowej Walii, New York University, MIT, Uniwersytetu Kalifornijskiego, Cornell University i wielu innych szacownych instytycji naukowo-badawczych.


« powrót do artykułu

Share this post


Link to post
Share on other sites
19 godzin temu, wilk napisał:

Nie oni, to kto inny.

Dobrze że chociaż niektórzy nie chcą tego robić.

Share this post


Link to post
Share on other sites
2 godziny temu, Sławko napisał:

Dobrze że chociaż niektórzy nie chcą tego robić.

Tylko widzisz, problem jest taki, jak wspomniałem (albo też ktoś inny) już tutaj kiedyś. Dopóki zajmowałby się tym sektor cywilny, to „ludzie” mieliby jakiś wpływ na to, co powstanie. A tak zajmie się tym budżet wojskowy i czarne supertajne projekty i jedynie zobaczymy przy okazji któregoś konfliktu już gotowe takie autonomiczne roboty, wraz z niewiadomej jakości oprogramowaniem.

To że takie maszyny powstaną to raczej pewne, jak nie Amerykanie, to Rosjanie czy Chińczycy kiedyś zbudują i oni takich skrupułów mieć nie będą. A tak szlak byłby przetarty.

Share this post


Link to post
Share on other sites

Założę się, że o stosowaniu takich systemów dowiemy się, gdy one już będą działały od 20-30 lat. Tylko oficjalnie cały czas będzie, że to niby człowiek podjął decyzję a system tylko wykonał rozkaz.

Kiedy znajdzie się pierwszy, który się do tego przyzna nagle okaże się, że wszyscy z tego korzystali od dawna i nigdy nie stracili przewagi na polu walki.

Share this post


Link to post
Share on other sites
15 godzin temu, wilk napisał:

To że takie maszyny powstaną to raczej pewne, jak nie Amerykanie, to Rosjanie czy Chińczycy kiedyś zbudują i oni takich skrupułów mieć nie będą.

Teoretycznie można by postulować dopisanie autonomicznych systemów bojowych do tych samych porozumień, które zakazują np. produkcji i używania broni chemicznej czy biologicznej. Ja się zastanawiam, czy my chcemy AI czy nie? Bo jak chcemy i uważamy, że AI rozwiąże wszystkie nasze problemy, będzie za nas pracować, a co najważniejsze będzie za nas myśleć :), to zakaz wytwarzania takiej broni znacznie opóźni nadejście tej wielkiej szczęśliwości. 

Share this post


Link to post
Share on other sites
1 godzinę temu, pogo napisał:

Założę się, że o stosowaniu takich systemów dowiemy się, gdy one już będą działały od 20-30 lat.

W kosmitów też wierzysz? :)

Technologie wojskowe bo do tych zapewne się odnosisz mają inne wymagania (na jakość i kompatybilność) i w związku z tym wojskowa technologia jest obecnie opóźniona o jakieś 10 lat (zależy od kraju) względem cywilnej.

W celach wojskowych zasadniczo nie można sobie pozwolić na ładowanie czegoś co jest niesprawdzone.

Edited by thikim

Share this post


Link to post
Share on other sites
4 godziny temu, Jajcenty napisał:

dopisanie autonomicznych systemów bojowych

Tia, tylko czy obejmie to także autonomiczne systemy takie jak Phalanx (okręty), Trophy (czołgi) i inne. ;) Wątpię, by coś takiego dopisali. Obecne obostrzenia dotyczące broni ABC, min, bomb kasetowych, białego fosforu i in. wynikają z masowości lub niehumanitarności zastosowanego środka. Autoboty grozić mogą jedynie błędami w oprogramowaniu lub wysoką skutecznością w zabijaniu. Chociaż… z drugiej strony pamiętamy historię karabinów wyborowych (ale nie pamiętam(y) nazwy…), które po oznaczeniu celu same go śledziły, obliczały trajektorię, kompensację temperatury i wiatru, by w końcu samodzielnie oddać jak najlepszy strzał (zadaniem strzelca było tylko wyrażenie chęci likwidacji celu).

Share this post


Link to post
Share on other sites
W dniu 18.07.2018 o 23:43, KopalniaWiedzy.pl napisał:

My, podpisani poniżej, uznajemy, że decyzja o odebraniu życia człowiekowi nigdy nie powinna być podejmowana przez maszynę

vs.

Cytat

W trosce o byt i przyszłość naszej Ojczyzny,

odzyskawszy w 1989 roku możliwość suwerennego i demokratycznego stanowienia o Jej losie,

my, Naród Polski - wszyscy obywatele Rzeczypospolitej,

zarówno wierzący w Boga

będącego źródłem prawdy, sprawiedliwości, dobra i piękna,

jak i nie podzielający tej wiary,

a te uniwersalne wartości wywodzący z innych źródeł,

równi w prawach i w powinnościach wobec dobra wspólnego - Polski,

wdzięczni naszym przodkom za ich pracę, za walkę o niepodległość okupioną ogromnymi ofiarami, za kulturę zakorzenioną w chrześcijańskim dziedzictwie Narodu i ogólnoludzkich wartościach,

nawiązując do najlepszych tradycji Pierwszej i Drugiej Rzeczypospolitej,

zobowiązani, by przekazać przyszłym pokoleniom wszystko, co cenne z ponad tysiącletniego dorobku,

złączeni więzami wspólnoty z naszymi rodakami rozsianymi po świecie,

świadomi potrzeby współpracy ze wszystkimi krajami dla dobra Rodziny Ludzkiej,

pomni gorzkich doświadczeń z czasów, gdy podstawowe wolności i prawa człowieka były w naszej Ojczyźnie łamane,

pragnąc na zawsze zagwarantować prawa obywatelskie, a działaniu instytucji publicznych zapewnić rzetelność i sprawność,

w poczuciu odpowiedzialności przed Bogiem lub przed własnym sumieniem,

ustanawiamy Konstytucję Rzeczypospolitej Polskiej

jako prawa podstawowe dla państwa

 

Share this post


Link to post
Share on other sites

@thikim

Źle mnie zrozumiałeś. Chodzi mi o to, że takie technologie będą stosowane od 20-30 lat w momencie gdy oficjalnie się o nich dowiemy. Jak powstaną za 50 lat, to dowiemy się o nich za 70-80 itd... 

Share this post


Link to post
Share on other sites
W dniu 20.07.2018 o 12:50, pogo napisał:

Założę się, że o stosowaniu takich systemów dowiemy się, gdy one już będą działały od 20-30 lat.

Ja zmniejszyłbym ten okres (20-30 lat) bo...

W dniu 20.07.2018 o 12:50, pogo napisał:

Kiedy znajdzie się pierwszy, który się do tego przyzna nagle okaże się, że wszyscy z tego korzystali od dawna i nigdy nie stracili przewagi na polu walki.

... się nie przyzna tylko oponenci postarają się pokazać jakiej technologii użył.

Pierwszy będzie kozłem ofiarnym aby reszta, już oficjalnie, mogła pokazać i rozwijać swoje technologie.

Share this post


Link to post
Share on other sites

Create an account or sign in to comment

You need to be a member in order to leave a comment

Create an account

Sign up for a new account in our community. It's easy!

Register a new account

Sign in

Already have an account? Sign in here.

Sign In Now

  • Similar Content

    • By KopalniaWiedzy.pl
      Wraz z rozwojem coraz doskonalszych generatorów tekstu, takich jak ChatGPT, coraz częściej pojawiają się głosy o potrzebie opracowania metod wykrywania tekstów stworzonych przez sztuczną inteligencję. Metody takie przydałyby się nauczycielom czy wykładowcom akademickim, którzy mogliby identyfikować prace pisemne przyniesione przez nieuczciwych uczniów i studentów, przedstawiających wygenerowany przez komputer tekst jako własne dzieło. Mówi się o kursach z wykrywania oszustw i o tworzeniu odpowiednich narzędzi. Takie narzędzia – bazujące na sztucznej inteligencji – już powstają. Problem w tym, że nie są one zbyt wiarygodne.
      Naukowcy z Uniwersytetu Stanforda przyjrzeli się kilku algorytmom sztucznej inteligencji, które mają określać, czy zaprezentowany tekst został stworzony przez człowieka czy też przez inną sztuczną inteligencję. O ile jednak takie algorytmy sprawdzają się „niemal doskonale” podczas analizy tekstów pisanych przez 13-14-latków urodzonych w USA, to już zawodzą tam, gdzie mają do czynienia z angielskim tekstem napisanym przez osobę, dla której angielski nie jest językiem ojczystym. Okazało się bowiem, że gdy systemy te miały ocenić, kto jest autorem tekstu napisanego w ramach egzaminu TOEFL (Test of English as a Foreign Language), w aż 61,22% uznały, że to SI stworzyła tekst, który został napisany przez człowieka. W rzeczywistości jest jednak jeszcze gorzej. Aż 19% prac napisanych przez nastolatków, dla których angielski nie jest językiem ojczystym, zostało uznanych za stworzone przez SI przez wszystkie 7 badanych narzędzi do wykrywania fałszywek. A aż 97% napisanych przez ludzi prac zostało uznane za fałszywe przez co najmniej jeden z systemów.
      Problem tkwi tutaj w sposobie pracy systemów wykrywających tekst napisany przez Si. Opierają się one bowiem na złożoności użytego języka. Oczywistym jest, że przeciętna osoba, która nie jest rodzimym użytkownikiem języka angielskiego ma mniejszy zasób słownictwa, a tworzone przez nią zdania są prostsze pod względem gramatycznym i składniowym od zdań rodzimego użytkownika angielskiego. Sztuczna inteligencja, próbując wykryć fałszywki, uznaje ten niższy poziom złożoności za znak, że tekst został stworzony przez sztuczną inteligencję. To poważny problem, gdyż uczeń czy student, który urodził się poza USA, może w ten sposób zostać uznany przez nauczyciela za oszusta, mimo że sam napisał pracę.
      Co więcej, naukowcy ze Stanforda zauważyli, że takie systemy łatwo jest oszukać nawet rodzimemu użytkownikowi angielskiego. Okazuje się bowiem, że wystarczy wygenerować tekst za pomocą ChataGPT, a następnie wydać maszynie polecenie, by poprawiła ten tekst dodając doń słownictwo literackie.
      Obecne wykrywacze są niewiarygodne i łatwo je oszukać, dlatego też należy używać ich bardzo ostrożnie w roli remedium na oszukiwanie za pomocą sztucznej inteligencji, mówi jeden z autorów badań, profesor James Zou.
      Uczony uważa, że w najbliższej przyszłości nie należy ufać takim wykrywaczom, szczególnie w tych szkołach i uczelniach, gdzie mamy dużo uczniów, dla których angielski nie jest językiem macierzystym. Po drugie, twórcy narzędzi do wykrywania muszą zrezygnować ze złożoności jako głównego wyznacznika analizy tekstu i opracować bardziej zaawansowane techniki. Ponadto ich systemy powinny być bardziej odporne na obejście. Być może rozwiązanie problemu leży po stronie twórców takich systemów jak ChatGPT. Zou sugeruje, że tego typu generatory mogłyby dodawać do tekstu rodzaj znaku wodnego, którym byłyby subtelne sygnały, oczywiste dla systemów wykrywających, stanowiące niejako podpis generatora i wskazujące, że to on jest autorem.

      « powrót do artykułu
    • By KopalniaWiedzy.pl
      Przed laty pisarze domagali się stworzenia systemu opłat czy rekompensat związanych z niezwykłą łatwością kopiowania i rozpowszechniania ich utworów w świecie cyfrowym. Wiele osób korzystało bowiem z ich pracy nie płacąc twórcom dzieł. Teraz twórcy znowu protestują, a jednym z powodów jest... sztuczna inteligencja.
      Gildia Pisarzy Ameryki (Writers Guild of America – WGA), związek zawodowy skupiający głównie osoby pracujące w przemyśle filmowym i telewizyjnym, rozpoczęła strajk po tym, jak nie doszła do porozumienia z reprezentującą amerykański przemysł rozrywkowy organizacją Alliance of Motion Picture and Television Producers. Jednym z elementów sporu jest istnienie narzędzi takich jak ChatGPT. WGA chce zakazu wykorzystywania tego typu algorytmów do tworzenia historii i scenariuszy do filmów i programów.
      Członkowie WGA obawiają się, że przemysł zacznie wykorzystywać algorytmy sztucznej inteligencji do tworzenia scenariuszy, które następnie będą jedynie „wygładzane” przez ludzi. A do tego potrzeba będzie znacznie mniej twórców niż obecnie, co negatywnie wpłynie na zatrudnienie i zarobki w tym dziale gospodarki. WGA proponuje również, by żaden skrypt filmowy czy telewizyjny, który jest objęty grupową umową związkowa, nie był być wykorzystywany do trenowania algorytmów SI. To zresztą echo szerszego sporu dotyczącego tego, czy koncerny stojące za takimi narzędziami jak ChatGPT mają prawo bez zgody właściciela praw autorskich wykorzystywać tekst do trenowania swoich algorytmów. W ten sposób bowiem nie płacą za cudzą pracę, a czerpią z niej zyski.
      Wielkie studia filmowe i telewizyjne oraz serwisy internetowe nie chcą przystać na powyższe żądania. Są przeciwne stawianiu twardych granic dotyczących wykorzystywania przez nie systemów sztucznej inteligencji.
      WGA to nie jedyny reprezentant pracowników przemysłu filmowego, który wyraża obawy związane z rozwojem SI. Także związki zawodowe reprezentujące aktorów obawiają się, że systemy SI mogą być w coraz większym stopniu wykorzystywane w rozrywce. I nie są to obawy pozbawione podstaw. WGA stawia tutaj bardzo ważne pytanie. Kto zyska, a kto straci na rozwoju takich systemów, mówi Sarah Myers West z AI Now Institute w Nowym Jorku.
      Coraz więcej grup zawodowych czuje się zagrożonych przez rozwój systemów sztucznej inteligencji. Maszyny w najbliższych latach będą mogły zastąpić ludzi w wykonywaniu coraz większej liczby czynności. Niedawno IBM poinformował, że z czasem przestanie rekrutować ludzi na stanowiska, na których mogą być zastąpieni przez sztuczną inteligencję. Jako, że rozwoju SI nie można powstrzymać, kluczową staje się odpowiedź na pytanie, kto będzie ten rozwój kontrolował i jak będzie on przebiegał.

      « powrót do artykułu
    • By KopalniaWiedzy.pl
      Dyrektor wykonawczy IBM-a Arvind Krishna poinformował, że jego firma przestanie rekrutować ludzi na stanowiska, na których w najbliższych latach mogą być oni zastąpieni przez sztuczną inteligencję. W wywiadzie dla Bloomberga menedżer stwierdził, że rekrutacja na stanowiska biurowe, na przykład w dziale HR, może zostać znacznie spowolniona lub całkowicie wstrzymana. Obecnie na tego typu stanowiskach – gdzie nie ma kontaktu z klientem – IBM zatrudnia 26 000 osób.
      Zdaniem Krishny, w ciągu najbliższych 5 lat sztuczna inteligencja może zastąpić 30% z nich. To oznacza, że w samym tylko IBM-ie maszyny zastąpią 7800 osób. Stąd też pomysł na spowolnienie lub wstrzymanie rekrutacji, dzięki czemu uniknie się zwalniania ludzi.
      Krishna mówi, że takie zadania, jak pisanie listów referencyjnych czy przesuwanie pracowników pomiędzy poszczególnymi wydziałami, prawdopodobnie zostaną całkowicie zautomatyzowane. Inne zaś, takie jak analizy produktywności czy struktury zatrudnienia, ludzie będą wykonywali jeszcze przez kolejną dekadę.
      Błękitny Gigant zatrudnia obecnie około 260 000 osób i wciąż zwiększa zatrudnienie. Potrzebuje pracowników przede wszystkim do rozwoju oprogramowania oraz osób pracujących z klientem. Na początku bieżącego roku firma ogłosiła, że planuje zwolnienia, które w sumie obejmą 5000 osób, ale jednocześnie w I kwartale zatrudniła 7000 osób.

      « powrót do artykułu
    • By KopalniaWiedzy.pl
      AKTUALIZACJA: Inżynierowe SpaceX nie poradzili sobie z problemami z ciśnieniem w rakiecie Super Heavy. Test został odwołany.
      Dzisiaj o godzinie 15:00 czasu polskiego ma odbyć się testowy lot najpotężniejszej rakiety w dziejach, systemu Starship firmy SpaceX. Pojazd załogowy został zintegrowany z rakietą Super Heavy i czeka na stanowisku startowym. Start może odbyć się pomiędzy godziną 15:00 a 16:30, chociaż Elon Musk nie wyklucza, że zostanie odwołany. SpaceX bardzo ostrożnie podchodzi to pierwszego testu tak potężnej rakiety. Mimo, że system jeszcze nie został sprawdzony, NASA już podpisała ze SpaceX wielomiliardową umowę przewidującą, że w przyszłości Starship będzie woził astronautów na Księżyc w ramach programu Artemis.
      Plan pierwszego testu zakłada, że Starship wzniesie się na wysokość około 240 kilometrów nad powierzchnię Ziemi. Znajdzie się więc w przestrzeni kosmicznej, której granicę umownie wyznacza linia Karmana na wysokości 100 km nad Ziemią.
      Starship składa się z pojazdu załogowego o tej samej nazwie oraz rakiety nośnej Super Heavy, która korzysta z 33 silników. Całość ma wysokość 120 metrów. Już pierwsza wersja tego zestawu wielokrotnego użytku ma wynosić na niską orbitę okołoziemską (LEO) ładunek o masie od 100 do 150 ton. Po rozbudowie Starship będzie wynosił na LEO nawet 250-tonowe ładunki.
      Siła ciągu całości wynosi imponujące 75 900 kN. Starship jest nie tylko potężniejszy od najnowszego systemu NASA – SLS – o maksymalnym ciągu 41 000 kN, który będzie zdolny wynieść na LEO masę 130 ton. To również najpotężniejszy system rakietowy w historii. Obecnie miano najpotężniejszej rakiety w dziejach należy do Saturna V. Zawiozła ona ludzi na Księżyc i była w stanie wynieść na LEO ładunek o masie 140 ton.
      SpaceX przez rok czekała na zgodę Federal Aviation Administration na przeprowadzenie dzisiejszego testu. Firma musiała spełnić wysokie wymagania dotyczące m.in. bezpieczeństwa osób i infrastruktury naziemnej. W teście będą brali udział urzędnicy FAA, którzy sprawdzą, czy SpaceX spełniła wszystkie wymagania.
      NASA i SpaceX zawarły umowę, która przewiduje, że w roku 2025 Starship może wziąć udział w misji Artemis III. Plan przewiduje, że astronauci zostaną wystrzeleni w kapsule Orion za pomocą systemu SLS i – być może – przesiądą się do Starshipa, który będzie oczekiwał na orbicie Księżyca. To właśnie Starship ma lądować na Srebrnym Globie. Przedstawiciele SpaceX mówią, że zanim ich pojazd będzie gotowy do zabrania na pokład ludzi, będą chcieli przeprowadzić 100 testów orbitalnych. W tej chwili nie wiadomo, czy uda się to założenie spełnić.

      « powrót do artykułu
    • By KopalniaWiedzy.pl
      Przed kilku laty głośno było o Neuralink, firmie Elona Muska, który obiecał stworzenie implantu łączącego ludzki mózg z komputerem. Przed kilkoma miesiącami biznesmen ogłosił, że do maja bieżącego roku rozpoczną się testy implantu The Link na ludziach. Jednak przed Neuralinkiem może być bardzo wyboista droga. Media doniosły właśnie, że już przed rokiem Federalna Agencja ds. Żywności i Leków (FDA) odrzuciła wniosek o testy urządzenia, a dwa amerykańskie ministerstwa prowadzą śledztwo ws. działań firmy Neuralink.
      The Link ma być wszczepiany do mózgu. Jako taki jest przez FDA klasyfikowany jako urządzenie Klasy III. Należą do niej urządzenia medyczne, które podtrzymują lub wspierają funkcje życiowe, są implantowane lub stwarzają potencjalnie nieuzasadnione ryzyko choroby lub odniesienia obrażeń. FDA oświadczyła, że wniosek Neuralinku o rozpoczęcie testów na ludziach zawierał „dziesiątki niedociągnięć”, więc został odrzucony. Wątpliwości Agencji budziły m.in. stabilność akumulatorów i systemu ładowania, możliwość migrowania implantu w mózgu czy uszkodzenia tkanki. I mimo upływu wielu miesięcy Neuralink wciąż nie jest w stanie poprawić wszystkich niedociągnięć.
      Odrzucenie wniosku nie oznacza, co prawda, że The Link nie zostanie w końcu dopuszczony do testów, ale wskazuje, że kilkunastu ekspertów, którzy przyglądali się implantowi, zgłosiło poważne zastrzeżenia.
      To jednak nie wszystkie problemy. Pod koniec ubiegłego roku Departament Rolnictwa wszczął śledztwo ws. złego traktowania zwierząt laboratoryjnych przez firmę Muska, a Departament Transportu otworzył swoje śledztwo dotyczące nieprawidłowości przy międzystanowym transporcie materiałów niebezpiecznych, w tym implantów od chorych zwierząt.
      Ustalenia Departamentów Rolnictwa i Transportu mogą w jakiś pośredni sposób wpłynąć na proces decyzyjny FDA. Dodatkowo sprawę mogą skomplikować zapowiedzi Muska i innych przedstawicieli firmy, którzy twierdzili, że The Link pozwoli niewidomym widzieć, sparaliżowanym chodzić oraz pozwoli na połączenie z jakimś rodzajem sztucznej inteligencji. Urządzenia Klasy III są oceniane pod kątem bezpieczeństwa oraz spełniania stawianych przed nimi założeń. Szumne zapowiedzi dotyczące niezwykłych możliwości The Link, nawet jeśli nie znajdą się w oficjalnym wniosku, mogą spowodować, że urzędnicy FDA będą znacznie baczniej przyglądali się urządzeniu i aplikacji.
      Eksperci uważają, że firma Muska nie ma niezbędnej wiedzy i doświadczenia, by w przewidywalnym czasie wprowadzić na rynek implant mózgowy.

      « powrót do artykułu
  • Recently Browsing   0 members

    No registered users viewing this page.

×
×
  • Create New...