Jump to content
Forum Kopalni Wiedzy

Search the Community

Showing results for tags ' algorytm'.



More search options

  • Search By Tags

    Type tags separated by commas.
  • Search By Author

Content Type


Forums

  • Nasza społeczność
    • Sprawy administracyjne i inne
    • Luźne gatki
  • Komentarze do wiadomości
    • Medycyna
    • Technologia
    • Psychologia
    • Zdrowie i uroda
    • Bezpieczeństwo IT
    • Nauki przyrodnicze
    • Astronomia i fizyka
    • Humanistyka
    • Ciekawostki
  • Artykuły
    • Artykuły
  • Inne
    • Wywiady
    • Książki

Find results in...

Find results that contain...


Date Created

  • Start

    End


Last Updated

  • Start

    End


Filter by number of...

Joined

  • Start

    End


Group


Adres URL


Skype


ICQ


Jabber


MSN


AIM


Yahoo


Lokalizacja


Zainteresowania

Found 4 results

  1. Gdy robimy zakupy online zwykle wpisujemy kilka wyrazów i liczymy na to, że wyszukiwarka poda nam prawidłowy wynik. Od naszej strony wygląda to banalnie prosto, jednak dopasowanie odpowiedniego produktu wśród milionów innych to nie lada wyzwanie. Dla firm zajmujących się handlem on-line właściwy algorytm może być żyłą złota. Badacze z Rice University i Amazona poinformowali właśnie o dokonaniu ważnego przełomu, dzięki któremu rozwiązanie problemów związanych z dopasowaniem, czy to w algorytmach do wyszukiwania towarów w sklepie czy algorytmach tłumaczenia pomiędzy językami, będzie wymagało znacznie mniej zasobów niż obecnie. Czas treningu naszego algorytmu jest 7-10 razy krótszy, a potrzebna ilość pamięci 2-4 razy mniejsza niż w najlepszych podobnych systemach, mówi główny autor badań profesor Anshumali Shrivastava. Mamy milion słów w języku angielskim, ale z pewnością online dostępnych jest ponad 100 milionów produktów, informuje doktorant Tharun Medini. Miliony ludzi codziennie dokonują zakupów, a każdy robi to na swój sposób. Niektórzy wpisują słowa kluczowe, inni zadają pytania. Wiele osób nie ma też sprecyzowanych oczekiwań. Jako że każdego dnia dokonywane są w ten sposób miliony wyszukiwań, firmy takie jak Google, Amazon czy Microsoft dysponują olbrzymimi bazami danych. Służą one m.in. do maszynowego uczenia algorytmów. Ich twórcy ciągle je udoskonalają, by jak najlepiej dopasować wynik wyszukiwania do potrzeb kupującego. Systemy do głębokiego uczenia się, sieci neuronowe do olbrzymie zestawy równań, które przetwarzają dane wprowadzane przez użytkownika w dane wynikowe. Zestawy takie pogrupowane są w matryce, coraz bardziej uściślające wynik wyszukiwania. Dane trafiają do pierwszej matrycy, następnie do kolejnej i następnej. Modele takie zawierają miliardy różnych parametrów służących uzyskaniu jak najlepszych danych wyjściowych. Informacje, jakie w wyszukiwarce sklepu internetowego wprowadza użytkownik mogą dać wiele różnych wyników, dlatego też są przetwarzane w bardzo złożony sposób, by jak najlepiej dopasować wynik do oczekiwania użytkownika. Modele do głębokiego uczenia się tak bardzo rozbudowane i korzystają z tak olbrzymich zestawów danych, że trening przeprowadza się na maszynach, które można uznać z superkomputery. Siec neuronowa, która przyjmuje dane wejściowe i dopasowuje je do 100 milionów możliwych danych wyjściowych, czyli produktów, zwykle zawiera 2000 parametrów na każdy produkt. Zatem ostateczna warstwa obliczeniowa tej sieci zawiera 200 miliardów parametrów. Przechowywanie tych 200 miliardów parametrów wymaga około 500 gigabajtów pamięci. Jeśli jednak przyjrzymy się współczesnym algorytmom uczącym, zobaczymy, że w słynnym algorytmie Adam na każdy parametr przypadają dwa dodatkowe służące monitorowaniu i statystykom. Robi nam się z tego 1,5 terabajta pamięci potrzebnej modelowi do pracy. A nie doszliśmy jeszcze do rozmiarów bazy danych. Najlepsze procesory graficzne, wykorzystywane do obliczeń tego typu, obsługują 32 gigabajty pamięci, więc trenowanie takiego modelu wymaga olbrzymiej liczby GPU i szybkiej komunikacji pomiędzy nimi, stwierdza Medini. Uczeni z Rice'a opracowali nowy model o nazwie MACH (merged-average classifiers via hashing). To algorytm typu "dziel i zwyciężaj". Aby go zrozumieć, proponują eksperyment myślowy. Należy przypadkowo podzielić wspomniane 100 milionów produktów na trzy klasy. "Powiedzmy, że w wrzucę do jednego worka iPhone'y z t-shirtami. Ze 100 milionów danych wyjściowych robią mi się raptem trzy". W proponowanym eksperymencie myślowym mamy więc 3 worki z produktami. I dwa różne światy. Co oznacza, że w każdym ze światów każdy produkt może znajdować się w innym worku. System klasyfikujący jest trenowany tak, by podawane przez użytkownika dane wejściowe przypisywał do worka, a nie do konkretnego produktu. Podajemy dane wejściowe dla wyszukiwania w świecie numer jeden i otrzymujemy wynik: „worek 3”. Następnie to samo wyszukiwanie jest dokonywane w świecie numer dwa i otrzymujemy wynik: „worek 1”. Co to oznacza? Że produkt, którego poszukuję, należy do klasy produktów znajdujących się w obu światach w obu wspomnianych workach. Jeśli policzymy liczbę możliwych rozwiązań to otrzymamy 3 w jednym świecie razy 3 w drugim świecie. W ten sposób redukujemy przestrzeń wyszukiwania 1:9 i tworzymy tylko sześć klas przedmiotów. Jeśli dodamy jeszcze jeden świat z kolejnymi trzema workami, trzykrotnie zwiększymy liczbę powiązań. Mamy więc teraz 27 możliwości, zmniejszyliśmy przestrzeń wyszukiwania do 1:27, ale koszt wyszukiwania to przeszukanie jedynie 9 klas. Zwiększamy więc koszt linearnie, ale możliwości wyszukiwania zwiększają się wykładniczo. Specjaliści wykorzystali do swoich badań sklep Amazona, w którym znajduje się 49 milionów produktów. Podzielili te produkty na 10 000 klas (worków) i cały proces powtórzyli 32 razy. W ten sposób liczba parametrów wykorzystanych przez model zmniejszyła się z około 100 miliardów do 6,4 miliarda, a trening modelu wymagał mniej czasu i mniej dostępnej pamięci niż porównywalnych modeli, mówi Medini. Naukowiec zauważa, że jedną z najważniejszych cech modelu MACH jest fakt, że nie wymaga on komunikacji pomiędzy procesorami. W naszym eksperymencie myślowym ten brak komunikacji jest reprezentowany przez oddzielne światy. One nie muszą wymieniać się danymi. Możemy przeprowadzić cały proces na pojedynczym GPU, czego nigdy wcześniej nie udało się dokonać, cieszy się Medini. Ogólnie rzecz ujmując, trenowanie tego typu algorytmów wymaga ciągłej komunikacji pomiędzy parametrami, co oznacza, że wszystkie uruchomione procesory muszą dzielić się informacjami. Komunikacjach zużywa olbrzymie zasoby systemów do głębokiego uczenia się. Google ma ambicję stworzenia sieci korzystającej z biliona parametrów. MACH, w chwili obecnej, nie może być używany do rozwiązywania przypadków z niewielką liczbą klas, ale tam, gdzie mamy do czynienia z zagadnieniami ekstremalnej klasyfikacji udało nam się spowodować, by system działał bez potrzeby komunikacji pomiędzy procesorami, stwierdza Shrivastava. « powrót do artykułu
  2. Twócy online'owej gry Apex Legends wpadli na interesujący pomysł walki z oszustami. Zamiast – jak zwykle robią twórcy online'owych gier – blokować konta osób oszukujących w grze, zmodyfikowali algorytm gry tak, by osoby oszukujące... grały przeciwko sobie. Dotychczas walka z oszustami nie przynosiła większych skutków. O ile w płatnych online'owych grach zablokowanie oszusta skutkowało tym, że zakładał on nowe konto i ponownie płacił, to w grach darmowych – jak Apex Legends – oszust nie ponosi nawet tak minimalnej „kary”, jak konieczność ponownego wykupienia dostępu do gry. Oszuści zaś odbierają innym graczom całą przyjemność z gry, gdyż dzięki wykorzystywanym przez siebie nieuczciwym narzędziom, mają nad pozostałymi graczami olbrzymią przewagę. Apex Legends to bezpłatna gra udostępniona w bieżącym roku przez Electronic Arts. Gra nie była szeroko reklamowana, więc jej twórców zaskoczył fakt, że już w pierwszym miesiącu miała 50 milionów użytkowników. Gracze walczą w grupach po około 60 osób. Najpierw tworzone są zespoły po trzech graczy, następnie ich zadaniem jest przeszukanie okolicy, w celu znalezienia broni i innych zasobów, a w końcu dochodzi do walki pomiędzy zespołami. Gra szybko zyskała na popularności i szybko też popularność straciła. Częściowo za sprawą oszustów, którzy instalowali narzędzia pozwalające m.in. na poznanie dokładniej lokalizacji innych uczestników gry czy też narzędzia automatycznie celujące w przeciwnika podczas wymiany ognia. Twórcy Apex Legends postanowili więc, że zamiast bezproduktywnie kasować konta oszustów, lepiej spowodować, by ci dusili się we własnym sosie. « powrót do artykułu
  3. Brytyjska policja wykorzystuje specjalny algorytm, który informuje śledczych, które sprawy można rozwiązać. Okazało się, że jednostki, które korzystają z tego algorytmu, prowadzą śledztwa w mniej niż połowie spraw, jakie do nich trafiają. Reszta jest od razu umarzana, gdyż algorytm stwierdza, że i tak nie uda się ich rozwiązać. Stosowanie algorytmu oszczędza czas i pieniądze, ale rodzi obawy o to, że policja w ogóle nie zajmuje się sprawami, które – wbrew temu co stwierdził algorytm – można by rozwiązać. Obecnie algorytm używany jest wyłącznie w przypadku bójek i innych zakłóceń porządku publicznego, jednak niewykluczone, że w przyszłości będzie stosowany też do innych rodzajów przestępstw. Zwykle, gdy policja dowiaduje się o przestępstwie, na miejsce wysyłani są śledczy, którzy zbierają dane i na ich podstawie, opierając się na własnym doświadczeniu, decydują, czy dalej prowadzić sprawę. Jednak w ostatnich latach wskutek zmian w sposobie raportowania, brytyjska policja ma do czynienia ze znacznie większą liczbą zgłaszanych przestępstw. Stąd też pomysł na wykorzystanie Evidence Based Investigation Tool (EBIT), algorytmu, który ocenia prawdopodobieństwo rozwiązania sprawy. Jest on od roku używany przez policję z Kent, gdzie pobicia i zakłócenia porządku publicznego stanowią około 30% zgłaszanych przestępstw. Jak informuje sama policja, przed wprowadzeniem EBIT funkcjonariusze prowadzili śledztwa w około 75% zgłaszanych spraw. Od czasu gdy używają EBIT odsetek prowadzonych śledztw spadł do 40%. Policjanci chcieliby prowadzić śledztwo w każdej sprawie i złapać sprawcę. Jeśli jednak analiza możliwości rozwiązania sprawy wskazuje, że śledztwo nie ma szans powodzenia, może lepiej użyć zasobów w innych, bardziej obiecujących, śledztwach, mówi Ben Linton z Metropolitan Police. Autorem EBIT jest Kent McFadzien z University of Cambridge. Trenował on swój program na próbce tysięcy napadów i zakłóceń porządku publicznego. Zidentyfikował osiem czynników decydujących o tym, czy sprawa może zostać rozwiązana, takich jak np. obecność świadków, nagrań z kamer przemysłowych czy znajomość nazwiska potencjalnego przestępcy. Jednak, jako że czynniki takie mogą się zmieniać, EBIT każdego dnia umieszcza w spisie spraw możliwych do rozwiązania jedną lub dwie takie sprawy, których rozwiązanie ocenia jako mało prawdopodobne. Policjanci nie wiedzą, które to sprawy, gdyż algorytm nie informuje ich o szczegółowej ocenie, wymienia tylko sprawy możliwe do rozwiązania. W ten sposób algorytm jest ciągle testowany i trenowany. Istnieją jednak obawy, że jako iż EBIT jest trenowany na już zakończonych śledztwach, pojawiające się błędy mogą być w nim wzmacniane. Jeśli na przykład w jakimś regionie nie ma kamer przemysłowych, algorytm może uznawać sprawy z tego regionu za trudne lub niemożliwe do rozwiązania, przez co mieszkańcy regionu będą poszkodowani, gdyż policja nie zajmie się przestępstwami mającymi tam miejsce. Jeśli trenujemy algorytm na historycznych danych dotyczących aresztowań i zgłoszeń przestępstw, wszelkie odchylenia i dysproporcje będą trafiały do algorytmu, który będzie się ich uczył i je wzmacniał, ostrzega Joshua Loftus z Uniwersytetu Stanforda. « powrót do artykułu
  4. Opracowany na University of Michigan algorytm przewyższa ludzi w identyfikowaniu fałszywych informacji, tzw. fake news. Podczas testów algorytmu okazało się, że jest on w stanie wyłapać aż 76% fałszywych informacji. W przypadku ludzi efektywność wynosi 70%. Ponadto wykorzystywany przez algorytm mechanizm analizy lingwistycznej może zostać użyty do zidentyfikowania fake newsów nawet w przypadku, gdy są one zbyt świeże, by można było skonfrontować je z innymi źródłami. Profesor Rada Mihalcea, która stworzyła wspomniany algorytm, mówi, że przyda się on na przykład witrynom, które są zalewane fałszywymi informacjami po to, by generować kliknięcia lub manipulować opinią publiczną. Szczególną ważną rolę do odegrania mogą mieć w agregatorach treści, gdzie pracownicy takich witryn mogą nie być w stanie na czas wyłapać fałszywych informacji pobranych z innych witryn czy serwisów społecznościowych. Ponadto obecnie najczęściej weryfikuje się fake newsy poprzez ich skonfrontowanie z wieloma źródłami przez człowieka. To powolna metoda i zanim taka fałszywa informacja zostanie obnażona, wiele osób zdąży ją przeczytać, a do sprostowania większość z nich nigdy nie dotrze. Analiza lingwistyczna, polegająca na wyłapywaniu charakterystycznych zwrotów, struktur gramatycznych, słownictwa czy interpunkcji, działa szybciej niż ludzie i może znaleźć znacznie szersze zastosowanie. Narzędzie tego typu może np. nadawać poszczególnym informacjom rangę, informując czytelnika o ich wiarygodności. Może też posłużyć do oznaczenia treści, którą następnie pracownicy serwisu czy agregatora muszą sprawdzić. Profesor Mihalcea mówi, że obecnie istnieje sporo algorytmów służących analizie lingwistycznej. Problemem w opracowaniu wykrywacza fake newsów nie było zbudowanie algorytmu, ale znalezienie odpowiedniego zestawu danych, na których algorytm ten może być uczony. Algorytm taki nie może być np. trenowany z użyciem treści satyrycznych, które często opowiadają nieprawdziwe historie, jednak w szczególny sposób, który nie jest przydatny do nauki wykrywania fake newsów. Zespół Mihalcei stworzył więc własny zestaw fake newsów i przy pomocy dużej grupy ochotników dokonał czegoś na kształt inżynierii wstecznej, by przeanalizować, jak prawdziwa informacja może z czasem zostać przerobiona na typowy fake news. W ten bowiem sposób powstaje większość krążących po internecie fałszywych informacji. Początkowo naukowcy zwrócili się do społeczności Amazon Mechanical Turk i znaleźli tam chętne osoby, które na pieniądze stworzyły z krótkich prawdziwych informacji ich fałszywe wersje, naśladując przy tym styl prawdziwych informacji. Uczeni zebrali 500 par takich prawdziwych i fałszywych informacji,; oznaczyli je odpowiednio i wykorzystali je podczas nauki algorytmu. W końcu pobrali z internetu zestaw prawdziwych oraz fałszywych informacji i za jego pomocą je sprawdzali. Okazało się, że algorytm charakteryzuje się trafnością dochodzącą do 76 procent. « powrót do artykułu
×
×
  • Create New...