Jump to content
Forum Kopalni Wiedzy
Sign in to follow this  
KopalniaWiedzy.pl

Niezależny od języka algorytm automatycznie tworzy abstrakty

Recommended Posts

Wraz z coraz większą liczbą tekstów publikowanych w internecie, pojawiła się potrzeba stworzenia zautomatyzowanych metod tworzenia abstraktów artykułów czy wywiadów. Większość dostępnych narzędzi jest zależnych od języka, w jakim został napisany oryginalny tekst, a ich stworzenie wymaga trenowania algorytmów na wielkich bazach danych.

Firma BGN Technologies, zajmująca się transferem technologicznym wynalazków opracowanych na Uniwersytecie Ben Guriona, zaprezentowała nowatorskie automatyczne narzędzie do tworzenia abstraktów, które działa niezależnie od języka oryginalnego tekstu.

Technologia, opracowana przez profesora Marka Lasta, doktor Marinę Litvak i doktora Menahema Friedmana bazuje na algorytmie, który klasyfikuje poszczególne zdania na podstawie statystycznych obliczeń charakterystycznych cech, które mogą być wyliczone dla każdeog języka. Następnie najwyżej ocenione zdania są wykorzystywane do stworzenia abstraktu. Metoda, nazwana Multilingual Sentence Extractor (MUSE), została przetestowana na języku angielskim, hebrajskim, arabskim, perskim, rosyjskim, chińskim, niemieckim i hiszpańskim. W przypadku angielskiego, hebrajskiego, arabskiego i perskiego stworzone abstrakty były bardzo podobne do abstraktów napisanych przez ludzi.

Główną zaletą nowego narzędzia jest fakt, że po początkowym treningu algorytmów na opatrzonych odpowiednimi komentarzami artykułach, z których każdemu towarzyszy kilkanaście abstraktów napisanych przez ludzi, algorytmy nie muszą być później trenowane dla każdego języka z osobna. Ten sam model, który wypracowały podczas treningu, może zostać użyty dla wielu różnych języków.

Podsumowanie tekstu, do którego wybrano zestaw najbardziej pasujących zdań z tekstu źródłowego, a wyboru dokonano na podstawie punktacji przyznawanej zdaniom i wykorzystanie w abstrakcie najwyżej punktowanych zdań, to nieocenione narzędzie do szybkiego przeglądania wielkich ilość tekstów w sposób niezależny od języka. To kluczowe narzędzie zarówno dla wyszukiwarek jak i dla takich użytkowników końcowych jak badacze, biblioteki czy media – stwierdził profesor Last.


« powrót do artykułu

Share this post


Link to post
Share on other sites

Create an account or sign in to comment

You need to be a member in order to leave a comment

Create an account

Sign up for a new account in our community. It's easy!

Register a new account

Sign in

Already have an account? Sign in here.

Sign In Now
Sign in to follow this  

  • Similar Content

    • By KopalniaWiedzy.pl
      Kotawiec jasnonogi i kotawiec sawannowy, naczelne z rodziny koczkodanowatych dzieli cała Afryka, a drogi ewolucyjne obu gatunków rozeszły się 3,5 miliona lat temu. Mimo to, jak wykazał sprytny eksperyment, oba gatunki posiadają wpisany słownik do ostrzegania się przed niebezpieczeństwem. Jego istnienie może wskazywać, skąd wziął się język człowieka.
      Przed kilkudziesięciu laty zauważono, że kotawce sawannowe, zamieszkujące wschód Afryki od Etiopii po RPA, wydają różne dźwięki na oznaczenie swoich trzech głównych wrogów – lampartów, węży i jastrzębi. Na oznaczenie każdego z drapieżników małpy wydają inne dźwięki. Gdy ich towarzyszki usłyszą dźwięk ostrzegający przed lampartem, uciekają na drzewa, gdy rozlega się ostrzeżenie przed wężem, małpy zastygają w bezruchu na dwóch łapach, a na dźwięk informujący o ptaku drapieżnym kotawce zaczynają rozglądać się po niebie i szukają schronienia. Od czasu zauważenia tych różnic, naukowcy sprzeczali się, czy wspomniane dźwięki można uznać za prymitywne słowa. Zrodziło się również pytanie, czy młode kotawce uczą się tych dźwięków od starszych, czy też mają je genetycznie zapisane.
      Julia Fisher, dyrektor laboratorium etologii poznawczej z Niemieckiego Centrum Badań nad Naczelnymi, zaprojektowała interesujący eksperyment, pozwalający odpowiedzieć na te pytania.
      Fisher i jej koledzy od dekady badają kotawce jasnonogie z Senegalu. Podobnie jak ich kuzyni ze wschodu, zwierzęta z zachodniej części Afryki mają okrzyki na oznaczenie lamparta i węża i odpowiednio reagują. Jednak, jako że w okolicy, gdzie żyją, nie ma jastrzębi, u kotawców jasnonogich naukowcy nigdy nie zauważyli odpowiedniego okrzyku wydawanego przez kotawce sawannowe. Każda próba wywołania ich reakcji na sztuczne ptaki drapieżne spaliła na panewce, mówi Fisher. Wtedy uczona wpadła na pewien pomysł.
      Zdecydowaliśmy się wykorzystać drona i latać nim nad kotawcami jasnonogimi, by wystawić je na oddziaływanie czegoś potencjalnie niebezpiecznego, czego nigdy wcześniej nie widziały, wyjaśnia uczona.
      Dron latał na wysokości 60 metrów nad małpami. Ich reakcja była natychmiastowa. Nie tylko wydały dźwięk ostrzegawczy niepodobny do wydawanych przez siebie ostrzeżeń przed lampartami i wężami, ale dźwięk ten był uderzająco podobny do ostrzeżeń przed ptakami drapieżnymi, które wydają kotawce sawannowe. Pomimo 3,5 miliona lat oddzielenia ewolucyjnego struktura krzyku ostrzegawczego była taka sama, mówi Fisher.
      Współpracownik Fisher, Kurt Hammerschmidt zauważa, że fakt, iż kotawce z Senegalu ostrzegają się przed dronem, ale nie przed dużymi ptakami latającymi w ich okolicy, oznacza, że krzyk ostrzegawczy nie jest przypisany do jastrzębia. Raczej oznacza on niebezpieczeństwo z powietrza, stwierdza uczony.
      Naukowcy postanowili sprawdzić, czy spotkanie z dronem czegoś zwierzęta nauczyło. Kilka dni po przelocie drona w pobliżu jednej z małp szukającej pożywienia umieszczono głośnik i puszczono zeń dźwięk lecącego drona. Gdy tylko małpa to usłyszała zaczęła rozglądać się po niebie, mówi Fisher. Kolejne eksperymenty wykazały, że małpom wystarczy pojedyncze spotkanie z nowym zagrożeniem, by wiedziały, co dany dźwięk oznacza i jak należy się zachować. To pokazuje ich olbrzymie zdolności adaptacyjne.
      Naukowcy spekulują, że wbudowane dźwięki oraz ich znaczenie są podobne do odgłosów wydawanych przez ludzkie niemowlęta. Dziecko po urodzeniu również posiada cały wbudowany repertuar różnego rodzaju dźwięków. W jakiś sposób ludzie wyszli poza ten wbudowanych słownik i zaczęli wydawać dźwięki związane z nowymi znaczeniami.

      « powrót do artykułu
    • By KopalniaWiedzy.pl
      Eksperymenty przeprowadzone przez naukowców z University of Nottingham wskazują, że algorytmy, które nauczą się przewidywania ryzyka przedwczesnego zgonu mogą w przyszłości być ważnym narzędziem medycyny prewencyjnej.
      Lekarze i naukowcy opracowali algorytm oparty na technologii maszynowego uczenia się, którego zadaniem było przewidywanie ryzyka przedwczesnego zgonu u chronicznie chorych osób w średnim wieku. Okazało się, że sztuczna inteligencja nie tylko była bardzo dokładna, ale potrafiła z większą precyzją niż ludzie określić ryzyko
      Algorytm uczył się na bazie danych obejmujących ponad 500 000 osób w wieku 40–69 lat o których informacje zebrano w latach 2006–2010, a ich losy śledzono do roku 2015.
      Medycyna prewencyjna odgrywa coraz większą rolę w walce z poważnymi chorobami. Od lat pracujemy nad usprawnieniem tej dziedziny opieki zdrowotnej oraz nad ulepszeniem komputerowej oceny ryzyka w dużych populacjach. Większość tego typu prac skupia się na konkretnej chorobie. Ocena ryzyka zgonu z powodu wielu różnych czynników to bardzo złożone zadanie, szczególnie jeśli weźmiemy pod uwagę uwarunkowania środowiskowe i osobnicze, mówi główny autor badań, profesor Stephen Weng.
      Dokonaliśmy poważnego postępu na tym polu opracowując unikatowe całościowe podejście do oceny ryzyka zgonu za pomocą technik maszynowego uczenia się. Używamy komputerów do stworzenia nowego modelu ryzyka uwzględniającego szeroką gamę czynników demograficznych, biologicznych, klinicznych czy stylu życia indywidualnych osób, w tym ich zwyczajów żywieniowych, dodaje uczony. Weng mówi, że gdy odpowiedzi podawane przez algorytm porównano z danymi dotyczącymi zgonów, przyjęć do szpitali, zachorowań na nowotwory i innymi danymi epidemiologicznymi, okazało się, że algorytmy były znacząco dokładniejsze niż opracowane przez ludzi metody oceny ryzyka.
      Algorytm korzystał z metody statystycznej lasów losowych (random forest) oraz głębokiego uczenia się. Obecnie używane metody wykorzystują model regresji Cox'a oraz wielowariantowy model Cox'a, który jest doskonalszy, ale przeszacowuje ryzyko zgonu.
      Najnowsze prace zespołu z Nottingham bazują na pracach wcześniejszych, podczas których ten sam zespół naukowy wykazał, że cztery różne algorytmy sztucznej inteligencji, bazujące na regresji logistycznej, gradient boosting, lasach losowych oraz sieciach neuronowych lepiej niż obecne metody używane w kardiologii pozwalają przewidzieć ryzyko chorób układu krążenia.

      « powrót do artykułu
    • By KopalniaWiedzy.pl
      W 1985 roku Charles Hockett wysunął hipotezę, zgodnie z którą używanie zębów i szczęki jako narzędzi w społecznościach łowiecko-zbierackich spowodowało, że ich przedstawiciele nie mogli wymawiać dźwięków, do produkcji których używa się jednocześnie dolnej wargi i górnych zębów (spółgłoski wargowo-zębowe), czyli dźwięków „f” [f] i „w” [v].
      Damian Blasi z Instytutu Historii Człowieka im. Maksa Plancka, Steven Moran z Instytutu Lingwistyki w Zurichu oraz ich koledzy z Francji, Holandii i Singapuru połączyli dane paleoantropologiczne, lingwistyki historycznej oraz biologii ewolucyjnej i na tej podstawie dostarczyli dowodów, że w neolicie doszło do ogólnoświatowej zmiany dźwięków w językach. Języki zostały więc ukształtowane poprzez zmiany spowodowane zmianą sposobu gryzienia, na co wpłynęło rolnictwo, zmiany dietetyczne oraz zmiany w zachowaniu.
      Ludzka mowa jest bardzo zróżnicowana, a wydawane dźwięki rozciągają się od bardzo rozpowszechnionych „m” czy „a”, po unikatowe głoski mlaszczące w niektórych językach afrykańskich. Uważa się, że zdolność do wymawiania ponad 2000 różnych dźwięków pojawiła się wraz z ewolucją i istnieje co najmniej od pojawienia się Homo sapiens. Jednocześnie specjaliści sądzą, że rozpowszechnienie się danego dźwięku w językach świata zależy od tego, na ile łatwo dźwięk ten wymówić, odróżnić od innych i nauczyć się go. Również te umiejętności są na stałe wbudowane w nasz gatunek.
      Biorąc pod uwagę powyższe uwarunkowania można spodziewać się, że każda zmiana w ludzkim aparacie mowy, słuchu czy w zdolności do uczenia się powinna wpływać na prawdopodobieństwo, a może nawet na zakres, występowania dźwięków w języku.
      Dowody paleoantropologiczne wskazują, że w neolicie doszło do dużej zmiany w ludzkim aparacie mowy. Prawidłowy jest odpowiedni nagryz pionowy i poziomy, gdy zęby górne i dolne nie nachodzą całkowicie na ciebie. Jednak w paleolicie ludzie używali zębów jako narzędzi, przez co już w wieku nastoletnim wykształcał się u nich zgryz, w którym zęby całkowicie na siebie nachodziły. Przez to dźwięki, wymagające kontaktu dolnej wargi z górnymi zębami były trudne do wymówienia.
      Odpowiedni nagryz pionowy i poziomy u dorosłych widzimy w danych paleontologicznych pochodzących z czasu, gdy upowszechniło się rolnictwo, a wraz z nim bardziej intensywne przetwarzanie żywności, dzięki czemu ludzie zaczęli jeść bardziej miękkie pożywienie. Wówczas aparat mowy H. sapies ukształtował się tak, że można było z łatwością wymawiać dźwięki „f” [f] i „w” [v].
      Hipoteza taka znajduje wsparcie w modelach biomechanicznych. Dzięki nim wiemy, że przy prawidłowym nagryzie wymówienie głosek wargowo-zębowych „f” [f] i „w” [v] wymaga o 30% mniej wysiłku niż wówczas, gdy zęby dokładnie na siebie nachodzą. Problem ten nie występuje w wypadku dźwięków takich jak „m” [m] czy „p” [p], które powstają dzięki zetknięciu obu warg. Te dźwięki ludzie paleolitu mogli bez problemu wymawiać. Modele takie wykazały również, że taki jak obecnie nagryz pionowy i poziomy zmniejsza od 24 do 70 procent odległość pomiędzy zębami a wargą przy artykulacji spółgłosek dwuwargowych („m” [m], „p” [p] i inne), prowadząc w ten sposób do zwiększenia prawdopodobieństwa przypadkowego pojawienia się dźwięków wargowo-zębowych w społecznościach, gdzie prawidłowy nagryz został zachowany w wieku dorosłym.
      Oszacowania występowania prawidłowego nagryzu w zależności od rozpowszechnienia w danej społeczności żywności pochodzącej z rolnictwa wykazały, że w społecznościach łowiecko-zbierackich głoski zębowo-wargowe występują 4-krotnie rzadziej niż w społecznościach rolniczych. Podobne wyniki dały badania rekonstrukcyjne nad językami indoeuropejskimi. Okazało się, że mediana prawdopodobieństwa występowania dźwięków wargowo-zębowych w protojęzyku (6000 do 8000 lat temu) wynosiła około 3%, podczas gdy w istniejących językach indoeuropejskich wynosi ona 76%.
      Dźwięki „f” [f] oraz „w” [v] rozpowszechniły się w ludzkich językach stosunkowo niedawno, a było to możliwe dzięki pojawieniu się rolnictwa.

      « powrót do artykułu
    • By KopalniaWiedzy.pl
      Przed czterema laty informowaliśmy, że na University of Oxford powstaje oprogramowanie, która na podstawie wyglądu twarzy ma rozpoznawać rzadkie choroby genetyczne i zdiagnozowało zespół Marfana u prezydenta Lincona. Nie tylko jednak Brytyjczycy pracują nad takim oprogramowaniem.
      W najnowszym numerze Nature Medicine opisano aplikację Face2Gene. Wykorzystuje ona algorytmy maszynowego uczenia się oraz sieci neuronowe do klasyfikowania charakterystycznych ech twarzy świadczących o zaburzeniach rozwoju płodowego i układu nerwowego. Aplikacja na podstawie zdjęcia stawia prawdopodobną diagnozę i wymienia inne, mniej prawdopodobne.
      Autorem oprogramowania jest firma FDNA z Bostonu. Jej specjaliści najpierw nauczyli aplikację odróżniać zespół Cornelii de Lange i zespół Angelmana, które przejawiają się charakterystycznymi cechami twarzy, od innych podobnych schorzeń. Nauczyli go też klasyfikowania różnych form genetycznych syndromu Noonana.
      Następnie algorytmowi dano dostęp do ponad 17 000 zdjęć zdiagnozowanych przypadków obejmujących 216 schorzeń. Gdy następnie oprogramowanie miało do czynienia z zupełnie nową fotografią, potrafiło z 65-procentowym prawdopodobieństwem postawić prawidłową diagnozę. Gdy zaś mogło podjąć kilka prób, odsetek prawidłowych diagnoz zwiększał się do 90%.
      FDNA chce udoskonalić swoją technologię, jednak w tym celu potrzebuje dostępu do większej ilości danych. Dlatego też Face2Gene jest bezpłatnie dostępna dla lekarzy i badaczy, którzy wykorzystują ten system do pomocy w diagnostyce rzadkich schorzeń genetycznych. Korzystają z niego też lekarze, którzy nie mają punktu zaczepienie i w ogóle nie potrafią wstępnie zdiagnozować pacjenta.
      Współautorka artykułu na temat Face2Gene, Karen Gripp, jest genetykiem w szpitalu dziecięcym w stanie Delaware i głównym lekarzem w firmie FDNA. Mówi ona, że algorytm pomógł jej w zdiagnozowaniu dziewczynki, którą leczy od sierpnia. Dzięki niemu doktor Gripp stwierdziła, że dziecko cierpi na zespół Wiedemanna-Steinera. Czterolatka nie ma zbyt wielu cech charakterystycznych tej choroby. Jest niska jak na swój wiek, straciła większość zębów mlecznych i zaczęły jej rosną stałe zęby.
      Gripp postawiła wstępną diagnozę, a następnie zaprzęgła do pracy Face2Gene. Zespół Wiedemanna-Steinera, bardzo rzadkie schorzenie spowodowane mutacją genu KTM2A, został przez aplikację wymieniony na czele listy prawdopodobnych schorzeń. Badania DNA potwierdziły diagnozę. Uczona mówi, że dzięki aplikacji mogła zawęzić liczbę potencjalnych chorób i uniknąć konieczności znacznie droższego szeroko zakrojonego badania DNA.
      Face2Gene powoli staje się coraz doskonalszy. Obecnie program ma do dyspozycji już 150 000 fotografii na podstawie których się uczy. W sierpniu, podczas warsztatów dotyczących wad genetycznych przeprowadzono nieoficjalne porównanie algorytmu i lekarzy. Wzięło w nim udział 49 genetyków klinicznych. Ludzie i algorytm mieli do dyspozycji 10 zdjęć dzieci z dość dobrze rozpoznawalnymi cechami charakterystycznymi różnych chorób. Tylko w przypadku dwóch fotografii dobrą diagnozę postawiło ponad 50% ludzi. Face2Gene dobrze zdiagnozował 7 na 10 przypadków.
      Polegliśmy całkowicie. Face2Gene był niesamowity, mówi Paul Kruszka, genetyk z US National Human Genome Research Institute. Jego zdaniem już wkrótce każdy pediatra i genetyk będzie miał tego typu aplikację i używał jej równie często jak stetoskopu.

      « powrót do artykułu
    • By KopalniaWiedzy.pl
      Na łamach Indian Journal of Psychological Medicine opisano przypadek 33-letniego mężczyzny, który pozwalał się gryźć jadowitym wężom w język. Mieszkaniec Radżastanu zdecydował się na to, by czymś zastąpić tradycyjne narkotyki (opioidy).
      Mężczyzna powiedział naukowcom z Instytutu Edukacji Medycznej i Badań w Czandigarh, że dawał się kąsać w język na przestrzeni miesięcy. Zaczął eksperymentować z jadem węży za namową kolegi, który traktował go jako tańszą alternatywę dla alkoholu oraz opium. W jego społeczności z północno-zachodniego Radżastanu jest to ponoć rozpowszechniona praktyka (jad stosuje się w pojedynkę lub w połączeniu z innymi substancjami psychoaktywnymi).
      Anonimowy 33-latek zaczął pić alkohol i palić w wieku 18 lat. Do 24. r.ż. się od nich uzależnił. Gdy miał 25 lat, sięgnął po susz makowy i surowe opium (uzależnił się od nich w ciągu roku). Później kilkakrotnie próbował zerwać z nałogiem, ale po 1-2 miesiącach następowały nawroty. Parę miesięcy przed zgłoszeniem się do Instytutu zaczęły się jego eksperymenty z jadem węży.
      Pacjent korzystał początkowo z pomocy wędrownych zaklinaczy węży (mężczyzna powiedział, że nie wie, do jakiego gatunku/gatunków należały te węże, ale z jego opisów naukowcy wywnioskowali, że mogły się wśród nich znaleźć nawet kobry).
      Skutkiem ukąszenia były szarpane ruchy ciała, niewyraźne widzenie i brak jakichkolwiek reakcji przez ok. godzinę. Po odzyskaniu przytomności mężczyzna doświadczał ponoć pobudzenia i dobrostanu, które utrzymywały się przez 3-4 tygodnie i były o wiele bardziej intensywne niż haj uzyskiwany za pomocą jakiejkolwiek dawki opioidów i alkoholu. Jeszcze bardziej niezwykłe było to, że w ciągu tych 3-4 tygodni pacjent nie odczuwał pociągu do opioidów i alkoholu i po nie nie sięgał. Jak powiedział autorom publikacji, jeśli już, zażywał je dopiero po upływie 1-2 tygodni od ugryzienia. Jego zwyczaje związane z paleniem nie uległy zmianie.
      Jak można się domyślić, po okresie błogostanu pojawiały się objawy głodu: 33-latek stawał się drażliwy, ospały i coraz mocniej myślał o kolejnym ugryzieniu.
      W momencie zgłoszenia do Instytutu mężczyzna regularnie sięgał po susz makowy (ostatni raz odurzał się dzień przed spotkaniem z naukowcami). Detoksykację przeprowadzono za pomocą m.in. klonidyny i benzodiazepin. Trzydziestotrzylatek przeszedł terapię; pouczono go np. co do zagrożeń związanych z ukąszeniami. W ciągu 3 miesięcy monitoringu niczego nie zażywał i nie poddawał się ugryzieniom węży.

      « powrót do artykułu
×
×
  • Create New...