Jump to content
Forum Kopalni Wiedzy
Sign in to follow this  
KopalniaWiedzy.pl

Niezależny od języka algorytm automatycznie tworzy abstrakty

Recommended Posts

Wraz z coraz większą liczbą tekstów publikowanych w internecie, pojawiła się potrzeba stworzenia zautomatyzowanych metod tworzenia abstraktów artykułów czy wywiadów. Większość dostępnych narzędzi jest zależnych od języka, w jakim został napisany oryginalny tekst, a ich stworzenie wymaga trenowania algorytmów na wielkich bazach danych.

Firma BGN Technologies, zajmująca się transferem technologicznym wynalazków opracowanych na Uniwersytecie Ben Guriona, zaprezentowała nowatorskie automatyczne narzędzie do tworzenia abstraktów, które działa niezależnie od języka oryginalnego tekstu.

Technologia, opracowana przez profesora Marka Lasta, doktor Marinę Litvak i doktora Menahema Friedmana bazuje na algorytmie, który klasyfikuje poszczególne zdania na podstawie statystycznych obliczeń charakterystycznych cech, które mogą być wyliczone dla każdeog języka. Następnie najwyżej ocenione zdania są wykorzystywane do stworzenia abstraktu. Metoda, nazwana Multilingual Sentence Extractor (MUSE), została przetestowana na języku angielskim, hebrajskim, arabskim, perskim, rosyjskim, chińskim, niemieckim i hiszpańskim. W przypadku angielskiego, hebrajskiego, arabskiego i perskiego stworzone abstrakty były bardzo podobne do abstraktów napisanych przez ludzi.

Główną zaletą nowego narzędzia jest fakt, że po początkowym treningu algorytmów na opatrzonych odpowiednimi komentarzami artykułach, z których każdemu towarzyszy kilkanaście abstraktów napisanych przez ludzi, algorytmy nie muszą być później trenowane dla każdego języka z osobna. Ten sam model, który wypracowały podczas treningu, może zostać użyty dla wielu różnych języków.

Podsumowanie tekstu, do którego wybrano zestaw najbardziej pasujących zdań z tekstu źródłowego, a wyboru dokonano na podstawie punktacji przyznawanej zdaniom i wykorzystanie w abstrakcie najwyżej punktowanych zdań, to nieocenione narzędzie do szybkiego przeglądania wielkich ilość tekstów w sposób niezależny od języka. To kluczowe narzędzie zarówno dla wyszukiwarek jak i dla takich użytkowników końcowych jak badacze, biblioteki czy media – stwierdził profesor Last.


« powrót do artykułu

Share this post


Link to post
Share on other sites

Create an account or sign in to comment

You need to be a member in order to leave a comment

Create an account

Sign up for a new account in our community. It's easy!

Register a new account

Sign in

Already have an account? Sign in here.

Sign In Now
Sign in to follow this  

  • Similar Content

    • By KopalniaWiedzy.pl
      Jak wszyscy wiemy, teksty prawne są trudne do zrozumienia, nawet dla prawników. Naukowców z Massachusetts Institute of Technology zainteresowało, dlaczego więc są pisane tak niezrozumiałym językiem. Okazało się, że najprawdopodobniej chodzi o „magiczną moc” słów i zwrotów. Podobnie jak w zaklęciach magicznych, gdzie odpowiedni rytm i archaiczne terminy miały nadawać słowom mocy, tak i w aktach prawnych odpowiedni język ma nadawać im mocy i autorytetu.
      Profesor Edward Gibson, specjalista nauk poznawczych i nauk o mózgu, bada unikatowe cechy tekstów prawnych od 2020 roku. W 2022 roku wraz z Francisem Molliką, wykładowcą na University of Melbourne oraz Erikiem Martinezem, który ukończył Harvard Law School, rozpoczął w 2022 roku projekt, w ramach którego porównywali teksty prawne z innymi tekstami, w tym scenariuszami filmowymi, artykułami w gazetach i artykułami naukowymi. Zauważyli, że w tekstach prawnych szczególnie często zdarzają się długie definicje umieszczone w środku zdań.
      Już z wcześniejszych badań wiadomo, że taka struktura zdania jest nienaturalna i powoduje, że tekst jest trudniejszy do zrozumienia. Z jakiegoś powodu istnieje tendencja do umieszczania w tekstach prawnych struktur wewnątrz innych struktur, co nie jest typowe dla ludzkiego języka, mówi Gibson. Kolejne prowadzone przez grupę badania ujawniły, że takie teksty są trudne do zrozumienia również dla prawników, którzy wolą teksty pisane naturalnym językiem. Co więcej, sami prawnicy uznawali teksty prawne pisane w sposób naturalny za tak samo ważne i obowiązujące.
      Prawnicy nie lubią tekstów prawnych, zwykli ludzie również ich nie lubią, więc postanowiliśmy sprawdzić, dlaczego są one pisane w ten, a nie inny sposób, stwierdza Gibson. Naukowcy opracowali kilka hipotez, które następnie testowali. Jedna z nich mówiła, że mamy tu do czynienia z mechanizmem „kopiuj i wklej”. Zgodnie z nią, zarys tekstu prawnego miałby być tworzony indywidualnie, a następnie autor miałby dodawać kolejne zwroty, kopiując lub wzorując się na istniejących przykładach, tworząc skomplikowany tekst pełen struktur wewnątrz innych struktur. Badania wykazały jednak, że hipoteza ta jest nieprawdziwa.
      Prawdziwą okazała się inną, którą badacze nazwali „hipotezą zaklęcia magicznego”. W angielskiej kulturze, jeśli chcesz napisać coś, co ma magiczną moc, to – jak powszechnie wiadomo – trzeba wstawić w tekst dużo sentencji stylizowanych na stare. Sądzimy, że w ten sam sposób tworzone są teksty prawne, mówi Gibson.
      W ramach eksperymentu naukowcy poprosili 200 osób nie będących prawnikami – wszyscy byli mieszkańcami USA dla których angielski był językiem macierzystym – o napisanie dwóch rodzajów tekstów. Pierwszy z nich to przepisy zabraniające jazdy pod wpływem alkoholu, podpalenia, rabunku i handlu narkotykami. Drugi rodzaj tekstów to informacje o tego typu przestępstwach.
      W celu zweryfikowania hipotezy „kopiuj i wklej” połowę uczestników badania poproszono, by już po napisaniu tekstu – czy to przepisów, czy informacji – o dodanie dodatkowej treści. Okazało się, że wszystkie teksty przepisów – niezależnie od tego, czy pisane były za jednym razem, czy dodawano do nich dodatkowy tekst – zostały stworzone za pomocą struktur wewnątrz struktur. Z kolei wszystkie teksty informacji o przestępstwach – również niezależnie od tego, czy coś do nich dodawano, czy nie – zostały napisane naturalną angielszczyzną.
      Podczas drugiego z eksperymentów, w którym udział wzięło około 80 osób, poproszono uczestników, by napisali przepisy prawne oraz teksty wyjaśniające te przepisy cudzoziemcom. I znowu okazało się, że przepisy prawne powstały za pomocą złożonego nienaturalnego języka, a wszelkie wyjaśnienia były napisane w sposób naturalny.
      Teraz Gibson i jego zespół chcą sprawdzić, skąd się bierze ta tendencja do tworzenia przepisów w niezrozumiałym języku. Jako że wczesne przepisy amerykańskiego prawa tworzono w oparciu o prawo brytyjskie, uczeni sprawdzą, czy i w brytyjskich przepisach widoczny jest ten sam mechanizm. Chcą też sprawdzić, czy podobny język jest używany w najstarszych spisanych przepisach prawa, Kodeksie Hammurabiego sprzed niemal 4000 lat.
      Naukowcy mają nadzieję, że zachęcą prawodawców do pisania w zrozumiały sposób. Już w latach 70. ubiegłego wieku prezydent Nixon stwierdził, że przepisy federalne powinny być pisane językiem zrozumiałym dla laików. Od tego czasu nic się jednak nie zmieniło. Być może poznanie mechanizmów tworzenia tak skomplikowanych aktów prawnych pozwoli na ich uproszczenie.

      « powrót do artykułu
    • By KopalniaWiedzy.pl
      Ponad 2000 lat temu na drzwiach pewnego domostwa na północy Hiszpanii wisiał amulet z brązu w kształcie prawej dłoni. W czerwcu 2021 roku zabytek znaleźli archeolodzy pracujący na górze Irulegi w pobliżu Pampeluny. Specjaliści z Sociedad de Ciencias Aranzadi prowadzą tam wykopaliska przy ruinach średniowiecznego zamku i niedawno odkrytej osady z epoki żelaza. Dłoń z brązu została zabezpieczona i wysłana do konserwacji. Dopiero wtedy okazało się, że to nie zwykły amulet, a sensacyjne znalezisko, które może pomóc w rozwiązaniu jednej z największych zagadek lingwistycznych Europy – pochodzenia języka baskijskiego, euskery.
      Dotychczas nie udało się jednoznacznie ustalić, skąd pochodzi język baskijski. Wiadomo, że nie jest on językiem indoeuropejskim. Większość specjalistów uważa go za język izolowany, czyli taki, który nie wykazuje pokrewieństwa z żadnym innym językiem. Oprócz euskery językami takimi są np. japoński czy koreański. Jednak nie wszyscy zgadzają się z takim poglądem.  Niektórzy sądzą, że język Basków jest spokrewniony z językami kartwelskimi z południa Kaukazu. Natomiast niemiecki językoznawca Theo Vennemann wysunął kontrowersyjną propozycję, że baskijski należy do hipotetycznej rodziny języków waskońskich. Zgodnie z tą hipotezą, do rodziny tej należał wymarły język akwitański, a śladami rodziny jest wiele toponimów w Europie Zachodniej. Vennemann uważa, że języki waskońskie rozprzestrzeniły się po epoce lodowej na cały Półwysep Iberyjski, większą część współczesnej Francji i Belgii oraz na Wyspy Brytyjskie i Irlandię. Miały zostać z czasem wyparte przez języki indoeuropejskie i przetrwał z nich jedynie euskera.
      Dłoń z Irulegi ma 143 milimetry długości, 128 mm szerokości i 1 milimetr grubości. Waży 36 gramów i wyposażona została w niewielki otwór. Jako, że znaleziono ją przy wejściu do jednego z domostw osady epoki żelaza, naukowcy sądzą, że wisiała na drzwiach, spełniając rolę amuletu chroniącego ognisko domowe. A ich przypuszczenia są tym bardziej prawdopodobne, że kilka miesięcy od znalezienia na dłoni odkryto napis. Gdy zaczęłam ją czyścić, zauważyłam serię linii i kropek. Zdałam sobie sprawę, że to inskrypcja, mówi Carmen Usúa, której zlecono oczyszczenie dłoni.
      Odczytaniem napisu zajął się Joaquín Gorrochategui z katedry filologii indoeuropejskiej na Universidad del País Vasco. Bez problemu odczytałem pierwszy wyraz brzmiący 'sorioneku', który jest podobny do baskijskiego 'zorioneko' oznaczającego 'dobry los, szczęście'. Ale nie jestem w stanie przeczytać reszty napisu, przyznaje ekspert, który w przeszłości jako pierwszy poddał w wątpliwość wiarygodność rzekomych baskijskich tekstów z rzymskiej osady w Iruña Veleia.
      Napis składa się z 40 znaków i pięciu wyrazów ułożonych w czterech liniach. Już samo jego istnienie podważa to, co dotychczas wiedziano o Baskach. Byliśmy niemal przekonani, że w starożytności Baskowie byli analfabetami i nie używali pisma z wyjątkiem oznaczania monet, mówi Gorrochategui. Powszechnie sądzono, że dopiero po przybyciu Rzymian Baskowie zaczęli używać pisma, adaptując alfabet łaciński.
      Tymczasem na dłoni z Irulegi mamy do czynienia z wariantem pisma iberyjskiego. To pierwszy dokument spisany bez wątpienia w języku waskońskim i pismem waskońskim, mówi Javier Velaza, filolog klasyczny z Universidad de Barcelona. Użyto tutaj szczególnego rodzaju pisma, które pochodzi od pisma iberyjskiego przystosowanego tak, by oddać dźwięki lub fonemy, które nie istnieją w piśmie iberyjskim. Zatem, w kontekście zabytku z Irulegi możemy mówić o istnieniu w tamtej epoce pisma waskońskiego, stwierdza Velaza.
      Datowanie oraz kontekst znalezienia dłoni z Irulegi wskazują, że służyła za amulet na początku I wieku p.n.e. Były to ostatnie lata istnienia osady. Została ona spalona i opuszczona podczas wojny sertoriańskiej (80–71 p.n.e.), jednej z wielu rzymskich wojen domowych I w. p.n.e., w trakcie której zwolennicy Kwintusa Sertoriusza walczyli na terenie Hiszpanii ze zwolennikami Lucjusza Korneliusza Sulli.
      Dłoń z Irulegi wydaje się zatem potwierdzać hipotezę o istnieniu rodziny języków waskońskich i sugeruje jej możliwe pokrewieństwo z językiem iberyjskim.


      « powrót do artykułu
    • By KopalniaWiedzy.pl
      Dermatolog Harald Kittler z Uniwersytetu Medycznego w Wiedniu stanął na czele austriacko-australijskiego zespołu, który porównał trafność diagnozy i zaleceń dotyczących postępowania z przebarwieniami na skórze stawianych przez lekarzy oraz przez dwa algorytmy sztucznej inteligencji pracujące na smartfonach. Okazało się, że algorytmy równie skutecznie co lekarze diagnozują przebarwienia. Natomiast lekarze podejmują znacznie lepsze decyzje dotyczące leczenia.
      Testy przeprowadzono na prawdziwych przypadkach pacjentów, którzy zgłosili się na Wydział Dermatologii Uniwersytetu Medycznego w Wiedniu oraz do Centrum Diagnozy Czerniaka w Sydney w Australii.
      Testowane były dwa scenariusze. W scenariuszu A porównywano 172 podejrzane przebarwienia na skórze (z których 84 były nowotworami), jakie wystąpiły u 124 pacjentów. W drugim (scenariuszu B) porównano 5696 przebarwień – niekoniecznie podejrzanych – u 66 pacjentów. Wśród nich było 18 przebarwień spowodowanych rozwojem nowotworu. Testowano skuteczność dwóch algorytmów. Jeden z nich był nowym zaawansowanym programem, drugi zaś to starszy algorytm ISIC (International Skin Imaging Collaboration), używany od pewnego czasu do badań retrospektywnych.
      W scenariuszu A nowy algorytm stawiał diagnozę równie dobrze jak eksperci i był wyraźnie lepszy od mniej doświadczonych lekarzy. Z kolei algorytm ISIC był znacząco gorszy od ekspertów, ale lepszy od niedoświadczonych lekarzy.
      Jeśli zaś chodzi o zalecenia odnośnie leczenia, nowoczesny algorytm sprawował się gorzej niż eksperci, ale lepiej niż niedoświadczeni lekarze. Aplikacja ma tendencję do usuwania łagodnych zmian skórnych z zaleceń leczenia, mówi Kittler.
      Algorytmy sztucznej inteligencji są więc już na tyle rozwinięte, że mogą służyć pomocą w diagnozowaniu nowotworów skóry, a szczególnie cenne będą tam, gdzie brak jest dostępu do doświadczonych lekarzy. Ze szczegółami badań można zapoznać się na łamach The Lancet.

      « powrót do artykułu
    • By KopalniaWiedzy.pl
      ChatGPT od kilku miesięcy jest używany w codziennej pracy przez wiele osób i wciąż budzi skrajne emocje. Jedni podchodzą do niego entuzjastycznie, mówiąc o olbrzymiej pomocy, jaką udziela podczas tworzenia różnego rodzaju treści, inni obawiają się, że ta i podobne technologie odbiorą pracę wielu ludziom. Dwoje doktorantów ekonomii z MIT poinformowało na łamach Science o wynikach eksperymentu, w ramach którego sprawdzali, jak ChatGPT wpływa na tempo i jakość wykonywanej pracy.
      Shakked Noy i Whitney Zhang poprosili o pomoc 453 marketingowców, analityków danych oraz innych profesjonalistów, którzy ukończyli koledż. Ich zadaniem było napisanie dwóch tekstów, jakich tworzenie jest częścią ich pracy zawodowej – relacji prasowej, raportu czy analizy. Połowa z badanych mogła przy drugim z zadań skorzystać z ChataGPT. Teksty były następnie oceniane przez innych profesjonalistów pracujących w tych samych zawodach. Każdy tekst oceniały 3 osoby, nadając mu od 1 do 7 punktów.
      Okazało się, że osoby, które używały ChataGPT kończyły postawione przed nimi zadanie o 40% szybciej, a ich prace były średnio o 18% lepiej oceniane, niż osób, które z Chata nie korzystały. Ci, którzy już potrafili tworzyć wysokiej jakości treści, dzięki ChatowiGPT tworzyli je szybciej. Z kolei główną korzyścią dla słabszych pracowników było poprawienie jakości ich pracy.
      ChatGPT jest bardzo dobry w tworzeniu tego typu treści, więc użycie go do zautomatyzowania pracy zaoszczędza sporo czasu. Jasnym jest, że to bardzo użyteczne narzędzie w pracy biurowej, będzie ono miało olbrzymi wpływ na strukturę zatrudnienia, mówi Noy.
      Oceniający teksty nie sprawdzali jednak, czy ich treść jest prawdziwa. A warto podkreślić, że odpowiedzi generowane przez ChatGPT i inne podobne modele często są mało wiarygodne. Modele te są bowiem bardzo dobre w przekonującym prezentowaniu fałszywych informacji jako prawdziwe. Przypomnijmy, że w ubiegłym miesiącu sąd w Nowym Jorku nałożył grzywnę na firmę prawniczą, która użyła ChataGPT do sporządzenia opinii prawnej pełnej fałszywych cytatów z rzekomych wyroków sądowych. Co więcej, prawnicy byli tak pewni, że algorytm dobrze wykonał zadanie, iż upierali się, że cytaty są prawdziwe. Postęp technologiczny jest powszechny i nie ma niczego niewłaściwego w używaniu narzędzi sztucznej inteligencji. Jednak istniejące zasady nakazują prawnikom upewnienie się, że treści składanych przez nich dokumentów są prawdziwe, stwierdził sędzia Kevin Castel.
      O ile zatem  narzędzia takie jak ChatGPT mogą usprawnić pisanie tekstów czy podnieść ich jakość, to człowiek musi sprawdzić, czy w tekście zawarte zostały prawdziwe informacje.

      « powrót do artykułu
    • By KopalniaWiedzy.pl
      Profesor Marco Hirnstein z Uniwersytetu w Bergen w Norwegii bada, jak czynniki biologiczne, psychologiczne i społeczne wpływają na różnice pomiędzy płciami w zdolnościach poznawczych i jakie mechanizmy neurologiczne leżą u podłoża tych różnic. W przypadku większości zdolności umysłowych różnic takich nie ma lub są pomijalnie małe. Istnieją jednak zadania, w których przeciętnie wyraźnie lepsze są kobiety, a w innych średnio wyraźnie lepsi są mężczyźni, mówi uczony.
      Hirnstein postanowił przyjrzeć się kwestiom związanym ze zdolnościami językowymi, które uznawane są za domenę kobiet. Przyjmuje się, że panie mają lepszą fluencję słowną oraz lepiej wypadają w zadaniach związanych z zapamiętywaniem słów.
      Przewaga kobiet w posługiwaniu się językiem ma polegać np. na tym, że gdy trzeba wymienić słowa zaczynające się na konkretną literę czy należące do konkretnej kategorii, panie radzą sobie z takimi zadaniami lepiej. Czy jednak na pewno? Prowadzone dotychczas badania nie dawały jednoznacznej odpowiedzi, a ostatnia metaanaliza badań na ten temat została przeprowadzona w 1988 roku.
      Hirnstein i jego zespół siedli więc do metaanalizy, do której wybrali traktujące o temacie rozprawy doktorskie, prace magisterskie oraz badania opublikowane w pismach naukowych. W ten sposób zebrali ponad 500 badań, w których łącznie brało udział ponad 350 000 osób. Analiza wykazała, że kobiety są rzeczywiście lepsze, chociaż różnica pomiędzy płciami nie jest bardzo znacząca. Kobiety są lepsze, a przewaga ta utrzymuje się w czasie przez okres całego życia. Jest jednak dość mała, mówi Hirstein.
      Co interesujące, naukowcy zauważyli, że w badaniach, których głównym autorem była kobieta, przewaga pań w posługiwaniu się językiem była większa, niż w badaniach, gdzie głównym autorem był mężczyzna.
      Badania tego typu nie tylko zaspokajają naszą ciekawość dotyczącą różnic pomiędzy płciami. Przydadzą się też w... medycynie. Choroby neurodegeneracyjne diagnozuje się m.in. za pomocą testów słownych. Na przykład przy diagnozowaniu demencji wiedza o tym, że kobiety są generalnie lepsze od mężczyzn pozwoli uniknąć sytuacji, w której demencja nie jest rozpoznawana, mimo że istnieje, a w przypadku mężczyzn będzie można uniknąć postawienia diagnozy o demencji tam, gdzie jej nie ma. Obecnie wiele testów tego typu nie bierze bowiem pod uwagę różnic pomiędzy płciami.
      Wyniki badań opisano na łamach Perspectives on Psychological Science.

      « powrót do artykułu
  • Recently Browsing   0 members

    No registered users viewing this page.

×
×
  • Create New...