Biologiczne neurony używają dwukierunkowej propagacji - czy/jak przenieść do sztucznych?

[peceed 142]

4 minuty temu, radar napisał:

Na szczęście zawsze znajdzie się ktoś kto tego nie wie i to zrobi

Jak z perpetuum mobile, wciąż czekamy. Haczyk polega na tym, że mam bardzo poważny argument dlaczego się nie da inaczej, a co do optymalizacji gradientowej to jest ona z zasady najszybszą metodą optymalizacji lokalnej.

36 minut temu, radar napisał:

Komuś chyba humanista na odcisk nadepnął

Całe życie.

A bardziej na serio, odkąd straciłem zdrowie przez "wysoko funkcjonujących" imbecyli zrobiłem się bardzo cięty na imbecyli.

[radar 112]

Z całym twoim postem się zgadzam oprócz

36 minut temu, peceed napisał:

mam bardzo poważny argument dlaczego

Masz, ale na temat procesu, którego działania nie do końca rozumiemy. Jeśli zmieni się rozumienie procesu to argument może być bez sensu. Po prostu Ty uważasz, że to argument, a ja, że hipoteza, no, albo argument oparty na obserwacji procesu i jego modelu, który tylko powierzchownie go odzwierciedla.

[peceed 142]

4 godziny temu, radar napisał:

Masz, ale na temat procesu, którego działania nie do końca rozumiemy. Jeśli zmieni się rozumienie procesu to argument może być bez sensu.

Argument ma sens zawsze. Struktura na najniższym poziomie (wag i topologii) nie może być refleksywna, a jest tworzona w dość przypadkowy sposób zwłaszcza jak uwzględni się prucie połączeń. Tylko wsteczna propagacja błędów ma potencjał aby działać niezależnie od topologii sieci w taki sam sposób, wszystkie inny wymagałyby magicznie skorelowanych zmian w strukturze uczącej!
Wyżej zorganizowane struktury o mniejszej granularności mogą już być rozpatrywane jako obiekty podlegające innym algorytmom (darwinowsko-ekonomicznym), oceniane jako całość z uwagi na prezentowane właściwości.

Mam też wrażenie, że nie do końca ogarnia kolega stopień skomplikowania mózgu, licząc na jakieś olśnienie i magiczną sztuczkę - tymczasem mózg wykorzystuje wszystkie użyteczne zasady funkcjonowania sieci jakie udało się nam wynaleźć - bo ewolucja miała wystarczającą ilość czasu aby również je odkryć i zastosować w domenach w których były najefektywniejsze.
 

Próbuje kolega rozumieć mózg jak jak początkujący programista programy - starając się ogarniać wszystko na poziomie kodu - najniższym poziomie abstrakcji. A tak się nie da w skomplikowanych projektach. Dopiero z czasem przychodzi zrozumienie że pewne detale są kluczowe a inne nie.

Na szczęście bardzo dużo wysokopoziomowych funkcji mózgu w przypadku SI jest realizowanych za pomocą klasycznego softwaru i algorytmiki, dlatego interesuje nas jedynie "magia" polegająca na maszynowym tworzeniu modeli na podstawie wielkiej ilości danych.

W matematycznym sensie interesują takie które mają zdolność do "inteligentnej" interpolacji i ekstrapolacji danych, gdzie "inteligencja" oznacza zgodność z obserwowanymi w przyrodzie zjawiskami.

Jeszcze odnośnie "alternatywnych" algorytmów: z jednej strony mamy najpotężniejszy uniwersalny algorytm uczenia wykorzystywany w ogromnej ilości kontekstów, a z drugiej ma on własności że jest jedynym jaki znamy, który może działać w mózgu na najniższym poziomie.

Potrzebujemy zatem dwóch niezależnych cudów: znalezienia cudownego algorytmu alternatywnego i do tego jeszcze aby był on efektywniejszy od najlepszego jaki do tej pory znamy.
Alternatywnie wystarcza jeden cud - mózg w jakiś sposób stosuje wsteczną propagację. Co w sytuacji gdy już odkryto zjawisko zachowujące się jak wsteczna propagacja, szanse że w mózgu nie zachodzi wsteczna propagacja wynoszą zgrubnie cud^2/<bardzo_prawdopodobne>.

 

 

Edytowane 16 maja 2024 przez peceed

[l_smolinski 34]

1 godzinę temu, peceed napisał:

Jeszcze odnośnie "alternatywnych" algorytmów: z jednej strony mamy najpotężniejszy uniwersalny algorytm uczenia wykorzystywany w ogromnej ilości kontekstów, a z drugiej ma on własności że jest jedynym jaki znamy, który może działać w mózgu na najniższym poziomie.

Przepraszam, że co ? Nie może. Na najniższym badanym obecnie poziomie raz przetworzona informacja jest tracona. Nie kojarzysz ile problemów jest ze tzw. splątaniem fotonów. Odczyt usuwa informację. Nie wiem jaki poziom masz na myśli, jeżeli w takim kontekście to jest to nieprawda. 

Poza tym, żaden algorytm uczenia nie potrafi zaprojektować funkcji oceny która jest niezbędna w procesie uczenia. Każdy absolutnie, każdy algortym uczący potrzebuje wiedzy eksperckiej (ludzkiej) definiującej funkcję oceny. 

Proste zadanie: znajdź  kolor, który jest  najbardziej zielony.

Wykonać to zadanie może tylko poprzez zapytanie statystycznej grupy ludzi jaki kolor uważa za zielony i jak go definiuje np. poprzez częstotliwości fail em. No dlaczego nie zapytać kangura o to? Może SI niech spyta kamień? W sumie co to jest ten kamień? Na szczęście SI się nie głowi co to jest kamień bo jest do tego niezdolne.   

Tak jest absolutnie z każdym problemem rozwiązywanym przez SI, nie ma od tego odstępstwa. W skrócie znajdę dla ciebie rozwiązanie tylko powiedz mi jak to zrobić, daj mi zestaw danych początkowych w odpowiedniej reprezentacji, daj mi funkcję oceny, daj mi funkcję poprawy, daj mi funkcję ewolucji . O ile  bez funkcji ewolucji i funkcji poprawy sobie poradzę (bo przecież mam narzędzia predefiniowane do tego i ogólnie mój algorytm do tego służy), to bez funkcji oceny kompletnie nie wiem co mam robić.

To że zadnie nazwiemy radośnie 'uczeniem' niczego nie zmienia. Możemy je nazwać 'mieleniem' i tak algorytm je wykona i nawet mu powiek nie drgnie. Przemieli te dane poddając je ocenie zdefiniowanej przez człowieka i wypluje teoretycznie lepszą odpowiedź w każdej iteracji.    

Jak maszyna ma stwierdzić, że się nauczyła bez funkcji oceny? Jak ma się uczyć skoro nie może ocenić co jest lepsze a co jest gorsze?  Zaprojektowanie funkcji oceny jest niezbędne w procesie uczenia. Tego żaden algorytmy nie potrafi. Można wracać do zbierania szparagów. SI nic się nie uczy. SI mieli dane ocenia je i poprawia. Nauka polega na wyciąganiu wniosków i szukaniu odpowiedzi, tutaj odpowiedź jest zdefiniowana przez funkcję oceny. Żadne to uczenie tylko przeszukiwanie domeny rozwiązań.   




  

Edytowane 16 maja 2024 przez l_smolinski

[peceed 142]

Jest jeszcze jedna ciekawa, wręcz doniosła właściwość semantyczna neuronów KAN która odróżnia je od zwykłych - każde wyjście można traktować jako punktację łączną po pewny ważonych wielkościach, i jest to bardzo naturalne odzwierciedlenie typowych działań ludzkich dla złożonych problemów. Co oznacza, że robimy  w dużej, makroskopowej skali dokładnie to samo co nasze neurony na najniższym poziomie.

W ten sposób można mówić o poprawionej interpretowalności również  jako heurystyk.

Widzę też możliwość pewnej optymalizacji - można zastosować drugą funkcję "postaktywacyjną" (na wyjściu), która mogłaby przejmować albo uzupełniać skomplikowane funkcje w aksonach. Idea jest taka, że jeśli wiele aksonów powtarza pewne nieliniowe obliczenia, to lepiej je wykonać jeden raz. Jeśli wszystkie funkcje aktywacji na wejściach miałyby podobne zachowanie (byłyby koherentne), to wystarczyłoby wyodrębnić to zachowanie i przenieść je do "dendrytu", pozostawiając w aksonie klasyczną wagę z biasem. Jeśli aksony wymagałyby kilku funkcji, to wówczas można pomyśleć o podzieleniu neuronów (niemożliwe w przyrodzie, ale łatwe matematycznie), licząc że być może w wyniku dalszego uczenia można by dokonać prucia jednego z tych wyodrębnionych neuronów. Przy czym takie wyodrębnienie można po prostu zamodelować jako kolejną warstwę - neuron z jednym wejściem i wyjściem.

 

Edytowane 21 maja 2024 przez peceed

[venator 128]

W dniu 16.05.2024 o 11:44, peceed napisał:

130. 100 lat temu dostał Nobla.

Szczegóły. 

 

W dniu 16.05.2024 o 11:44, peceed napisał:

To podsumowanie stanu faktycznego. Od czasu do czasu ktoś się trafia, ale w masie brak im odpowiedniego myślenia. Sprawa jest prosta - ile godzin matematyki jest na studiach medycznych -- i to wszystko w temacie. Teoria która działa to matematyka, i nie da się inaczej. Nie mylić z teoryami (czy pitoleniem).

Jest biofizyka, biochemia, ale w sumie jakie ma to znaczenie na studiach stricte medycznych? Lekarze mają przede wszystkim leczyć. Zrozumieć fizjologię i farmę i przede wszystkim odbyć praktykę kliniczną. 

Nie sądzę, żeby przy takiej multidyscyplinarności, w medycynę nie byli zaprzęgnięci także  fizycy z odpowiednim, profilowym wykształceniem/doświadczeniem (biofizycy). 

[radar 112]

17 godzin temu, peceed napisał:

Idea jest taka, że jeśli wiele aksonów powtarza pewne nieliniowe obliczenia, to lepiej je wykonać jeden raz. Jeśli wszystkie funkcje aktywacji na wejściach miałyby podobne zachowanie (byłyby koherentne), to wystarczyłoby wyodrębnić to zachowanie i przenieść je do "dendrytu", pozostawiając w aksonie klasyczną wagę z biasem. Jeśli aksony wymagałyby kilku funkcji, to wówczas można pomyśleć o podzieleniu neuronów (niemożliwe w przyrodzie, ale łatwe matematycznie), licząc że być może w wyniku dalszego uczenia można by dokonać prucia jednego z tych wyodrębnionych neuronów. Przy czym takie wyodrębnienie można po prostu zamodelować jako kolejną warstwę - neuron z jednym wejściem i wyjściem.

W szczególnym przypadku, jeśli wszystkie funkcje byłyby koherentne to niczym by się to nie różniło od "zwykłego" neurony z jedną funkcją. To jest oczywiście możliwe, ale raczej mało prawdopodobne. Pytanie ile z nich procentowo faktycznie będzie i czy taka optymalizacja ma sens. Problem z tą ideą jest też taki, że w procesie uczenia musiałbyś sprawdzać za każdym razem, które funkcje są (dalej) koherentne, a które (już) nie i je odpowiednio przenosić. A inne w drugą stronę, z tej nowej warstwy z powrotem. Raczej niepraktyczne.

8 godzin temu, venator napisał:

Nie sądzę, żeby przy takiej multidyscyplinarności, w medycynę nie byli zaprzęgnięci także  fizycy z odpowiednim, profilowym wykształceniem/doświadczeniem (biofizycy). 

Na pewno są, na poziomie opracowywanie koncepcji, ale badania kliniczne, a potem również prace naukowe na ten temat, są przeprowadzane przez "zwykłych" lekarzy po "zwykłej" medycynie, a im już tej wiedzy brakuje. A tych badań jest cała masa i oni na niej zarabiają góry (często 2-3x więcej miesięcznie niż z kontraktu w szpitalu!) pieniędzy, więc jest czasami pokusa na to żeby wniosek się zgadzał z założeniem.

[peceed 142]

Nie napisałem tego bezpośrednio, ale jest całkiem jasne, że KAN jest znacznie lepszym modelem neuronów naturalnych i doskonale tłumaczy dlaczego pojedyncze neurony mogą się rozrastać i komplikować, oraz na co idzie "praca obliczeniowa" pojedynczego neuronu.

Widzę pewną analogię pomiędzy naturalnym pruciem wykorzystującym mikroepilepsję do prucia sieci KAN.

Wszystkie firmy które pracują nad akceleratorami AI muszą poważnie przemyśleć swoją przyszłość i projekty. W najlepszej sytuacji jest Nvidia bo jej jednostki wciąż dysponuje dużą ilością klasycznych shaderów (wektorowa architektura nie zmarnuje się przy przetwarzaniu wsadowym).

19 minut temu, radar napisał:

W szczególnym przypadku, jeśli wszystkie funkcje byłyby koherentne to niczym by się to nie różniło od "zwykłego" neurony z jedną funkcją.

Po głębszym przemyśleniu przyznaję, że wprowadzanie takich "niskopoziomowych" optymalizacji-komplikacji nie zwiększających w żadnym stopniu siły modelu teoretycznego nie jest dobrym pomysłem.

Godzinę temu, radar napisał:

ale badania kliniczne, a potem również prace naukowe na ten temat, są przeprowadzane przez "zwykłych" lekarzy po "zwykłej" medycynie, a im już tej wiedzy brakuje.

I uzdolnień. Ale nawet z uzdolnieniami ich "spryt" jest zużywany na odtwarzanie totalnie trywialnych i elementarnych zagadnień, najczęściej ślepych uliczek.

Godzinę temu, radar napisał:

więc jest czasami pokusa na to żeby wniosek się zgadzał z założeniem.

To jest cel. Wyniki negatywne są porażką, a nie jak w przypadku zdrowej nauki, postępem. Dlatego wyniki badań które inwalidują "osiągnięcia" całych dyscyplin są wygodnie przemilczane.
Niestety nauka ma w swoim założeniu pewną dowolność w prowadzeniu badań co jest brutalnie wykorzystywane przez biznes, a medycyna jest przede wszystkim biznesem, od tysięcy lat.

 

 

[radar 112]

26 minut temu, peceed napisał:

To jest cel. Wyniki negatywne są porażką, a nie jak w przypadku zdrowej nauki, postępem. Dlatego wyniki badań które inwalidują "osiągnięcia" całych dyscyplin są wygodnie przemilczane.

Tak, ale nie można generalizować. Znam wielu lekarzy, dla których to stwierdzenie byłoby bardzo niesprawiedliwe. Dla wielu z nich jednak dobro pacjenta jest na pierwszym miejscu, więc i wyniki badań są prawidłowe. Nie zmienia to jednak faktu, że niektórym brakuje podstaw "dobrej praktyki prowadzenia badań".

29 minut temu, peceed napisał:

Niestety nauka ma w swoim założeniu pewną dowolność w prowadzeniu badań co jest brutalnie wykorzystywane przez biznes, a medycyna jest przede wszystkim biznesem, od tysięcy lat.

A to jest 200% smutnej prawdy

[l_smolinski 34]

Ogólnie żyjecie złudzeniami albo iq małpy po udarze macie. Matematyka z podstawówki powinna do was dotrzeć.  Jak z dziećmi .  Zgodnie z tym artykułem i jego cytowaniami:

https://www.ncbi.nlm.nih.gov/pmc/articles/PMC10441807/

Szacuje się, że dla tych samych zadań mózg potrzebuje około 20 watów vs. 250 watów dla procesora graficznego GeForce Titan X, a karty wytwarzają dużo więcej ciepła podczas obliczeń 50–80 C w porównaniu z 36,5–37,5 C dla mózgu. No a to 36.6 to jest sztuczne bo wynika zupełnie z czegoś innego. Spokojnie można założyć, że to ciepło wydzielane z obliczeń jest znacznie mniejsze. Nie wiem, waty na ciepło to chyba sobie ogarniecie?

Najistotniejsze:

Neurony mają od 5 um do 120 um.
Procesory kart graficznych robi się 14 nm.

1 nm = 0,001 μm

Abstrahując od olbrzymich różnić i braków w algorytmach, które opisano w artykule idźmy dalej. Powiedzmy, że jest dzień dziecka i różnic nie ma co do funkcjonalności, a braki o których już pisałem, a które też przytoczono w artykule zostały magicznie zlikwidowane....to...

Wasze synapsy umieją coś poskładać w całość czy nie bardzo ?

Logicznym jest, że te obliczenia nie odbywają się na neuronach. Jest ich po prostu za mało.  Ile energii mózg by musiał zużywać i wydzielać ciepła skoro najmniejszy neuron ma 5 um a proponowane odwzorowania miały by być chociaż w 1% poprawne? 

Obliczenia nie mogą odbywać się na neuronach, stosunek mocy obliczeniowej, ilości neuronów, zużywanej energii  oraz rozmiaru neuronu wyklucza taką możliwość dla proponowanych algorytmów.

Zauważyć należy, że mózg i procesor zajmują określoną przestrzeń. Co by to było jakby procesory był robione w technologi  4 - 120 um? 

Obliczenia odbywają się za pomocą niższych energii. Moja leniwa propozycja, to taka jak pisałem - odbywa się to na falach EM generowanych podczas przepływu prądu - nie ma innego naturalnego wyjaśnienia mieszczącego się w ramach praw fizyki, które sobie zdefiniowaliśmy.

Stosunek energii fali EM do energii przepływu prądu też mam wam rozrysować jak dzieciom w przedszkolu? Czy sami sobie to ogracie? Nie wiem, pooglądajcie sobie pioruny przy włączonym radiu czy coś. hehe może coś was oświeci - byle nie ten błysk z pioruna, bo to nie o to chodzi.

Interferencja 3d fal em według mnie może zapewnić kompresje obliczeniową  - czyli zupełnie inne algorytmy niż te obecnie proponowane.  Te inne hipotetyczne algorytmy muszą sprostać wymaganiom obliczeniowym przy jednoczesnym niskim poborze energii.  Według mnie obliczenia odbywają się z udziałem znacznie niższych energii. Nie można wykluczyć, że obliczenia odbywają się w domenach magnetycznej i elektrycznej niezależnie. Nie mówię już, jakie możliwości daje podział na domeny częstotliwościowe, bo wam się w głowie zakręci.  

Nie wiem czy ogarnęliście aluzję z piorunem, tam idą różne fale: świetlne, radiowe itd., przy jednym przepływie prądu. Z automatu mamy tam zrównoleglenie kilku rdzeni obliczeniowych pracujących niezależnie nad różnymi zadaniami. Fala EM co do zasady propaguje sferycznie, z automatu mamy komunikację wszystkiego z wszystkim w otoczeniu - to też jest niesamowity wzrost mocy obliczeniowej w postaci wielowątkowości.  


@Jarek Duda ja to bym na twoim miejscu poszedł w próbę zaproponowania algorytmów jakiś liczących cokolwiek za pomocą interferencji solitonów. Tak na chłopski rozum tam jest duże pole do popisu  no i w komputerach optycznych się przyda, no bo przecież nie w kwantowych, bo te nigdy nie powstaną    Sterowanie algorytmem za pomocą częstotliwości, mocy, odległości źródeł, przesunięcia w fazie itd. Do wyboru do koloru.

    

Edytowane 22 maja 2024 przez l_smolinski

[peceed 142]

14 godzin temu, l_smolinski napisał:

a karty wytwarzają dużo więcej ciepła podczas obliczeń 50–80 C w porównaniu z 36,5–37,5 C dla mózgu

Przypadkowa wielkość bez żadnego znaczenia. W skali Kelvina widać, że zasadniczej różnicy nie ma - różnicę robią zupełnie inne czynniki. Żeby było śmieszniej to są kriogeniczne wersje kart - ich zużycie prądu jest podobne.

14 godzin temu, l_smolinski napisał:

Interferencja 3d fal em według mnie może zapewnić kompresje obliczeniową

Naprawdę uważasz że zaczynasz coś tworzyć wymyślając nowe słowa czy frazy?

14 godzin temu, l_smolinski napisał:

Zauważyć należy, że mózg i procesor zajmują określoną przestrzeń. Co by to było jakby procesory był robione w technologi  4 - 120 um? 

Kolejny przykład że niestety nie do końca rozumiesz tego o czym piszesz... Rozmiar technologiczny nie oznacza rozmiaru tranzystora. Pojedynczy tranzystor nie jest obliczeniowym odpowiednikiem neuronu z punktu widzenia komplikacji.
Synapsy mogą mieć 20 nm średnicy - to są wielkości porównywalne pod względem skali z elektroniką. Elementami przekaźnikowymi są pojedyncze molekuły i cząstki chemiczne.

 

 

[l_smolinski 34]

7 godzin temu, peceed napisał:

Rozmiar technologiczny nie oznacza rozmiaru tranzystora. Pojedynczy tranzystor nie jest obliczeniowym odpowiednikiem neuronu z punktu widzenia komplikacji.

Oczywiście, że nie oznacza. Tu chodzi o kilka rzędów wielkości. Niech i jeden neuron odpowiada 1000 tranzystorów to i tak się nie spina. Oczywiście nie ma podstaw do takiego stwierdzenia w kontekście mocy obliczeniowych. Moc obliczeniowa neuronu nie ma uzasadnienia w jego budowie. Z budowy wynika, że wynosi ona dokładnie 0.
 

7 godzin temu, peceed napisał:

Synapsy mogą mieć 20 nm średnicy - to są wielkości porównywalne pod względem skali z elektroniką. Elementami przekaźnikowymi są pojedyncze molekuły i cząstki chemiczne.

Próbujesz z  magistrali zrobić tranzystor. Synapsy wysyłają tylko sygnały sterujące, żadnych obliczeń tam nie ma.

https://pl.khanacademy.org/science/biology/human-biology/neuron-nervous-system/a/the-synapse

Ignorujesz fakt, że algorytmy bazują na neuronach a nie synapsach. Próba uwikłania synaps w obliczenia to mniej więcej jak mówienie, że magistrala robi permutacje. No robi jak się ścieżki pomiesza to faktycznie robi permutacje. Tylko na co to komu?

Nie pozostaje ci nic innego jak powiedzenie, że kationy wapnia robią obliczenia. Idźmy dalej czemu mięśnie nie myślą, przecież tam jest ten sam mechanizm co w synapsach oparty o kationy wapnia:

https://journals.viamedica.pl/forum_medycyny_rodzinnej/article/download/62155/48641

Ani neuron ani synapsa nic nie liczą. Niby jak by to miały robić? Nikt tak nawet nie twierdzi. Zasadniczo budowa wewnętrzna komórki neuronu nie różni się w kontekście obliczeniowym od innych komórek. Z pewnością nie posiada żadnych specjalnych elementów dających jakiekolwiek nadzieje na coś co można nazwać obliczeniami. Nie mówiąc już o złożoności obliczeń na poziomie 1000 tranzystorów.  Równie dobrze można powiedzieć, że komórki wątroby liczą. Jedyne na co liczą to, że właściciel odstawi majonez z diety

No, a w taki sposób próbuje się znaleźć brakujące moce obliczeniowe - w wewnętrznej strukturze neuronu czy synapsy, a nie ma ku temu żadnych przesłanek. 
 

7 godzin temu, peceed napisał:

Naprawdę uważasz że zaczynasz coś tworzyć wymyślając nowe słowa czy frazy?

Na prawdę nie wiem co ci powiedzieć. Lepiej bujać w obłokach, że synapsy odpowiadają za brakujące moce obliczeniowe. Potrzeba matką wynalazku.

Ogólnie moc obliczeniową mózgu wiąże się z ilością połączeń między neuronami (takie zależności niby wykryto). Co pozostaje w zgodzie z moja koncepcją bo obliczenia odbywają się pomiędzy siatką/szkieletem. To znaczy tam gdzie fale, czy też jak kto woli pola powstałe z przepływu ładunku interferują. 

Edytowane 23 maja 2024 przez l_smolinski

[venator 128]

W dniu 22.05.2024 o 10:58, radar napisał:

Na pewno są, na poziomie opracowywanie koncepcji, ale badania kliniczne, a potem również prace naukowe na ten temat, są przeprowadzane przez "zwykłych" lekarzy po "zwykłej" medycynie, a im już tej wiedzy brakuje. A tych badań jest cała masa i oni na niej zarabiają góry (często 2-3x więcej miesięcznie niż z kontraktu w szpitalu!) pieniędzy, więc jest czasami pokusa na to żeby wniosek się zgadzał z założeniem.

W medycynie praktycznej wdraża się czasem farmakologie off label (spoza ulotki), czyli terapię poza zarejestrowanymi właściwościami leku. I przynosi to skutek. Weźmy np. arypiprazol, lek przeciwpsychotyczny, stosowany pierwotnie w leczeniu schizofrenii. A jest on często stosowany, z dobrym skutkiem, u całkiem małych dzieci, w tłumieniu zaburzeń związanych z ADHD.

Chyba do tej pory nie ma 100% pewności jak ten lek działa tłumiąco na takich małych pacjentów, ale działa. Czy mamy dlatego zamykać drogę, że nie jest wypracowana teoretyczna droga do zastosowania leku (w sensie rejestracji medycznej, bo opracowania naukowe są)? Na nic obserwacje z praktyki klinicystycznej? Na szczęście medycyna nie zamyka się przed taką drogą.

Weźmy np. Jerzego Vetulaniego, jednego z najwybitniejszych naszych naukowców z nauk medycznych. W latach 70-tych Vetulani wraz z Amerykaninem F. Sulserem byli tzw. murowanymi kandydatami do Nobla, a odpadli (podobnie jak Wolszczan) raczej z powodu pozamerytorycznych. Vetulani z Sulserem opracowali hipotezę β-downregulacji, tłumaczącą mechanizm leków przeciwdepresyjnych. Publikacja w "Nature", ponad pół tysiąca cytowań. A to wszystko na temat leków wprowadzonych już  do praktyki.

Wydaje mi się, że ten sceptycyzm wobec osiągnięć medycyny, wynika chyba z  nie do końca zrozumienia złożoności problemu. 

Praca kardiomiocytów jest oparta w zasadzie na różnicy potencjałów +-. Piękna prostota. Ale jeśli uwzględnimy, że w zwykłym człowieku jest ok 100 bilionów komórek, która każda w sobie jest ciekawym i złożonym mechanizmem, i to wszystko jakoś funkcjonuje...to przy tym badania gwiazd neutronowych nie wydają się przesadnie wymagające...

Edytowane 23 maja 2024 przez venator

[peceed 142]

19 godzin temu, venator napisał:

Weźmy np. arypiprazol, lek przeciwpsychotyczny, stosowany pierwotnie w leczeniu schizofrenii. A jest on często stosowany, z dobrym skutkiem, u całkiem małych dzieci, w tłumieniu zaburzeń związanych z ADHD.

Ten lek, jak zresztą wszystkie mu podobne, nie robi nic innego jak wyłącza mózg. Tłumienie zaburzeń brzmi lepiej niż tłumienie funkcjonowania mózgu. A działa to świetnie dlatego, że kryteria sukcesu pozwalają na uznawanie osób po lobotomii za "wyleczone". Zasada jest dokładnie taka sama.
 

19 godzin temu, venator napisał:

Vetulani z Sulserem opracowali hipotezę β-downregulacji, tłumaczącą mechanizm leków przeciwdepresyjnych. Publikacja w "Nature", ponad pół tysiąca cytowań.

To właśnie pokazuję nędzę intelektualną medycyny, gdzie daje się Noble za hipotezy. Zacznijmy od tego, że depresja nie jest nawet jednostką etiologiczną.

 

19 godzin temu, venator napisał:

Na szczęście medycyna nie zamyka się przed taką drogą.

Medycyna rzadko się zamyka przed jakąkolwiek drogą, dlatego ludzie bez kontaktu z medycyną żyją zdrowiej. Żeby nie było - nie krytykuję tutaj używania leków off label.

20 godzin temu, venator napisał:

A to wszystko na temat leków wprowadzonych już  do praktyki.

Dobrze jest mieć taką silną podkładkę - świetnie działa w sądach.

20 godzin temu, venator napisał:

Wydaje mi się, że ten sceptycyzm wobec osiągnięć medycyny, wynika chyba z  nie do końca zrozumienia złożoności problemu. 

Dokładnie odwrotnie. W pełni zdając sobie sprawę z algorytmicznej złożoności funkcjonowania mózgu uznaję psychiatrie za zwykłe pseudonaukowe oszustwo skrzyżowane z religią. Nawet tworzyłem na ten temat książkę,  tylko jej treść i 99% wiedzy wyrąbało mi 5 lat temu. Mogłem sobie obejrzeć działanie "systemu" od środka i zawiera on oszustwa na każdym poziomie, zaczynając od ignorowania informacji dawnych przez pacjentów bo nie zgadzają się aktualnymi zapatrywaniami lekarzy. Najbardziej znamienne jest też to o co się pacjentów nie pyta.
 

Generalnie podstawą do funkcjonowania biznesu jest systematyczne i systemowe ignorowanie wszelkich efektów ubocznych i negatywnych, dotyczy to też innych gałęzi medycyny. Psychiatria ma o tyle łatwiej, że jej pacjenci są, z racji swoich problemów, doskonałymi ofiarami.

Sztandarowym przykładem jest funkcjonowanie większości badań klinicznych, które w zakresie badania bezpieczeństwa leków wykonuje się na ludziach maksymalnie zdrowych i młodych, co pozwala im zaabsorbować i ukryć dużą ilość uszkodzeń.

Tak samo znacznie łatwiej jest zgłosić "szkodliwe interakcje" z innymi lekami, niż gołe efekty uboczne leków, choćby były identyczne.

[radar 112]

12 godzin temu, peceed napisał:

Tłumienie zaburzeń brzmi lepiej niż tłumienie funkcjonowania mózgu.

Dokładnie, otępienie = "sukces"

12 godzin temu, peceed napisał:

W pełni zdając sobie sprawę z algorytmicznej złożoności funkcjonowania mózgu uznaję psychiatrie za zwykłe pseudonaukowe oszustwo skrzyżowane z religią.

A mówiąc mniej dosadnie to zbiorowo (!) ignorują fakt, że correlation does not mean causation.

12 godzin temu, peceed napisał:

Sztandarowym przykładem jest funkcjonowanie większości badań klinicznych, które w zakresie badania bezpieczeństwa leków wykonuje się na ludziach maksymalnie zdrowych i młodych, co pozwala im zaabsorbować i ukryć dużą ilość uszkodzeń.

Też prawda. Dodatkowo bardzo łatwo "obalić" wszelkie metody leczenia alternatywnego, po które ludzie sięgają, gdy metody konwencjonalne zawodzą, bo wtedy to jest "nie wiadomo, bo to może poprzednie leczenie pomogło".

Największą zbrodnią jest jednak "leczenie" nowotworów, które sprowadza się do wyniszczenia organizmu i przy okazji choroby, ale przeżywają w sumie najsilniejsi. Najgorsze jest to, że te statystyki są de facto dużo niższe niż podawane oficjalnie, bo bardzo dużo osób wyleczonych wraca po 3-5 latach z białaczką i innymi chorobami autoimmunologicznymi, "no, ale z X to Pana wyleczyliśmy, a teraz to co innego".

-------

Wracają do głównego wątku Panowie. @Jarek Duda, może jakaś inspiracja
https://www.nature.com/articles/s41562-023-01626-5
https://arxiv.org/html/2403.00022v1

 

[peceed 142]

Kolejnym powodem używania maksymalnie zdrowych ludzi jest brak obecności innych leków, czyli pozbycie się skutków typowych i powszechnych interakcji, pomimo faktu że będą powszechnie zachodzić i szkodzić pacjentom.

Odnośnie psychiatrii - gdyby szukać analogii technicznych, to jest to próba odtwarzania informatyki za pomocą wspólnej pracy ludzi pracujących jako podstawowy support techniczny dla użytkowników i zakład recyklingu komponentów elektronicznych. Są znikome szanse że udałoby im się sformułować choćby logikę pierwszego rzędu, ale na pewno powstałyby całe tomiszcza opisujące ich "wypociny", w stylu "Teoria interfejsu".

W dniu 25.05.2024 o 11:18, radar napisał:

A mówiąc mniej dosadnie to zbiorowo (!) ignorują fakt, że correlation does not mean causation.

Warto też dodać, że ilość związków przyczynowo skutkowych jest znacznie mniejsza od ilości korelacji.

Lekarze też ignorują podstawowe i nieuniknione sprzężenia zwrotne. Nie posługują się abstrakcjami - dla nich abstrakcja to sztywny schemat używany do organizacji materiału do zakucia, a nie tworzone dynamicznie kategorie na podstawie własności operacyjnych użyteczne we wnioskowaniu.

Lekarz to prosty klasyfikator duszukujący się niskopoziomowych różnic, podczas gdy tworzenie nauki wymaga odnajdywania abstrakcyjnych podobieństw -te dwa podejścia zupełnie nie przystają do siebie.

 

W dniu 25.05.2024 o 11:18, radar napisał:

Dodatkowo bardzo łatwo "obalić" wszelkie metody leczenia alternatywnego, po które ludzie sięgają, gdy metody konwencjonalne zawodzą, bo wtedy to jest "nie wiadomo, bo to może poprzednie leczenie pomogło".

Doskonałym przykładem "obalania" jest leczenie nowotworów za pomocą wysokich dawek witaminy C Linusa Paulinga. Znamienne jest to, że artykuły krytyczne w prasie i "badania" krytyczne wyglądały tak, jakby ich autorzy zupełnie nie rozumieli zasady działania tej terapii, wnioskowania logicznego i generalnie podstaw uprawiania nauki, a dokładnie na takim poziomie i przez takich samych ludzi jest tworzona medycyna na co dzień.

Medycyna ma szanse dawać poprawne rezultaty tylko gdy podstawą problemów jest pojedynczy czynnik etiologiczny (wirus, bakteria, mutacja, toksyna). W bardziej skomplikowanych scenariuszach nie daje rady, i wynika to w jasny sposób z mechanizmów funkcjonowania tej dyscypliny - ludzie którzy w niej siedzą nie ogarniają złożoności.
Nawet czasami zdarzające się wyjątkowo inteligentne osoby są całkowicie stracone, z jednej strony z powodu nieposiadania odpowiednich narzędzi intelektualnych, a z drugiej z powodu wypełnienia głowy masą nieistotnych informacji zorganizowanych według śmieciowych teorii.  

Szczęśliwie w ciągu kilkunastu lat tworzeniem nauk medycznych będzie zajmować wyłącznie "sceptyczna SI".

 

W dniu 25.05.2024 o 11:18, radar napisał:

Wracają do głównego wątku Panowie. @Jarek Duda, może jakaś inspiracja

https://www.nature.com/articles/s41562-023-01626-5
https://arxiv.org/html/2403.00022v1

Miałem kiedyś okazję podejrzeć funkcjonowanie części mojego mózgu która zajmowała się parsowaniem tekstów (świadomy sen stanie mocnego pobudzenia) , i miała ona strukturę (w sensie w jaki mogłem ją refleksywnie oglądać) spirali stworzonej z nawiniętych ciągów liter (można było to również zinterpretować jako tunel w którym leci się do wnętrza), były one coraz krótsze i zakończyły się pojedynczymi literami alfabetu. "funkcjami bazowymi" były zbitki liter nie tworzące konkretnych wyrazów. Oczywiście działało to na zasadzie, że zobaczyłem coś fascynującego i zacząłem to świadomie analizować podczas snu, dość szybko uznałem że ta struktura ma zastanawiające regularności i przy końcu praktycznie nie miałem żadnych wątpliwości do czego służy to co widzę. Zresztą takich "refleksyjnych" widoków w trakcie snów doświadczyłem całkiem sporo, i często były to statyczne obrazy które wyglądały dokładnie tak jak wizualizacje wag w głębokich sieciach neuronowych - na przykład "płachta" wypełniona karykaturami symboli matematycznych (ciężko inaczej to określić), albo obrazki przypominające domeny ciekłych kryształów (zdecydowanie bardziej abstrakcyjny poziom).

 

Edytowane 26 maja 2024 przez peceed

[peceed 142]

Ciekawym modelem pośrednim pomiędzy MLP a KAN jest sieć w której zastępujemy w perceptronach stałą funkcję przejścia funkcją którą można trenować. Mam do niej sentyment, bo była to opcja którą zacząłem samemu rozważać po przeczytaniu początku pracy - na "nieszczęście" sami autorzy analizują takie sieci w dodatku do pracy. To podejście trochę przypomina moje pomysły sprzed ćwierć wieku w których próbowałem do budowy sieci stosować różne funkcje przejścia zainicjalizowane losowo, stałe podczas uczenia (poziom projektu studenckiego) - to pokazuje jak daleko odeszliśmy.

Istotne jest to, że każdą sieć KAN można przedstawić jako sieć MLP z nauczaną funkcją przejścia, o dwukrotnie większej głębokości (w trywialny sposób - używamy całego neuronu z jednym wejściem i wyjściem do symulowania nauczanej funkcji na połączeniu) . To pozwala zastosować do nich wnioski z reprezentacji KA  - wystarczą dwie warstwy ukryte o rozmiarach N^2 i N, aby aproksymować każdą funkcję ciągłą N zmiennych z dowolną dokładnością.

 

[venator 128]

W dniu 24.05.2024 o 22:27, peceed napisał:

To właśnie pokazuję nędzę intelektualną medycyny, gdzie daje się Noble za hipotezy.

Vetulani jednak nie dostał Nobla, ale nie w tym rzecz. Jak we współczesnej nauce   chciałbyś,  twardo rozgraniczyć hipotezę od teorii? Powstają mocne hipotezy, które na potwierdzające je eksperymenty będą czekały pokolenia, i "uznane" teorie, które przez te pokolenia będą testowane,  aż ktoś wykażę ich słabość.

 

Cytat

Zacznijmy od tego, że depresja nie jest nawet jednostką etiologiczną.

Aha, z punktu widzenia etiologii, cukrzyca to kilkadziesiąt jednostek chorobowych. Mamy nie leczyć?

 

W dniu 24.05.2024 o 22:27, peceed napisał:

Medycyna rzadko się zamyka przed jakąkolwiek drogą, dlatego ludzie bez kontaktu z medycyną żyją zdrowiej. Żeby nie było - nie krytykuję tutaj używania leków off label.

Tak, tak, może "zdrowiej" ( w swoim przekonaniu), ale zdecydowanie krócej. Nie raz, na tym forum udowodniałeś osobistą niechęć, sądzę że powodowaną osobistymi doświadczeniami, do lekarzy i ogólniej, medycyny. 

 

W dniu 24.05.2024 o 22:27, peceed napisał:

Dokładnie odwrotnie. W pełni zdając sobie sprawę z algorytmicznej złożoności funkcjonowania mózgu uznaję psychiatrie za zwykłe pseudonaukowe oszustwo skrzyżowane z religią.

Wyłazi z Ciebie, niestety totalny ignorant, który nie zdaje sobie sprawy, albo  raczej to cynicznie pomija, jak bardzo polepszyło się życie osób psychicznie chorych w przeciągu ostatnich kilkudziesięciu lat. Na oddziałach psychiatrycznych nie spotkasz już ludzi, którzy są przekonani, że są napoleonami lub kogutami (to taki bardziej wyrazisty przykład)...no tak ale to religia...

 

W dniu 24.05.2024 o 22:27, peceed napisał:

Nawet tworzyłem na ten temat książkę,  tylko jej treść i 99% wiedzy wyrąbało mi 5 lat temu.

Ależżż pech. Nie pociągniesz tematu dalej? O ile rozumiem treść książki to co z tą wiedzą?

 

W dniu 24.05.2024 o 22:27, peceed napisał:

Generalnie podstawą do funkcjonowania biznesu jest systematyczne i systemowe ignorowanie wszelkich efektów ubocznych i negatywnych, dotyczy to też innych gałęzi medycyny. Psychiatria ma o tyle łatwiej, że jej pacjenci są, z racji swoich problemów, doskonałymi ofiarami.

Tu już wchodzimy w temat big farma i jej rzekomo mrocznych stron. Temat wałkowany, tu także, na tym forum, zwłaszcza w covidzie. 

W dniu 27.05.2024 o 00:06, peceed napisał:

Medycyna ma szanse dawać poprawne rezultaty tylko gdy podstawą problemów jest pojedynczy czynnik etiologiczny (wirus, bakteria, mutacja, toksyna). W bardziej skomplikowanych scenariuszach nie daje rady, i wynika to w jasny sposób z mechanizmów funkcjonowania tej dyscypliny - ludzie którzy w niej siedzą nie ogarniają złożoności

To znaczy, wg. Twojej logiki, na medycynę idą same intelektualne lebiegi? Tj. dosyć zaskakujące, bo w szeroko rozumianych naukach medycznych jest dużo większy hajs, niż w przy badaniu czarnych dziur. A więc zgodnie z rachunkiem prawdopodobieństwa, przy takiej ilości chętnych na medycynę,  jest sporo większa szansa, że trafi tam jednak ktoś ogarnięty. A jednak nie...

Czemu nie dopuszczasz myśli, że to nie kwestia ludzi a złożoności problemu? Uprzedzenia?

[radar 112]

W dniu 28.05.2024 o 02:01, venator napisał:

Czemu nie dopuszczasz myśli, że to nie kwestia ludzi a złożoności problemu? Uprzedzenia?

To chyba bardziej chodzi o to, że tam gdzie jest na prawdę duża kasa tam pojawia się system korupcyjny i mało kto jest zainteresowany nauką i pomaganiem pacjentowi, a jedynie zarobkami. Ot, ostatnie "newsy":
https://www.science.org/content/article/bad-math-nih-researchers-didn-t-pocket-710-million-royalties-during-pandemic
Sam rynek tylko "suplementów diety"  tylko w Polsce to prawie 7 miliardów złotych.

 

[Jarek Duda 144]

Zrobiłem update https://arxiv.org/pdf/2405.05097 np. rozszerzenia KAN-like o wiele nowych możliwości:

• it can propagate in any direction,
• propagate values or probability distributions,
• interpretation of parameters as mixed moments,
• consciously add triplewise and higher dependencies,
• inexpensive evaluation of modeled mutual information,
• additional training approaches, e.g. direct estimation, tensor decomposition, information bottleneck.

Przede wszystkim dodając information bottleneck training - super sprawa: zamiast optymalizować wagi, bezpośrednio optymalizujemy zawartość pośrednich warstw: żeby miały jak najwięcej (mutual) informacji o docelowych wartościach, równocześnie minimalizując (mutual) informację o wejściu - żeby usunąć szum, wyekstrahować kluczową informację.

https://en.wikipedia.org/wiki/Information_bottleneck_method

Tutaj jest praktyczne analityczne przybliżenie mutual information, pozwalające analitycznie optymalizować zawartość pośrednich warstw.

Też właśnie nagrałem talka, slajdy: https://www.dropbox.com/scl/fi/07cxxweg8u2jl3bngkoft/KAN-HCR.pdf?rlkey=2u7bsxq3103iz1trz1splldro&dl=0

 

[peceed 142]

Na szybko bez czytania:

25 minut temu, Jarek Duda napisał:

it can propagate in any direction,

Czym to się różni od dodatkowego rekurencyjnego połączenia o długości 1?

26 minut temu, Jarek Duda napisał:

• propagate values or probability distributions,

Ciekawe czy jest to podobne do mojego pomysłu propagowania funkcji aktywacji.

 

 

 

[Jarek Duda 144]

Neuron z modelem rozkładu łącznego sąsiedztwa może propagować w dowolnym kierunku: podstawiamy część zmiennych i dostajemy rozkłady warunkowe.

Taka raz wytrenowana HCRNN sieć może propagować zarówno wartości jak i rozkłady (też warunkowe), w dowolnym kierunku - jako rozkłady warunkowe, ich wartości oczekiwane, etc.

Ogólnie podczas gdy MLP, KAN to po prostu parametryzacje, tutaj mamy znacznie potężniejszą strukturę danych którą można zdegenerować do KAN (można też znacznie więcej m.in. różnym sumowaniem po indeksach) ...
Biologiczne raczej też są jakościowo znacznie potężniejsze - żeby je dogonić, trzeba wyjść z prymitywnych parametryzacji.

Edytowane 22 czerwca 2024 przez Jarek Duda

[Jarek Duda 144]

Pozbierane różnice: wysokopoziomowe np. lepsze uczenie, elastyczność, robustness ... które powinny wychodzić z niskopoziomowych, np. wielokierunkowa propagacja, też rozkładów, inne uczenie niż backpropagacja (jakie?)

Jakie jeszcze brakujące własności biologicznych są kluczowe żeby dogonić ich możliwości sztucznymi ?

[Jarek Duda 144]

Przygotowałem wprowadzenie z prostym kodem dla tych neuronów z modelem rozkładu łącznego sąsiadów: https://community.wolfram.com/groups/-/m/t/3241700

2 i 3D przykłady propagacji w dowolnym kierunku jako warunkowe wartości oczekiwane:

Edytowane 7 sierpnia 2024 przez Jarek Duda