Biologiczne neurony używają dwukierunkowej propagacji - czy/jak przenieść do sztucznych?

[Jarek Duda 139]

Propagacja sygnału w biologicznych neuronach jest dość symetryczna, np. ”it is not uncommon for axonal propagation of action potentials to happen in both directions” ( https://journals.aps.org/pre/abstract/10.1103/PhysRevE.92.032707 ), mają znacznie lepsze uczenie "one-shot-learning" niż sztuczne, świadomość, etc.

Natomiast obecne sztuczne sieci neuronowe (ANN) są trenowane pod jednokierunkową propagację, poprzez trochę brute-force backpropagation ... raczej dość inaczej niż biologiczne.

Więc pytanie czy nie warto rozważyć wielokierunkowe sztuczne neurony ... tylko jak je zaprojektować, trenować, może wzorując się biologicznymi?

Konstrukcja nad którą pracuję ( https://arxiv.org/pdf/2405.05097 ) to neurony zawierające model rozkładu łącznego połączeń:

- podstawiając część wejść dostajemy rozkłady warunkowe dla pozostałych - możemy propagować informację w dowolnym kierunku, nie tylko wartości ale i rozkłady,

- degeneruje się do tych modnych teraz KAN (Kolmogorov-Arnold Network) jeśli ograniczymy się do zależności między parami zmiennych - można świadomie dodać między trójkami i wyżej,

- daje wiele nowych możliwości trenowania - np. bezpośrednią estymacją/updatem, czy dekompozycją tensorową ... może ewolucja biologiczna nauczyła się używać któryś z nich?

Jakby ktoś miał przemyślenia ...

Edytowane 15 maja przez Jarek Duda

[Afordancja 57]

10 minut temu, Jarek Duda napisał:

Jakby ktoś miał przemyślenia ...

Jeszcze nic nie przeczytałem (pewnie dopiero jutro znajdę czas), ale hm.. co to znaczy, że sygnał jest dość symetryczny?
"na obrazkach" zawsze neuron przesyłał w jedną stronę

[Jarek Duda 139]

Miałem na myśli że mechanizm propagacji potencjału czynnościowego (action potential) raczej jest symetryczny - pozwala propagować w obu kierunkach, jak się spotkają takie dwie fale to się nawzajem wygaszają, zacytowałem artykuł eksperymentalny powyżej.

Z drugiej strony dla trenowania sztucznych potrzebujemy backpropagation - jakaś propagacja wsteczna raczej jest konieczna, pytanie czy pośrednia czy też taka bezpośrednia - co matematycznie jest względnie proste w realizacji (np. wzory w diagramie powyżej), pewnie coś takiego mogłoby być schowane w dynamice biologicznych (?)

 

Diagram z https://uw.pressbooks.pub/physiology/chapter/action-potential-propagation/

[radar 104]

Od dawna nad tym pracuję, bo już parę lat temu doszedłem do wniosku, że błąd tkwi w samej idei back propagation (w obecnej postaci). Mózg tak nie działa, przy czym na początku też myślałem, że potrzebna jest dwukierunkowa komunikacja, ale okazuje się, że też nie do końca. Problemem jest _co_ zapamiętać, a nie _jak_.

Tyle Ci powiem na razie

Edytowane 15 maja przez radar

[peceed 127]

4 godziny temu, Jarek Duda napisał:

Z drugiej strony dla trenowania sztucznych potrzebujemy backpropagation - jakaś propagacja wsteczna raczej jest konieczna, pytanie czy pośrednia czy też taka bezpośrednia - co matematycznie jest względnie proste w realizacji (np. wzory w diagramie powyżej), pewnie coś takiego mogłoby być schowane w dynamice biologicznych (?)

Odkryto wsteczną propagację w neuronach (z 10-15 lat temu). To najważniejsze odkrycie odnośnie funkcjonowania mózgu w ostatnim półwieczu, i jakoś nie zdobyło szerszego rozgłosu.  Detali nie pamiętam ( było ich zresztą bardzo mało) poza faktem, że jest znacznie słabsza niż propagacja w przód. Szkoda że tak późno, oszczędziłoby to mi bardzo wiele czasu zmarnowanego na szukanie zastępnika w sytuacji, gdy to właśnie wsteczna propagacja błędów jest najlepszym algorytmem z "hardwarowego" punktu widzenia. Generalnie szukałem sieci do trenowania sieci, mogących zastąpić wsteczną propagację. Czyli jakaś "ubersieć" pomaga tworzyć detale małych sieci.

Teraz (czyli do momentu gdy mogłem się jeszcze zajmować takimi  tematami) mam całkowicie odwróconą wizję - to wsteczna propagacja emergentnie tworzy struktury pobudzeń które mogą być analizowane za pomocą innych sieci.

 

4 godziny temu, Jarek Duda napisał:

Miałem na myśli że mechanizm propagacji potencjału czynnościowego (action potential) raczej jest symetryczny - pozwala propagować w obu kierunkach, jak się spotkają takie dwie fale to się nawzajem wygaszają, zacytowałem artykuł eksperymentalny powyżej.

Rozumiem że to pochodna rozmyślań o dwukierunkowych komputerach kwantowych
Największym problemem są szczeliny międzysynaptyczne, ich mechanizm działa w jedną stronę. Natomiast w ramach skomplikowanych nieliniowych struktur obliczeniowych w ramach jednego neuronu biologicznego obustronne wyładowania mogą być powszechne i kluczowe.

Jedynym widocznym (co jest prawie tożsame z "możliwym") rozwiązaniem obejścia problemu jednokierunkowego funkcjonowania szczeliny międzysynaptycznej są astrocyty, które co do zasady mogą tworzyć "mostki", a może nawet bardziej skomplikowaną strukturę zajmującą się propagacją wsteczną. Idea sieci uczącej inne sieci może być ekstremalnie niskopoziomowa, a dodatkowa sieć ucząca nie musi być  neuronowa w sensie biologicznym.

4 godziny temu, Jarek Duda napisał:

jak się spotkają takie dwie fale to się nawzajem wygaszają

Trudno aby nie -  nie ma zatem zasobów aby sygnały mogły się poruszać w obu kierunkach bez wzajemnych zakłóceń, jeden niszczy polaryzację potrzebną drugiemu.
Najważniejsze jest jednak to, że potencjalna dwukierukowość pozwala wykorzystywać identyczny schemat rozwojowy (neuron z mózgu wypuszcza akson) zarówno do czucia jak i sterowania ruchem, przez co drobne mutacje mogły dramatycznie zmieniać funkcjonalność podobnie budowanych połączeń.

56 minut temu, radar napisał:

Mózg tak nie działa

Działa działa. Poruszanie się po gradientach jest zbyt szybkie aby dało się zastąpić czymś innym, a wsteczna propagacja błędów jest idealnie dopasowana do właściwości mózgu. Na niskim poziomie (połączeń) nie ma żadnej introspektywności, więc jedynym obiektem który niesie informację o połączeniu neuronowym może być owo samo połączenie. Bardziej zaawansowane algorytmy uczące wymagają znajomości struktury sieci, podczas gdy wsteczna propagacja po prostu przekazuje informację do tyłu nie dbając o szczegóły których nie może znać. 

Wszystkie AI są trenowane z użyciem wstecznej propagacji, i co ważne - modele są ekstremalnie efektywne w stosunku do ilości parametrów. Ludzkie mózgi wciąż zawierają znacznie większą ilość niskopoziomowych informacji, natomiast zdają się być słabo uczone na tym najniższym poziomie. Możliwość stosowania milionów powtórzeń jest jednak nie do pobicia, również precyzja cyfrowa musi poprawiać działanie - stosujemy pseudolosowość gdy chcemy, ale nie jesteśmy na nią skazanie cały czas.

Oczywiście są też inne całkowicie ortogonalne mechanizmy, przypominające dobór naturalny i mechanizmy rynkowe - generalnie każda część mózgu stara się robić absolutnie wszystko, ale te działania są powstrzymywane przez sukces lepiej realizujących określone zadanie rejonów i brak "dopaminowej zapłaty". Przejmowanie funkcjonalności po utracie pewnych rejonów mózgu jest całkowicie "emergentne". Jest to kluczowe dla powstawania różnych architekturalnych udoskonaleń, rejon który je posiada po prostu naturalnie wygrywa rywalizację z tymi które go nie posiadają. Ale nic nie jest wyryte w kamieniu, i czasami ośrodki znajdują się w "nieodpowiednich" miejscach.

 

Edytowane 15 maja przez peceed

[Jarek Duda 139]

Rzeczywiście jest trochę artykułów szukając "neural backpropagation" zaczynając od https://en.wikipedia.org/wiki/Neural_backpropagation - poczytam, ale chyba nie ma konsensusu czy/jak są kluczowe w nauce biologicznych sieci neuronowych (?)

Ale ogólnie istnieją inne metody uczenia, np. polecam pomyśleć o neuronie trzymającym model joint distribution połączeń (pierwszy post) - propagację (w dowolnym kierunku) można sprowadzić do ~KAN: kombinacje liniowe z trenowanymi jedno-parametrycznymi nieliniowościami, dochodzą nowe metody trenowania jak bezpośrednia estymacja tego rozkładu z wejść - znowu kombinacje jednoparametrycznych nieliniowości ... skoro można, to niewykluczone że ewolucja nauczyła się ich używać dla biologicznych neuronów.

Rzeczywiście narzuca się podobieństwo z dwukierunkowymi komputerami kwantowymi (2WQC, mamy zespół XPRIZE,  świeży talk dla WQCG), ale pomysły niezależne ... choć nie zdziwiłbym się gdyby biologiczne sieci neuronowy wykorzystywały symetrię czasową fizyki.

ps. Trenowanie KAN z https://github.com/KindXiaoming/pykan

Edytowane 15 maja przez Jarek Duda

[l_smolinski 29]

Ogólnie modele mózgu w tym modele propagacji impulsu są jak to zawsze bywa skopane. Nie ma co tego przenosić do sztucznych.

1. Przestrzeń jest 3D.
2. Emisja  fotonu jest sferyczna i całej reszty też.
2. Przepływie ładunku towarzyszy fala EM. 

Konsekwencje.

1. Propagacja impulsu jest sferyczna. Taki podział z 'wsteczna' wynika z kompletnego nie zrozumienia tematu. Tzw. 'propagacja wsteczna' to to nic innego jak  konsekwencja reflaction czoła fali, które i tak rozchodzi się sferycznie (wiadomo jakieś tam dydaskalia). 

2. Mózg działa w oparciu o przepływ ładunku i generowaną falę EM podczas przepływu ładunku. Ta fala EM wchodzi w interakcje z sąsiadującymi neuronami i nie tylko z neuronem wstecznym oraz nie tylko sam ładunek wpływa na neurony tylko fale EM które mu towarzyszą podczas przekazu, a te interferują ze sobą. 

Dlatego, że obecne modele uwzględniają tylko przepływ ładunku i to jeszcze z reguły w 1d, to ludzkość nic z tego nie kuma.

No i tak właśnie wyglądają sztuczne sieci neuronowe, czyli jednokierunkowe przekazanie informacji. Czyli ma to niewiele wspólnego z rzeczywistością.

Dopóki nie zrozumiemy dlaczego zlepek neuronów w przestrzenni 3d nabył cechę świadomości, oznacza to, że nic nie rozumiemy. Daję sobie rękę uciąć, że możliwość zaistnienia świadomości daje właśnie interferencja i sferyczna propagacja fali EM podczas procesu absorbcja-emisja energii.

Będziemy wiedzieć wszystko albo nic. Te same jakościowo neurony  z jakiś powodów - najprawdopodobniej różnic topologicznych i wartości absorbcji i emisji odpowiadają za różne funkcje mózgu. Co więcej neurony w pobliżu uszkodzonych neuronów są wstanie przejąć ich brakujące funkcje. W pobliżu oznacza w odległości definiowanej w 3D.

Więc spoglądanie na przepływ ładunku w 1D nie ma najmniejszego sensu. Te neurony które przejmują funkcję uszkodzonych nie mają bezpośrednich połączeń z uszkodzonymi i nigdy bezpośrednio czy pośrednio nie wymieniały między sobą ładunków.      
 

Edytowane 15 maja przez l_smolinski

[Afordancja 57]

13 minut temu, l_smolinski napisał:

Dlatego, że obecne modele uwzględniają tylko przepływ ładunku i to jeszcze z reguły w 1d, to ludzkość nic z tego nie kuma.

co masz na myśli mówiąc, 1d? Przecież są siedzi 2d 3d w zasadzie mogą być Nd

[peceed 127]

1 godzinę temu, Jarek Duda napisał:

ale chyba nie ma konsensusu czy/jak są kluczowe w nauce biologicznych sieci neuronowych (?)

Nie ma alternatywy. Wsteczna propagacja to jedyny sposób jaki znamy i przypuszczalnie jedyny istniejący który nie wymaga "znajomości samego siebie".

Cały problem z biologią i medycyną polega na tym, że nie posiadają one teoretyków. To tak, jakby całą fizykę chciano poznawać wyłącznie za pomocą opisu kolejnych doświadczeń bez żadnej spinającej teorii, albo teoriach mających jakość humanistycznych opowiastek. A gdy nie posiada się dobrych teorii, nie można nawet określać co jest ważne i doniosłe, a co nie. Dlatego występuje zjawisko skupiania się na nieistotnych detalach bez zrozumienia istoty zagadnień.

 

Te sieci KAN wydają się lepiej odpowiadać funkcjonowaniu neuronów biologicznych, w praktyce jednak te biologiczne wydają się być jeszcze ogólniejsze:
do niezależnych funkcji phi można dodać funkcję aktywacji całego neuronu oraz bias dla całego neuronu - który może być bezpośrednio sterowany hormonami jak adrenalina.
Jeśli funkcję phi będą liniowe, to uzyskujemy zwykłą sieć neuronową.

[Jarek Duda 139]

Znamy tez Hebbowskie, long term potentiation ... oraz np. nowe mozliwosci dla neuronów modelujących joint distribution połączeń ... I pewnie są dalsze których jeszcze nie znamy, oraz ogólnie propagacja wsteczna może być innymi neuronami (pośrednia).

Biologiczne neurony matematycznie mają dostępne przynajmniej: sumacja sygnałów, oraz jednoparametryczne nieliniowości - wystarczy dla KAN czy nowych możliwości joint distribution neurons - rozszerzających KAN m.in. o wielokierunkową propagację.

ps. multi-feature Granger causality znajdujące np. dwa rodzaje fal przyczynowości w sygnale EEG: https://arxiv.org/pdf/2305.09478

[radar 104]

@peceed, moja wypowiedź jest w zamiarze jak najbardziej neutralna, ale chyba za bardzo jesteś zafiksowany na rozwiązaniach, które niekoniecznie są poprawne. Nie mówiąc o modelu teoretycznym.

Do tego, do wszystkich, żeby dyskutować o uczeniu sieci trzeba uzgodnić o jakim uczeniu mówimy, bo to nie jest jeden i ten sam proces. No i co chcemy osiągnąć, idealnie odzwierciedlony model ludzkiego mózgu (który nie jest doskonały), czy mózg "idealny", który np. pamięta wszystko? No i jeśli ludzkiego, to Pana Józka, czy Hawkinga?

4 godziny temu, peceed napisał:

Poruszanie się po gradientach jest zbyt szybkie aby dało się zastąpić czymś innym, a wsteczna propagacja błędów jest idealnie dopasowana do właściwości mózgu.

Nieprawda. Poruszanie się po gradientach musi być szybkie, bo nie znamy (znamy, znamy) innej metody na uczenie sieci. Zmieniamy wagi w setkach czy tysiącach epok, a w każdej x razy i to wszystko razy wszystkie neurony (pomińmy na razie wszystkie optymalizacje jak lora itp. bo one działają wybiórczo poświęcając jakość). Więc żeby przyśpieszyć uczenie musieliśmy wymyślić jak je przyśpieszyć, a nie, że to odzwierciedla dopasowanie do mózgu. W którym momencie niby? W którym momencie procesu uczenia "jakiś" sygnał wraca po wszystkich neuronach z powrotem wzmacniając lub osłabiając połączenia? I o jaką "wartość"? Owszem, jest sygnał, który przez kanały wraca, ale wolno i selektywnie, ale nie wiemy dlaczego tędy, a nie tamtędy.

5 godzin temu, peceed napisał:

Odkryto wsteczną propagację w neuronach (z 10-15 lat temu). To najważniejsze odkrycie odnośnie funkcjonowania mózgu, i jakoś nie zdobyło szerszego rozgłosu.

Nie zdobyło, bo to nie taki sam sygnał co w inferencji. Popraw mnie jeśli się mylę, ale spekulowano, że jest związany bardziej z utrwalaniem pamięci (z krótko do długotrwałej), a nie z uczeniem właściwym. Patrz moje pytanie wyżej, o czym chcemy rozmawiać?

4 godziny temu, peceed napisał:

ale te działania są powstrzymywane przez sukces lepiej realizujących określone zadanie rejonów

Nie wiemy jak zdefiniowany jest sukces, na jakiej podstawie wybierana jest ścieżka, która wzmocni dany rejon. Dlaczego mózg "wybiera" co pamiętać a co nie, oraz jak wybiera? Jak działa mechanizm wypierania? Jak działa mechanizm zapominania o traumatycznych wydarzeniach? Dlaczego napisałem, że kluczowym problemem jest _co_ wzmocnić, a nie _jak_.

51 minut temu, peceed napisał:

Cały problem z biologią i medycyną polega na tym, że nie posiadają one teoretyków.

Cały problem z teoretykami polega na tym, że czasami nie zwracają uwagi na praktykę Zamykasz oczy i chcesz przesunąć rękę w lewo. Czujesz, że się nie dało, np. ściana. Próbujesz ileś razy, np. podnosisz ją delikatnie, aż w końcu się udaje. Po x próbach trafiasz ręką tam gdzie chciałeś np. na półkę. Czynność masz powtórzyć 3 razy (nie wiem, odkładasz po ciemku kubki do szafki, cokolwiek). Za 2 i kolejnymi razami robisz to już całkiem sprawnie. Nauczyłeś się tej czynności. W którym momencie w twoim mózgu wystąpiło backpropagation w takiej postaci w jakiej jest to stosowane w SNN? Twój mózg dostał sygnał od ręki, ale do neuronów czuciowych, one przekazały sygnał dalej, że "wirtualna reprezentacja przestrzeni" jest inna niż myślałeś, więc zmienia "działanie" neuronów kontrolujących twoją rękę. Aktywuje trochę inne neurony, ale za 2-3 razem "pamięta", które są prawidłowe. Ale jak?

4 godziny temu, peceed napisał:

Wszystkie AI są trenowane z użyciem wstecznej propagacji, i co ważne - modele są ekstremalnie efektywne w stosunku do ilości parametrów.

Są inne metody, a czy będę lepsze to się okaże. Mylisz chyba skutek z przyczyną, te modele są efektywne w interferencji, bo tam nie ma backpropagation! W uczeniu są ekstremalnie nieefektywne. Owszem, już nauczone, zgodnie z teorią wielkich liczb i statystyką, dość wiernie odzwierciedlają nasze "statystyczne" zachowania. Język jest modelem statystycznym, obraz (jaki znamy/doświadczamy) też, muzyka jeszcze bardziej, a te modele nie potrafią nic więcej, więc wytrenowane dość dobrze udają, że działają jak my, ale proces ich uczenia jest daleko niesatysfakcjonujący i niedoskonały. Ba, jest to proces modyfikowania połączeń bez wiedzy dlaczego tak a nie inaczej. Mózg tak nie działa. Jakoś "wie" co zapamiętać, a co jest nieistotne.

5 godzin temu, peceed napisał:

generalnie każda część mózgu stara się robić absolutnie wszystko

Ojojoj, to byłoby szaleństwo. Generalnie to nasz mózg jak napisałeś jest centrum. Kontroluje wszystko, każde uderzenie serca, zastawki, obkurczenie naczyń krwionośnych w reakcji na zmianę temperatury, pomiar tej temperatury, poziom hormonów itd. Twierdzenie, że dodatkowo każdy rejon mózgu stara się analizować każdy ten sygnał byłoby niewybaczalnym marnotrawstwem energii! 

5 godzin temu, peceed napisał:

Na niskim poziomie (połączeń) nie ma żadnej introspektywności, więc jedynym obiektem który niesie informację o połączeniu neuronowym może być owo samo połączenie.

Czy jedynym to się okaże. Inną możliwością jest to, że neuron, to nie tylko "aktywator", ale coś dużo bardziej zaawansowanego. I taką sieć sam już zbudowałem i wytrenowałem. Albo jak napisał Jarek, inne neurony też mogą za to odpowiadać. Rozwiązań jest dużo.

1 godzinę temu, peceed napisał:

Nie ma alternatywy. Wsteczna propagacja to jedyny sposób jaki znamy i przypuszczalnie jedyny istniejący który nie wymaga "znajomości samego siebie".

No nie! Wszystko już wynaleziono! Można się rozejść

Dlatego twoje twierdzenia odczytuję trochę tak:

Godzinę temu, peceed napisał:

Dlatego występuje zjawisko skupiania się na nieistotnych detalach bez zrozumienia istoty zagadnień.

3 godziny temu, l_smolinski napisał:

Mózg działa w oparciu o przepływ ładunku i generowaną falę EM podczas przepływu ładunku.

Dodałbym tylko, że ten przepływ ładunku jest kontrolowany również przez "sygnał chemiczny".

[peceed 127]

6 minut temu, radar napisał:

Jak działa mechanizm wypierania? Jak działa mechanizm zapominania o traumatycznych wydarzeniach?

Prosto i tak samo. Wyrąbywane są rejony które miały związek z tymi wydarzeniami i okolice. Co ciekawe tak samo "działa" psychoterapia.
 

17 minut temu, radar napisał:

Są inne metody, a czy będę lepsze to się okaże.

Nie jest sztuką uczyć sieć której strukturę się zna. Ale jeśli nie zna się tej struktury, i musi ona uczyć się sama siebie, to tylko wsteczna propagacja jest w stanie działać na niskim poziomie (bo na wysokim można sobie wprowadzić "darwinizm" obwodów).

21 minut temu, radar napisał:

Ale jak?

Zostań teoretykiem, to może wymyślisz.

26 minut temu, radar napisał:

Do tego, do wszystkich, żeby dyskutować o uczeniu sieci trzeba uzgodnić o jakim uczeniu mówimy, bo to nie jest jeden i ten sam proces.

Aby dyskutować pod artykułem wypadałoby go przeczytać.

27 minut temu, radar napisał:

Cały problem z teoretykami polega na tym, że czasami nie zwracają uwagi na praktykę

Mam wrażenie że określenie teoretyk traktuje kolega potocznie, mniej więcej tak jak tumany traktują "humanistę".

1 godzinę temu, Jarek Duda napisał:

Znamy tez Hebbowskie

Reguła Hebba nie jest uczeniem, a raczej tworzeniem struktury sieci która dopiero ma się nauczyć. Neurony muszą otworzyć temporalną strukturę przyczynową przetwarzania skorelowanych informacji, i reguła Hebba pozwala im taką strukturę tworzyć - bo neuron który łączyłby się z różnymi przypadkowymi poprzednimi warstwami (jako ominięcie) jest mało użyteczny.

Zatem reguła Hebba wyłania nowe połączenia "z nicości/potencjalności",  podnosząc wagę z zera do pewnej wartości dodatniej, tworząc sensowne logicznie fizyczne połączenia pomiędzy warstwami. Natomiast czy takie nowe połączenie ma sens - o tym powinna decydować wsteczna propagacja.

Natomiast w modelu KAM reguła Hebba może być jeszcze mocniej odseparowana - tworząc nowe połączenia które dopiero będą uczone przez dobór funkcji aktywacji (choć brak połączenia to również zero w tym przypadku - tylko jako funkcja zerowa).

KAM-y urzekły mnie jeszcze w jeden sposób - bardzo chciałem znaleźć sposób, aby móc umieścić w sieci neuronowej, która bohatersko stara się zrekonstruować jakąś funkcje matematyczną, bezpośrednie odwołanie do instrukcji procesora. Tutaj jest to trywialne.

40 minut temu, radar napisał:

Ojojoj, to byłoby szaleństwo.

Nie mówię że jej to wychodzi ani że może. Ale się stara

41 minut temu, radar napisał:

4 godziny temu, l_smolinski napisał:

Mózg działa w oparciu o przepływ ładunku i generowaną falę EM podczas przepływu ładunku.

Dodałbym tylko, że ten przepływ ładunku jest kontrolowany również przez "sygnał chemiczny".

Impulsy w neuronach nie są przepływami ładunków.

[Astro 34]

Łoo! Jak fajna, na miarę KW dyskusja się tu rozwinęła. Szkoda, że nie mam czasu by doczytać, podrapać się w głowę i na miarę poprzedników jakieś mądre zdanie napisać (bom gupi), ale...

34 minuty temu, peceed napisał:

Impulsy w neuronach nie są przepływami ładunków.

I tak, i nie. W końcu "kaskada" wyładowań elektrycznych w aksonie to jednak "elektryfikacja". Głupio to natura może wymyśliła z punktu widzenia fizyka^*, ale DZIAŁA.

34 minuty temu, peceed napisał:

Nie mówię że jej to wychodzi ani że może. Ale się stara

Kiepsko się stara, i na całe szczęście.

Piszcie dalej, kibicuję MOCNO.

^* teoretyka

Edytowane 15 maja przez Astro

[radar 104]

Godzinę temu, peceed napisał:

Wyrąbywane są rejony które miały związek z tymi wydarzeniami i okolice.

Dokładnie, ale jaki mechanizm znajduje akurat te rejony i okolice? Zauważmy, że dzieje się to na 2 sposoby. Nasz mózg potrafi ignorować informacje, które "uznaje za" nieistotne, oraz potrafi je usunąć po czasie, ale pytanie brzmi jak znajduje to co trzeba wyciąć?

 

Godzinę temu, peceed napisał:

Aby dyskutować pod artykułem wypadałoby go przeczytać.

Bardzo słuszna uwaga. Akurat przeczytałem, i papier Jarka jak i cytowany przez niego artykuł o neuronach. Masz rację, moje odpowiedzi nie są dokładnie związane z tym procesem, niepotrzebnie dałem się ponieść polemice z Tobą

Godzinę temu, peceed napisał:

Mam wrażenie że określenie teoretyk traktuje kolega potocznie, mniej więcej tak jak tumany traktują "humanistę".

Mylne wrażenie. Model teoretyczny jest jak najbardziej potrzebny, ale pod warunkiem, że jego efektem jest prawidłowe odwzorowanie odpowiedniego procesu. Nie uważam, że należy próbować odwzorowywać neuron ("i okolice") 1:1, bo natura ma swoje biologiczne ograniczenia. Jak napisałem, z niektórymi teoretykami jest taki problem, że czasami wpadną w jakieś swoje minimum lokalne funkcji, które nawet sprawdza się w jakimś zakresie, ale przez to, że nie widzą w około innego rozwiązania to myślą, że to już minimum globalne, które akurat jest gdzieś indziej. Backpropagation w takiej postaci jaka jest obecnie stosowana w ANN jest IMHO minimum lokalnym. Korzystamy, bo nie umiemy inaczej. Co nie oznacza, że inni nie szukają i nie znajdą alternatyw. Są alternatywy i będą nowe, wbrew temu co kolega mówi. Prowokację pominę.
Podsumowując, nowy model Jarka może usprawnić proces uczenia, ale imho nie wyskakuje z tej lokalnego minimum

 

 

[peceed 127]

3 minuty temu, radar napisał:

ale pytanie brzmi jak znajduje to co trzeba wyciąć

 

8 minut temu, radar napisał:

Dokładnie, ale jaki mechanizm znajduje akurat te rejony i okolice?

Asocjacje. Reprezentacja dyskretnych konceptów (w tym obiektów) ma dyskretną fizyczną reprezentację w postaci podgrafów, które mogą pobudzać inne koncepcje.

Mózg nie jest po prostu "siecią neuronową", to system dynamicznie tworzonych sieci, rekurencyjny i zachowujący się jak neuronowy automat skończony - w którym stanem są aktualne aktywacje (pętle samowzbudzeń przechodzące w grafy), wejściem doświadczenia zmysłowe a funkcja przejścia jest realizowana przez te pobudzone obwody na podstawie wejścia.
Dokładne mechanizmy wciąż się bada.

14 minut temu, radar napisał:

Backpropagation w takiej postaci jaka jest obecnie stosowana w ANN jest IMHO minimum lokalnym.

Szkoda że przeoczył kolega ogromną ilość technik które sobie z tym radzą, najczęściej wprowdza się szumy który wybijają rozwiązanie z takich minimów.

18 minut temu, radar napisał:

Co nie oznacza, że inni nie szukają i nie znajdą alternatyw. Są alternatywy i będą nowe, wbrew temu co kolega mówi.

Jest całkiem odwrotnie, to neurobiolodzy powinni przysiąść na pupie i w końcu ustalić detale wstecznej propagacji błędów, a ogólniej uczenia gradientowego realizowanego bezpośrednio z użyciem połączeń używanych normalnie do działania/inferencji.'

3 godziny temu, radar napisał:

Podsumowując, nowy model Jarka może usprawnić proces uczenia

No cóż, na razie do niego nie dotarłem - sensie że nie zrozumiałem. Czytam sobieKAN: Kolmogorov–Arnold Networks, a to nie te czasy kiedy mogłem łykać kartkę A4 w kilka sekund - jestem w sytuacji gdzie bezpośrednio odczuwam skutki postępujących ubytków funkcjonalnych w mózgu :/ I jest ogromna różnica w jakości tych dwóch prac - na każdym poziomie. KAN jest łatwo zrozumiała, w odróżnieniu od od kolarzy asocjacji Jarka  Jarek niczego nie tłumaczy, nie wyjaśnia, przez co pojawiają się poważne wątpliwości czy tak naprawdę istnieje coś sensownego co można by wyjaśniać, czy to tylko "pomysł na pomysł".

Na 100% sieci działające w różnych kierunkach mogą mieć sens wyłącznie przy uczeniu, co wynika z architektury sieci i przepływu informacji. Byłoby skrajnie ciężko synchronizować działanie dużych układów które dodatkowo mogą sobie przesyłać dane w różnych kierunkach w trakcie normalnej pracy  - tak że nie ma prawa to działać w dużej skali, skończyłoby się epilepsją.

Natomiast może w małej, w przypadku pojedynczego neuronu - prawie na pewno, być może też w przypadku małych zbitek neuronów oraz w przypadku tworzenia sieci ad-hoc (hipotetycznego) przez astrocyty.

Generalnie dobrze by było przy uczeniu biologicznej sieci KAN, gdyby przy każdej sesji uczącej neuron mógł sobie zbierać statystykę błędów i potem dokonywał poprawek w funkcji phi w jednym podejściu, integrując wszystkie dane (w przypadku splinów rozwiązuje się układy równań). Biologiczny akson może być małą rekurencyjną siecią neuronową.

[venator 113]

10 godzin temu, peceed napisał:

Cały problem z biologią i medycyną polega na tym, że nie posiadają one teoretyków.

To chyba jednak trochę niesprawiedliwe co napisałeś, zwłaszcza w kontekście:

 

8 godzin temu, radar napisał:

Cały problem z teoretykami polega na tym, że czasami nie zwracają uwagi na praktykę

Chciałbym zwrócić uwagę na postać laureata Nobla, Willema Einthovena. Opracował teorię prądów czynnościowych serca i pola elektrycznego serca. A następnie na tej podstawie stworzył pierwsze EKG w historii. A więc teoria i praktyka..

Dziś takie zwykłe EKG wydaje się trywialne, ale w podstawowej diagnostyce to jest nadal złoty standard, absolutna podstawa w medycynie ratunkowej. 

I choć współczesne urządzenia są niezwykle zaawansowane, to nadal  podstawą są opracowania Einthowena, sprzed prawie 100  lat.

Edytowane 16 maja przez venator

[l_smolinski 29]

12 godzin temu, peceed napisał:

Impulsy w neuronach nie są przepływami ładunków.

Jak na fizyka to dość nieoczekiwane stwierdzenie w ogólności, że przez materię nie przepływają ładunki

Jednak przewodzi:

https://zpe.gov.pl/a/uklad-nerwowy/D7nf5jx0A

 

Cytat

Błona komórkowa neuronu posiada zdolność przewodzenia informacji w postaci impulsów elektrycznych (nerwowych). Impulsy dostarczane są przez dendryty do błony okrywającej ciało komórki nerwowej, a stąd biegną wzdłuż błony komórkowej aksonu do innych neuronów, mięśni, gruczołów. Wypustki neuronów nie stykają się bezpośrednio ze sobą. Dzieli je bardzo wąska szczelina, tzw. szczelina synaptyczna, przez którą przekazywane są impulsy z aksonu jednej komórki do dendrytu drugiej (lub z aksonu do np. komórki mięśniowej lub gruczołu). Połączenie aksonu komórki przekazującej impuls z błoną komórki innego neuronu przyjmującego impuls lub innej komórki przyjmującej impuls, nosi nazwę synapsy.

W przestrzeni synaptycznej informacja jest przenoszona za pośrednictwem substancji chemicznych zwanych mediatorami lub neuroprzekaźnikami. Wydziela je kolbowato rozszerzone zakończenie aksonu, a w błonie sąsiadujących z nim dendrytów znajdują się receptory, które pasują przestrzennie do neuroprzekaźników. Gdy impuls elektryczny dotrze do kolbkowatego zakończenia aksonu, do wnętrza szczeliny synaptycznej wydzielane są mediatory. Łączą się one z receptorami obecnymi w błonie komórki przyjmującej, co powoduje powstanie w niej impulsu elektrycznego przemieszczającego się dalej w kierunku jej aksonu.

Abstrahuję, od tego, że to nie tylko o ten przepływ się rozchodzi, tylko efekty jakie mu towarzyszą. 

Różnie sobie to ludziska malują:

https://www.researchgate.net/publication/312197795_The_effect_of_co-contraction_of_antagonist_muscles_on_recruitment_curve_during_transcranial_magnetic_stimulation

17 godzin temu, Afordancja napisał:

co masz na myśli mówiąc, 1d? Przecież są siedzi 2d 3d w zasadzie mogą być Nd

To sobie można rozpatrywać na różnych poziomach abstrakcji. 

Ogólnie połączenie między 2 neuronami degraduje się do odcinka w różnych opisach więc 1D. 

Sąsiad w standardowym modelu to taki neuron, który jest połączony bezpośrednio z drugim neuronem. Tu już jest problem ze zrozumieniem. Według mnie prawidłowa definicja sąsiada powinna iść w takim kierunku, że sąsiad to każdy neuron do którego jest wstanie dotrzeć fala EM będąca skutkiem przypływu ładunku między 2 neuronami. Taka fala propaguje sferycznie w ogólności. Co więcej sam proces absorbcji - emisji energii z takiej fali EM jest sferyczny i tak należy go postrzegać.

Na to się nakłada interferencja fal EM. Taka interferencja fal EM w ogólności prowadzi do powstania solitonów co istotne solitonów  w 3D.

No i co powiecie na to, że ów soliton w 3D może pełnić formę pamięciową np. ?  Oczywiście można iść dalej, ale już taka koncepcja daje wiele do myślenia, że nie materia tylko fale EM to świadomość, pamięć, analityka itd.  No a same neurony to tylko szkielet mocujący, utrzymujący i wzmacniający solitony. No bo przecież w mózgu tam jest jakaś niezmiennna minimalna wartość tego przepływu wzmacniana tylko przez procesy ogólnie mówiąc chemiczne. Tak więc istnienie tych solitonów to wydaje mi się wielce prawdopodobne, nawet mogą sobie to być fale stojące w ruchu, za dużo to nie zmienia co do idei.   

       

Edytowane 16 maja przez l_smolinski

[l_smolinski 29]

W dniu 15.05.2024 o 13:06, peceed napisał:

Wszystkie AI są trenowane z użyciem wstecznej propagacji, i co ważne - modele są ekstremalnie efektywne w stosunku do ilości parametrów.

No i dlatego te modele ani nie wiedzą po co to liczą, ani same nie potrafią zaprojektować wejścia nie mówiąc o zinterpretowaniu wyjścia.

Chociaż zaprojektowanie wejścia powinno być możliwe w jakiejś tam określonej definicji 'projektowania'.

Oczywiście jak się powie AI, że ma zaplanować zniszczenie ludzkości to ona to zrobi. Tylko ani nie będzie wiedziała po co to robi i co dalej

Reasumując tam po prostu nic nie ma. Model z lat 60 zostały zaimplementowane. Nie ma się co cieszyć z powodu wyrafinowanej koncepcji atraktorów. Powtarzane przepływy prowadzą w końcu do jakiegoś atraktora. Przydatne narzędzie jednak nadal nic tam nie ma. Sory, ale żadnego skynetu nie ma i nie będzie w oparciu o te modele.    

W dniu 15.05.2024 o 18:36, radar napisał:

Język jest modelem statystycznym, obraz (jaki znamy/doświadczamy) też, muzyka jeszcze bardziej, a te modele nie potrafią nic więcej, więc wytrenowane dość dobrze udają, że działają jak my, ale proces ich uczenia jest daleko niesatysfakcjonujący i niedoskonały. Ba, jest to proces modyfikowania połączeń bez wiedzy dlaczego tak a nie inaczej. Mózg tak nie działa. Jakoś "wie" co zapamiętać, a co jest nieistotne.

Ano, nie inaczej.

W dniu 15.05.2024 o 21:18, radar napisał:

Jak napisałem, z niektórymi teoretykami jest taki problem, że czasami wpadną w jakieś swoje minimum lokalne funkcji, które nawet sprawdza się w jakimś zakresie, ale przez to, że nie widzą w około innego rozwiązania to myślą, że to już minimum globalne, które akurat jest gdzieś indziej.

Lepiej nie dało się tego ująć. 

W dniu 16.05.2024 o 00:46, peceed napisał:

Asocjacje. Reprezentacja dyskretnych konceptów (w tym obiektów) ma dyskretną fizyczną reprezentację w postaci podgrafów, które mogą pobudzać inne koncepcje.

Ok, tylko tu rozchodzi się o właśnie o rokujacy model pobudzania. Nie widać go w koncepcji propagacji wstecznej czy nie wstecznej dla fizycznego modelu przepływu w neuronach. Przypomnę tylko, że to jednak mózg to potrafi a to co proponuje ludzkość to nie.

W dniu 16.05.2024 o 00:46, peceed napisał:

jestem w sytuacji gdzie bezpośrednio odczuwam skutki postępujących ubytków funkcjonalnych w mózgu

Spokojnie nikogo to nie ominie  

W dniu 16.05.2024 o 00:46, peceed napisał:

Byłoby skrajnie ciężko synchronizować działanie dużych układów które dodatkowo mogą sobie przesyłać dane w różnych kierunkach

No i to jest właśnie cała moc obliczeniowa mózgu, lecie to w 3D te moje hipoitetyczne interferujące i pobudzane solitony złożone z fale EM generowanych przez przepływ ładunku a to wszystko okraszone różną częstotliwością, mocą, odległością, przesunięciem w fazie itd. Nikt nie mówił, że będzie łatwo. No właśnie dlatego to wszystko działa w mózgu, że tej synchronizacji nie było. Tak naprawdę ten brak synchronizacji pozwolił ewolucji znaleźć w całej domenie te użyteczne narzędzia jak świadomość, analityka, planowanie itd. Ewolucja zrobiła resztę, bo okazało się to przydatne    

No i można by zrobić to zadanie ewolucyjne wrzucić na te nasze sieci neuronowe jakbyśmy umieli zdefiniować czego szukamy, a sieć umiała by to przeczesać. Niestety nie wiemy czego szukamy chyba nawet, zdefiniować też nie da rady.
Nawet jakbyśmy umieli to jednak ewolucja miała czasowo oraz ilościowo znaczenie lepsze zasoby niż ludzkość   

 

W dniu 16.05.2024 o 08:59, l_smolinski napisał:

No i można by zrobić to zadanie ewolucyjne wrzucić na te nasze sieci neuronowe jakbyśmy umieli zdefiniować czego szukamy

Chodzi mi o to, że nie potrafimy zdefiniować w zadowalający sposób funkcji oceny, abstrahując od innych problemów. Nie mamy też żadnego punktu zaczepienia na tyle sensownego co by nam ograniczył przeczesanie domeny. 

Reasumując, nie mamy nic. Ani narzędzi co by nam pomogły, ani dobrych koncepcji ani rokujących modeli, no może ten mój koncpet jest rokujący .  No co każdy ma prawo się rozmarzyć   

Według mnie krytyczny błędem jest twierdzenie, że neurony przekazują informację. Neurony zarządzają inicjalizacją procesów po przez przepływu impulsu (czyli generowaniem sferycznych fal EM). Same procesy odbywają się poza neuronem czyli na solitonach (złaczeniach fal EM z różnych przepływów między neuronami). Impuls po prostu steruje konfiguracją solitonów. Natomiast interferencja solitonów jest sednem procesów nazwanych przez ludzkość: świadomość, inteligencja, analityka i co tam jeszcze sobie po definiowaliśmy jako funkcje mózgu. Według mnie jest to bardziej rokująca koncepcja modelu pobudzania niż ta wynikająca z przepływu informacji między neuronami.  

 

Gdyby to było tak, że neurony przetwarzają informację, to już dawno byśmy to mieli, a nie mamy nic. 

Edytowane 16 maja przez l_smolinski

[radar 104]

Nie wyjaśnia to jednak jak twoje solitony wpływają na neurony. Akcje, w postaci "wykonawczych" impulsów nerwowych przekazywanych do efektora np. do ręki, są wykonywane jednak, a przynajmniej tak się wydaje, przez neurony. W takim wypadku jak solitony wpływają na wygenerowanie impulsu nerwowego? Czegoś tu brakuje

 

[l_smolinski 29]

22 minuty temu, radar napisał:

Nie wyjaśnia to jednak jak twoje solitony wpływają na neurony. Akcje, w postaci "wykonawczych" impulsów nerwowych przekazywanych do efektora np. do ręki, są wykonywane jednak, a przynajmniej tak się wydaje, przez neurony. W takim wypadku jak solitony wpływają na wygenerowanie impulsu nerwowego? Czegoś tu brakuje

 

Niczego nie brakuje. Absorbcja i emisja energii odbywa się w ramce solionowej początek i koniec ramki to neurony (sferycznie ileś tam neuronów).

0. Przepływ impulsu między neuronami generujący EM.
1. Interferujące solitony wyliczyły coś bo nowa porcja energii została dostarczona (wzrost energii rozszerza jakby zasięg solitonu przestrzenie - soliton wychodzi poza ramkę), a więc przyjął jakiś stan wzbudzony pod wpływem impulsu - soliton inaczej wygląda
2. Impuls się zakończy,  nie ma co podtrzymać wzbudzonego stanu.
3. Energia nie ginie, a ze względu na zmianę otoczenia soliton nie może utrzymać tego stanu wzbudzonego więc oddaje energię do neuronów, co generuje nowy impuls.
4. Finalnie stan solitonu po oddaniu jest inny niż przed (nie ma sensu teraz wymyślać dlaczego, można spokojnie dopuścić taką możliwość). Bo np. neurony mają teraz inna konfigurację. Inne natężenie prądu w spoczynku, inna lekko topologia cokolwiek, jest tego wiele co może być przyczyną.

Tak na szybko proces zapamiętania, przetwarzania i pobudzania, zdefiniowany  

Soliton ma jakąś zdefiniowany naturlany stan energetyczny interferuje z innym solitonem, nie może utrzymać tego stanu energetycznego jak impuls się zakończy i go oddaje do neuronów budujących ramkę solitonową - pobudzając przepływ. Koncepcja wzięta wprost ze stanów energetycznych w atomie    

Edytowane 16 maja przez l_smolinski

[peceed 127]

3 minuty temu, venator napisał:

I choć współczesne urządzenia są niezwykle zaawansowane, to nadal  podstawą są opracowania Einthowena, sprzed prawie 100  lat.

130. 100 lat temu dostał Nobla.

6 minut temu, venator napisał:

To chyba jednak trochę niesprawiedliwe co napisałeś,

To podsumowanie stanu faktycznego. Od czasu do czasu ktoś się trafia, ale w masie brak im odpowiedniego myślenia. Sprawa jest prosta - ile godzin matematyki jest na studiach medycznych -- i to wszystko w temacie. Teoria która działa to matematyka, i nie da się inaczej. Nie mylić z teoryami (czy pitoleniem).

3 godziny temu, l_smolinski napisał:

Jak na fizyka to dość nieoczekiwane stwierdzenie w ogólności, że przez materię nie przepływają ładunki

Jednak przewodzi:

https://zpe.gov.pl/a/uklad-nerwowy/D7nf5jx0A

Warto jeszcze rozumieć co autor miał na myśli, a nie tworzyć nieprawdopodobne elaboraty co mógłby mieć. Cała materia jest oparta o odziaływania EM, i to jest kontekst w którym trzeba rozumieć sedno mojej wypowiedzi.

 

[l_smolinski 29]

1 minutę temu, peceed napisał:

Cała materia jest oparta o odziaływania EM, i to jest kontekst w którym trzeba rozumieć sedno mojej wypowiedzi.

No i tak to rozumiem, ale z tym brakiem przepływu ładunku to przeszarżowałeś . Umówmy się, że jest przepływ energii tudzież zakonserwowanej jako ładunek. 

[peceed 127]

5 minut temu, l_smolinski napisał:

z tym brakiem przepływu ładunku to przeszarżowałeś

Taki komunikat w języku naturalnym w mózgu osoby ścisłej po prostu jest punktem startowym który mózg błyskawicznie dopasuje do "najbliższej" sensownej wartości semantycznej, natomiast u tzw. humaniści będą orbitować po wszystkich semantycznych wartościach dookoła niego, nie mając mechanizmów które pozwoliłyby im szybko odnajdywać te sensowne.

 

[radar 104]

28 minut temu, peceed napisał:

tzw. humaniści

Komuś chyba humanista na odcisk nadepnął

47 minut temu, peceed napisał:

ale w masie brak im odpowiedniego myślenia. Sprawa jest prosta - ile godzin matematyki jest na studiach medycznych -- i to wszystko w temacie. Teoria która działa to matematyka, i nie da się inaczej.

Jest z tym bardzo duży problem, w medycynie, biologii, a w psychologii to już w ogóle, to się zgadza, ale nie tyle brakuje im "całej" matematyki co logiki i narzędzi statystycznych. Raz, że mało kto na serio sensownie podchodzi do tematu organizacji, przeprowadzania i dokumentowania wyników w odpowiedniej formie ponad to co wymaga "instrukcja", to jeszcze same wnioski wyciągane z tych badań potrafią jeżyć włosy na głowie. Wiem, bo na co dzień mam do czynienia m.in. z badaniami klinicznymi.
Nie oznacza to jednak, że budując sobie model matematyczny na pewno mamy rację.

11 godzin temu, peceed napisał:

Szkoda że przeoczył kolega ogromną ilość technik które sobie z tym radzą,

Nie załapał kolega chyba przenośni. Narzędzia są, ale mało kto umie je stosować do siebie. Widać to np. po używaniu stwierdzeń "nie da się", "nie ma alternatyw", "to jest najbardziej optymalna metoda", itp. Na szczęście zawsze znajdzie się ktoś kto tego nie wie i to zrobi

Edytowane 16 maja przez radar

[l_smolinski 29]

54 minuty temu, l_smolinski napisał:

Soliton ma jakąś zdefiniowany naturlany stan energetyczny interferuje z innym solitonem, nie może utrzymać tego stanu energetycznego jak impuls się zakończy i go oddaje do neuronów budujących ramkę solitonową - pobudzając przepływ. Koncepcja wzięta wprost ze stanów energetycznych w atomie    

Na upartego można to postrzegać jako analogię do efektu casamira soliton na chwilę staje się niestabilną materią, po jakimś t rozpada się oddając energię z powrotem do otoczenia inicjalizując impuls w neuronach.