Odkryto wsteczną propagację w neuronach (z 10-15 lat temu). To najważniejsze odkrycie odnośnie funkcjonowania mózgu w ostatnim półwieczu, i jakoś nie zdobyło szerszego rozgłosu. Detali nie pamiętam ( było ich zresztą bardzo mało) poza faktem, że jest znacznie słabsza niż propagacja w przód. Szkoda że tak późno, oszczędziłoby to mi bardzo wiele czasu zmarnowanego na szukanie zastępnika w sytuacji, gdy to właśnie wsteczna propagacja błędów jest najlepszym algorytmem z "hardwarowego" punktu widzenia. Generalnie szukałem sieci do trenowania sieci, mogących zastąpić wsteczną propagację. Czyli jakaś "ubersieć" pomaga tworzyć detale małych sieci.
Teraz (czyli do momentu gdy mogłem się jeszcze zajmować takimi tematami) mam całkowicie odwróconą wizję - to wsteczna propagacja emergentnie tworzy struktury pobudzeń które mogą być analizowane za pomocą innych sieci.
Rozumiem że to pochodna rozmyślań o dwukierunkowych komputerach kwantowych
Największym problemem są szczeliny międzysynaptyczne, ich mechanizm działa w jedną stronę. Natomiast w ramach skomplikowanych nieliniowych struktur obliczeniowych w ramach jednego neuronu biologicznego obustronne wyładowania mogą być powszechne i kluczowe.
Jedynym widocznym (co jest prawie tożsame z "możliwym") rozwiązaniem obejścia problemu jednokierunkowego funkcjonowania szczeliny międzysynaptycznej są astrocyty, które co do zasady mogą tworzyć "mostki", a może nawet bardziej skomplikowaną strukturę zajmującą się propagacją wsteczną. Idea sieci uczącej inne sieci może być ekstremalnie niskopoziomowa, a dodatkowa sieć ucząca nie musi być neuronowa w sensie biologicznym.
Trudno aby nie - nie ma zatem zasobów aby sygnały mogły się poruszać w obu kierunkach bez wzajemnych zakłóceń, jeden niszczy polaryzację potrzebną drugiemu.
Najważniejsze jest jednak to, że potencjalna dwukierukowość pozwala wykorzystywać identyczny schemat rozwojowy (neuron z mózgu wypuszcza akson) zarówno do czucia jak i sterowania ruchem, przez co drobne mutacje mogły dramatycznie zmieniać funkcjonalność podobnie budowanych połączeń.
Działa działa. Poruszanie się po gradientach jest zbyt szybkie aby dało się zastąpić czymś innym, a wsteczna propagacja błędów jest idealnie dopasowana do właściwości mózgu. Na niskim poziomie (połączeń) nie ma żadnej introspektywności, więc jedynym obiektem który niesie informację o połączeniu neuronowym może być owo samo połączenie. Bardziej zaawansowane algorytmy uczące wymagają znajomości struktury sieci, podczas gdy wsteczna propagacja po prostu przekazuje informację do tyłu nie dbając o szczegóły których nie może znać.
Wszystkie AI są trenowane z użyciem wstecznej propagacji, i co ważne - modele są ekstremalnie efektywne w stosunku do ilości parametrów. Ludzkie mózgi wciąż zawierają znacznie większą ilość niskopoziomowych informacji, natomiast zdają się być słabo uczone na tym najniższym poziomie. Możliwość stosowania milionów powtórzeń jest jednak nie do pobicia, również precyzja cyfrowa musi poprawiać działanie - stosujemy pseudolosowość gdy chcemy, ale nie jesteśmy na nią skazanie cały czas.
Oczywiście są też inne całkowicie ortogonalne mechanizmy, przypominające dobór naturalny i mechanizmy rynkowe - generalnie każda część mózgu stara się robić absolutnie wszystko, ale te działania są powstrzymywane przez sukces lepiej realizujących określone zadanie rejonów i brak "dopaminowej zapłaty". Przejmowanie funkcjonalności po utracie pewnych rejonów mózgu jest całkowicie "emergentne". Jest to kluczowe dla powstawania różnych architekturalnych udoskonaleń, rejon który je posiada po prostu naturalnie wygrywa rywalizację z tymi które go nie posiadają. Ale nic nie jest wyryte w kamieniu, i czasami ośrodki znajdują się w "nieodpowiednich" miejscach.