[ElMatadore]

Powazne pytanie do apologetow teorii dot. AGI, jakie metody matematyczne mialyby stac za potencjalnym AGI? Jak to widzicie od strony fundamentalnej? #ai #programista15k #informatyka #matematyka

[zibizz1]

@ElMatadore to co dziś tylko bardziej. Zarówno ważna jest algebra czyli wektory i macierze wielowymiarowe, analiza aby przyspieszac obliczenia poprzez analityczne pochodne zapewniające efektywne uczenia, algorytmy zapewniające stabilność kilkudziesięciu warstwowych sieci( a w przyszłości tysięcy) i eksperymentalne tworzenie nowych architektur

Ale żeby dojść do AGI potrzeba jeszcze 2 rzeczy
1. Prostsza sprzętowa implementacja operacji mnożenia i dodawaniu, przez opór, napięcie i natężenie
2. Sprzętowa implementacja architektury (po udanym uczeniu można produkować dany

[ElMatadore]

@zibizz1: to dalej musialoby operowac w obszarze LLMow ktore sa ograniczone do przetwarzania jezyka naturalnego. LLMy moga byc co najwyzej skladowa takiegoz AGI. To co mowisz to sprowadza sie do zwiekszenia mocy przerobowych i ilosci danych modeli, ale one caly czas beda w naturalny sposob ograniczone aparatem matematycznym. Prove me wrong

[zibizz1]

@ElMatadore to będzie na pewno wielka sieć neuronowa. Język wyjdzie naturalnie bo wsadem będzie tekst, audio oraz video. Na wyjściu sam nie wiem ale pewnie tekst, może też jakiej na video/audio, self-attenion w buforze, żeby skompresować i wrzucić np ostatnie 10-60 minut takiego strumienia danych to trzeba naprawdę dużo mocy

[ZdeformowanyKreciRyj]

ale one caly czas beda w naturalny sposob ograniczone aparatem matematycznym

@ElMatadore: Czemu problemu doszukujesz się akurat w aparacie matematycznym? Mając dostatecznie mocny model obliczeniowych pod względem siły wyrazu jak i wydajności moglibyśmy zasymulować realny mózg a nie to co teraz. Nie ma jakichś większych powodów żeby to miało nie zadziałać bo i aktualnie nie ma powodów dla których duże modele miałyby być jakkolwiek ograniczone, przecież mamy twierdzenia o uniwersalnej aproksymacji

[JamesJoyce]

@zibizz1 w jaki sposób sieć neuronowa stworzy model świata? Jak oduczy się halucynować? Jak uzyska realną multimedialność? Jak nauczy się interakcji ze światem fizycznym? Takich pytań jest znacznie więcej.

Pamiętaj, że ludzie uczą się z bardzo małej liczby przykładów. Sieć neuronowa jest tego przeciwieństwem. Potrzebuje ona wielkiej ilości danych. Ale nawet mimo posiadania ich, obecne architektury są opakowaną w hajp funkcją przewidywania następnego słowa/pasującego obrazu. Niczym więcej, niczym mniej.

Co do pytania

[ElMatadore]

@zibizz1: @ZdeformowanyKreciRyj potezne LLMy to mamy tu i teraz i jak widac te modele sa uzyteczne, ale jak kazdy model - bledne. One nie beda sie stawac jakies znaczaco lepsze w tym co teraz robia, a same np. LLMy sa ograniczone do interpretacji tekstu czytanego, nie potrafia myslec jak czlowiek tylko aproksymuja twierdzenie na bazie inputu, bez wiekszego wnioskowania logicznego. Jakie konkretnie modele moglyby wiec sluzyc do suplementacji potencjalnego AGI? A

[zibizz1]

@ElMatadore obecnie wnioskowanie tworzy się tak że to co sieć wyprodukowała (tokeny wygenerowane przez model) staje się wejściem do tego aby wygenerować kolejny token. Takich sprzężeń musi być więcej. Czyli jeśli poprosisz o przygotowanie prezentacji to najpierw powinien powstać plan/spis treści a potem uzupełniają punkty treścią. Najpierw szukasz informacji a potem tworzysz prezentację. I właśnie żeby takie coś zachodzilo potrzeba jakieś nowej architektury.

@JamesJoyce model nie halucynuje tylko konfabuluje, zdarza się to

[JamesJoyce]

@zibizz1: Uczenie się chodzenia nie ma wiele wspólnego z uczeniem się języka.

nie trzeba już tak dużo danychy nauczyć się czegoś nowego

Ale czego nowego? Jak działa świat? Dlaczego jak przełożymy długopis z jednej części blatu na drugi to dzieje się x,y,x czy jednak nowego, w rozumieniu: znam 20 marek samochodów, a dzięki finetuningu poznam kolejne 10 na podstawie wiedzy, którą już posiadam? Bo chyba jednak to drugie.

To trochę tak

[zibizz1]

@JamesJoyce no właśnie chodzi o to że odpowiednio duża sieć neuronowa rozumie. Na pierwszych warstwach potrafi ocenić słowa Pitagoras, trójkąt, prostopadły, kąt potem całe zdania i wzbudzić w kolejnych warstwach rejony odpowiedzialne za rozumienie tego twierdzenia i zastosować je w danym przykładzie.

Jeśli wprowadzasz coś nowego to w niewytrenowanej sieci musisz zmodyfikować kilkadziesiąt warstw, natomiast w wytrenowane sieci wystarczy istotne zmiany wystarczy wprowadzić gdzieś w środku, jeśli gradient jest znormalizowany to silniej

[JamesJoyce]

@zibizz1 podaj dowody na to, że sieć neuronowa rozumie cokolwiek. Najlepiej w postaci artykułów opublikowanych w recenzowanych czasopismach.

Nie twierdzę, że to magia. Trenuje sieci neuronowe od lat i wiem jak działają. Gpt4 nie rozumie kompletnie nic.

[zibizz1]

@JamesJoyce sieć neuronowa na podstawie ogromnego zbioru danych potrafi ocenić kontekst słów tekstu wsadowego, przeanalizować to i generować tekst który jest zgodny z wiedza zawarta w danych treningowych. Nie ma żadnych publikacji które nazwały by to świadomym rozumieniem bo taki LLM bezmyślnie dokłada kolejne najbardziej pasujące słowo. Nie ma czegoś takiego jak myślenie przyczynowo skutkowe czy wnioskowanie. To tylko generowanie tekstu na podstawie wzorców odkrytych w danych treningowych. Sieć nie rozumie fizycznych

[pure_function]

@JamesJoyce: ty chyba nie rozumiesz, co to znaczy "rozumiec".

[JamesJoyce]

@pure_function co to znaczy „rozumieć”?

[JamesJoyce]

@zibizz1 najpierw napisałeś:

„Odpowiednio duża sieć neuronowa rozumie”

Po prośbie o podanie publikacji, które tego dowodzą, zmieniasz zdanie i jednak sieć nie rozumie, a jak rozumie to „w sposób inny niż ludzki”.

W jednym masz racje. To tylko generowanie najbardziej prawdopodobnej odpowiedzi, na podstawie jakiejś funkcji. Funkcja ta przewiduje kolejne słowo. I tyle. W jaki sposób skalowalność tego procesu stworzy Agi?

Poza tym, byku, ale jeśli ai będzie w stanie grać w

[pure_function]

@JamesJoyce: nie da sie zdefiniowac "rozumienia" inaczej niz operacyjnie/behawioralnie (ale wtedy LLMs tez pod to podpadaja) lub fenomenologicznie (ludzie maja "doswiadczenie rozumienia", ale cala fenomenologia sprowadza sie do bitow informacji). w drugim przypadku LLMs moga emulowac rozumienie (bo to tylko bity informacji), co z praktycznego punktu widzenia nie rozni sie od ludzkiego rozumienia, jesli chodzi o mozliwosc rozwiazywania problemow, uczenia sie itp.

[zibizz1]

@JamesJoyce Ja cały czas uważam że rozumie. Tylko pokazuje że dyskusyjne jest znaczenie słowa rozumienie. Uważam że jest to bezmyślne nieświadome rozumienie, taki LLM zamienia słowa i zdania na abstrakcyjne twory i potrafi na nich poprawnie operować. Jak bardzo dobrze wykuty głąb. Tak, uważam że chat GPT 4 potrafi zagrać w grę jeśli wytłumaczysz mu zasady używając pojęć które rozumie, bazując na mechanikach z innych gier. Problem jest z tym żeby uwierzyć

[JamesJoyce]

@pure_function: Da się. Tylko Ty za bardzo redukujesz. Jest jeszcze podejście hermeneutyczne, konstruktywistyczne czy pragmatyczne.

Poza tym, istnieją jeszcze głębsze problemy z prostą redukcją rozumienia ludzkiego i maszynowego, np. tzw. problem ugruntowania symbolicznego https://en.wikipedia.org/wiki/Symbol_grounding_problem czy problem stochastycznych papug https://en.wikipedia.org/wiki/Stochastic_parrot

[JamesJoyce]

@zibizz1: Ok, ale uważasz tak na podstawie jakichś badań? Bo takich nie ma.

[Pasterz30]

@ZdeformowanyKreciRyj: @ElMatadore zeby to dzialalo to musialaby byc realna kopia lidzkiego mozgu. I nie, nie przyjmowalby tekstu, video itd, musialby byc uczony dokladnie tak jak ludzki mozg, od etapu dziecka, budowac polaczenia neuronowe bazujac na prostych bodzcach, wzrokowych, sluchowych itd. W innym wypadku nie mozemy mowic o swiadomosci i prawdziwego AGI a jedynie kolejnym, troche wiekszym chatem gpt. Nie jestesmy nawet blisko takiego rozwiazania

[zibizz1]

@JamesJoyce Uważam tak na podstawie używania od roku chat GPT 4, Analizując jak to działa nikt nie stwierdzi że on coś rozumie, przecież to zwykła funkcja matematyczna.
Ale ta funkcje matematyczna potrafi logiczne wnioskować, może na dość niskim poziomie i nie jakieś skomplikowane rzeczy ale potrafi