[JamesJoyce]

#ai #chatgpt #sztucznainteligencja #programista15k #programowanie

Ciekawi mnie to, jak OpenAI odpowie na oczekiwania użytkowników, którzy chcą coraz lepszych modeli w każdej kolejnej iteracji. Nie chodzi nawet o to, że model muszą być "tylko" lepsze. Muszą one być "wyraźnie" lepsze. Tzn, musi to być zauważalne przez zwykłego użytkownika. Płaci on przecież za subskrypcję i wymaga, by zadanie, które do tej pory, przy modelu gpt-x rozwiązywane było np. z jakością j, w modelu gpt-x+1 rozwiązywane było z jakością j+1.

Skok jakościowy między gpt-2 a gpt-3 i gpt-3 a gpt-4 był ogromny, ale też relatywnie prosty do osiągnięcia (dla OpenAI). Tylko co dalej? Moc obliczeniowa jest skończona. Dane treningowe najprawdopodobniej nie będą już jakości podobnej do tej, która stanowiła 100% zbioru treningowego gpt-4 (prawa autorskie, rosnąca świadomość tego, że firmy używają danych "za darmo" oraz rosnąca ilość śmieci produkowanych przez llmy). Do tego dochodzą nowe papery, jak ostatni od MS, wskazujące wbrew temu, co firmy tech chcą, żebyśmy wierzyli, że llmy na ten moment nie wskazują możliwości uogólniania poza dane treningowe https://arxiv.org/abs/2311.00871.

Myślę, że OpenAI będzie szło bardziej w stronę specjalizacji i modeli szytych na miarę, niż coraz większych llmów. Plus będą wsadzać swoje modele gdzie tylko się da. I tak przez pewien czas. Aż do przełomu.

[JayCube]

Muszą one być "wyraźnie" lepsze.

@JamesJoyce: Niestety w życiu, jak i w hi-tech jest tak ze po gorce następuje stagnacja, dopóki nie pojawi się następna disruptive technology.

[WaveCreator]

@JamesJoyce: Co dalej? Nic. ChatGPT "dla mas" służył nakręceniu hype'u i wyciągnięciu hajsu od inwestorów. Teraz zacznie się tworzenie modeli wyuczonych na wąskich zbiorach specjalistycznych danych na potrzeby różnych branż.

Co jest do wszystkiego to jest do niczego - ale jak stworzysz podobny model wyuczony wyłącznie na np. instrukcjach do różnych samochodów i bazie części zamiennych, to może powstać świetne narzędzie dla serwisów samochodowych. Itp. itd. Sky is the limit -

[zibizz1]

@JamesJoyce:

Płaci on przecież za subskrypcję i wymaga, by zadanie, które do tej pory, przy modelu gpt-x rozwiązywane było np. z jakością j, w modelu gpt-x+1 rozwiązywane było z jakością j+1.

W modelu gpt-x+1 wystarczy j . Byle nie było j-1 albo j-4 jak czasem się zdarza, bo średnio moze być lepszy ale w niektórych zagadnieniach dużo gorszy

[m-mmmm_marysia]

@JamesJoyce:

wyraźnie lepsze

kolejna iteracja j + 1

j = 1000

kolejna iteracja: j = 1000 + 1 = 1001

usprawnienie między iteracjami to 1 promil.

no kurdebele nie wiem, nie wiem byku

[JamesJoyce]

@m-mmmm_marysia: tak, właśnie o to mi chodzi. W przypadku gpt3 +1 to wyraźna różnica. W przypadku gpt100 już nie.

[m-mmmm_marysia]

@JamesJoyce: zakładasz zależność liniową, jesteś pewny, że taka była zależność w iteracjach gpt-1, -2, -3, -4? ja też tego nie badałem, ale intuicja podpowiada, że zależność między dokładnością a generacją jest wykładnicza. zresztą to takie chłopsko-rozumowanie, bo nikt nie wie czy będą (i jakie) przełomy za ileś lat, np 10.

tldr; wróżenie z fus(s)ów

[JamesJoyce]

@m-mmmm_marysia: nie no wiadomo, że nie j+1 to nie jest dokładna matematyczna zależność liniowa, opisująca wzrost jakości modelu. Między kolejnymi wersjami występowały różnice, które można opisać za pomocą wielu innych zmiennych. Chodzi mi o odczucia użytkownika biznesowego, dla którego każda kolejna wersja jest lepsza od poprzedniej, co tworzy jakiś trend, który moim zdaniem będzie trudno utrzymać.

[nad__czlowiek]

Moc obliczeniowa jest skończona

@JamesJoyce: komputery kwantowe, kubity, mówi ci to coś? Krzemowe procesorki to żadna moc obliczeniowa, to jak deskorolka. Komputery kwantowe to jak samochód sportowy.

Więc samo dopracowanie komputera kwantowego zapewni większą moc obliczeniową i lepsze modele

[JamesJoyce]

@nad__czlowiek: I gdzie te komputery kwantowe? Jakoś nadal ich nie widać. Poza tym, masz jakieś badania, które wskazywałyby, że na komputerach kwantowych da się wgl. trenować modele językowe?

[Flutter_M_Shydale]

Więc samo dopracowanie komputera kwantowego zapewni większą moc obliczeniową i lepsze modele

@nad__czlowiek: U progu dopracowania komputera kwantowego to byliśmy jakieś 10 lat temu, ale jakoś wiele się przez ten czas nie zmieniło.

[Pokojowy_Borsuk]

@JamesJoyce: kwestie AI przy komputerach kwantowych porusza Wojtek Burkot w czwartym odcinku podcastu "Poziom Niżej" od firmy Semihalf. Jeżeli chcesz uzyskać odpowiedź na to pytanie to polecam przesłuchać od 1:51:00 mniej więcej.https://open.spotify.com/episode/1gqHID6r9nAInqW8R87UUO?si=4Jt02GLURv6EoEZ5nj7hkA

[nad__czlowiek]

@JamesJoyce: no to chyba ślepy jesteś, bo google, IBM od lat z nich korzysta i dopieszcza technologie. Do tej pory musiały one dzialać w bardzo niskich temperaturach ale z czasem się to zmienia i jest coraz lepiej

[nad__czlowiek]

Ciekawi mnie to, jak OpenAI odpowie na oczekiwania użytkowników, którzy chcą coraz lepszych modeli w każdej kolejnej iteracji. Nie chodzi nawet o to, że model muszą być "tylko" lepsze. Muszą one być "wyraźnie" lepsze. Tzn, musi to być zauważalne przez zwykłego użytkownika. Płaci on przecież za subskrypcję i wymaga, by zadanie, które do tej pory, przy modelu gpt-x rozwiązywane było np. z jakością j, w modelu gpt-x+1 rozwiązywane było z jakością j+1.

[JamesJoyce]

@nad__czlowiek: poproszę o dowody w postaci publikacji.

[JamesJoyce]

@nad__czlowiek: Nie no jasne. Zgadzam się. ChatGPT też w dużej mierze był świetnie sprzedanym produktem. Model, ktory miał pod spodem w momencie premiery, czyli GPT-3 dostępny był znacznie wcześniej. Dopiero dotrenowanie do na rl z ludzkim feedbackiem i udostępnienie za darmo w postaci czatu zrobiło robotę. Teraz jednak, kiedy inwestorzy poznali możliwości i obietnice sam marketing chyba nie wystarczy. A może się mylę. Sam nie wiem.