[A.....5]

@Sinity: szkoda, że model nie jest ogólnodostępny na licencji mit, bo by zaoszczędził mi jakiś rok pracy...

Ale wtedy pisowskie trollw podbiłyby twittera do końca...

[A.....5]

@Sinity: swoją drogą wiele technik NLP zwraca/korzysta z uniwersalnych modeli.

Google Translate ma pod spodem model w 'sztucznym' języku, a badania nad word2vec'iem wykazały, że dane słowa oraz ich tłumaczenia, jeśli wyuczysz model na korpusach różnych języków, będą blisko siebie w wygenerowanej przestrzeni.

[Sinity]

@AlBundy95: No szkoda że nie udostępniają. Nawet API na razie jest zamknięte (i niestety ale nie dali dostępu na podstawie "bo chce się tym pobawić" ani "jestem studentem"; nie żebym oczekiwał że to zadziała)

Nie wiem do czego tego potrzebujesz; ale możliwe jest że albo to przyszłe API albo nawet AI Dungeon by wystarczyło? AI Dungeon to teoretycznie "gra" ale w praktyce można wrzucić dowolnego prompta (jak tutaj); tyle że

[Sinity]

@AlBundy95: To o czym mówisz w sumie nie jest zaskakujące; nie ma nic specyficznego dla j. ang. w metodzie trenowania, więc jeśli dane treningowe zawierały sensowną ilość tekstu w innych językach to jak najbardziej powinno to działać. Nie spodziewałem się że na tyle polskiego tam rzeczywiście będzie.

Chociaż w sumie zasada jest raczej inna niż opisałeś w tym przypadku; GPT ma przewidywać kolejne tokeny na podstawie kontekstu ("poprzedniego" tekstu). Więc

[A.....5]

Word2Vec to trochę coś innego, niż rozwiązania podobne do GPT. Natomiast założenia poczynione przy konstruowaniu są podobne.

Word2Vec zwraca wektory per słowo. Przestrzeń, w której znajdują się wektory, generowana jest na podstawie powiązań między słowami w tekście. I teraz w zależności od podejścia (główne to są skipgram i cbow, w skrócie przewidywanie słowa na podstawie otoczenia lub przewidywanie otoczenia na podstawie słowa) uczy się w różny sposób. Cechą takich wektorów jest to,

[Sinity]

@AlBundy95: Jasne; trochę koślawo napisałem to co miałem na myśli; w zasadzie chodziło mi tylko o to że znajomość polskiego przez GPT-3 nie powinna być zaskakująca gdy metoda uczenia nie jest zależna od samego j. ang. - jak dane są w różnych językach to można spodziewać się podobnej poprawności w j. innych niż ang.

Tak, wg. sposobu działania który opisujesz rzeczywiście "łatwiej" o niezależność od języka.

PS: nie spodziewałem się

[gekon_polepositionowy]

Główne hasło kampanii to: "Byłem, jestem, będę".

@Sinity: piękne :D

[Sinity]

@gekon_polepositionowy: W sumie powiem ci że nad tym hasłem się głębiej nie zastanowiłem wcześniej. A ono przypisane do Dudy jest przerażające & trafne.