Wpis z mikrobloga

Cześć #machinelearning. Mam zbiór około 80 tys. notatek - średnio każda ma stronę A4. Chciałbym analizować czy coś jest fake newsem czy nie, korzystając z modelu BERT do #nlp. I mam pytanie czy dobrze rozumiem jak to miałoby działać: tokenizuje notatke, dodaje te tokeny specjalne cls i sep, zamieniam to na wektory wrzucam w berta i dostaje w outpucie tez wektory. To dopiero muszę wsadzić do np. modelu regresji logistycznej? Czy jest szansa potem na jakąś sensowną analize tego? Bo czysto teoretycznie BERT działa jak czarna skrzynka, ale czytałem że są takie metody jak Integrated Gradient czy tsne żeby zobaczyć na jakie słowa model zwracał bardziej uwagę, ale czy dla tak długich notatek się to sprawdzi? Dzięki za podpowiedzi! (ʘʘ)

#programowanie #programista15k #naukaprogramowania #bigdata #sztucznainteligencja #deeplearning #python
  • 6
Masz rozpoznać czy coś jest prawdą lub fałszem. W takim razie bierzesz model_A (w tym przypadku BERT), ten model generuje ci wektor X^n dla każdej notatki. Teraz pozostaje Ci tylko zrobić klastrowanie/porównianie przy pomocy jakiejś metryki czy dana notatka ze zbioru testowego jest fakiem czy nie. Radzę jednak otagować trochę danych przynajmniej w zbiorze testowym :)