[rurek49]

BIG DATA: muszę na stud bazie opowiedzieć o jakimś przykładowym algorytmie za pomocą jakiego wyszukuje się informacji. Może ktoś co wie? Chociaż hasło podrzuci? Szukam i szukam i nic, a to na przedmiot który jako poboczny, więc to nie moja branża nawet :D

#programowanie #pytanie #informatyka #sztucznainteligencja #systemyekspertowe

[mk321]

@rurek49: kNN, k-means, Naive Bayes, PCA, klasteryzacja, regresja, drzewa, woda, ziemia, dwutlenek węgla, hemoglobina - taka sytuacja.

[Shiv]

@rurek49 google

[rurek49]

@mk321: dziękuje panie mk321. A wiesz może który jest najprostszy, tudzież najpopularniejszy? ( ͡° ͜ʖ ͡°)

[rurek49]

@Shiv: elektorda.pl może?

[Shiv]

@rurek49 google ogolem, nie wyszukiwarka

[rurek49]

@Shiv: O kurde. To sorry :D Dobry pomysł też :)

[Shiv]

@rurek49 przeproś mnie

[rurek49]

@Shiv: (・へ・)

[mk321]

najpopularniejszy

@rurek49: zależy od przyjętego podziału.
Według tego najpopularniejsza jest regresja: https://www.kdnuggets.com/2016/09/poll-algorithms-used-data-scientists.html (ale nic dziwnego jak cały Machine Learning z tego korzysta, to taki "ogólny" algorytm)

najprostszy

Też zależy. Są różne wersje i implementacje. Jeśli ma to być do celów prezentacji to ja bym wziął kNN lub k-means. Jest dużo materiałów, ładne wykresy powstają, da się zrozumieć. Jak wejdziesz w jakiegoś Bayesa, to się zakopiesz w matematyce.

A może PageRank przejdzie?

[rurek49]

@mk321: dzięki wielkie Mirku :)

Edit: popatrzę też na to PageRank. Gość od nas nie wymaga jakiś cudów to może też się nada :)

[biwalencik]

@rurek49 Wszystko co wymienili powyzej to nie algorytmy wyszukiwania informacji w big data. Zapoznaj sie z map reduce od hadoopa, albo jak dziala spark.

[rurek49]

@biwalencik: z tego co się już dowiedziałem to kNN to algorytm do klasyfikacji danych. Dlaczego miałby nie działać przy wielkich zbiorach danych?
Nie atakuje Cię czy coś, tylko się zastanawiam :P

[rurek49]

@biwalencik: @mk321: powiedziałem troszkę o kNN, troszkę o mapreduce i dostałem 5/5pkt, bo mówił że tyle wystarczy abym wiedział :D także dziękuje jeszcze raz :)

[biwalencik]

@rurek49 No wiec wszystko jasne. Big data sa przechowywane w bardzo charakterystyczny sposob. Mamy niejako dwie warstwy (w uproszczeniu):
1. HDFS (system plikow hadoop)
2. MapReduce - warstwa wyszukujaca i agregujaca informacje z nodow HDFS.

Sadzilem, ze to o ten algorytm do znajdowania danych/ informacji w rozproszonym systemie plikow Ci chodzi. Tobie zas chodzilo o roznorodne algorytmy obrobki danych. Niekoniecnie tych big.

[rurek49]

@biwalencik: tzn facet z którym mam zajęcia powiedział to co i Ty mi pisałeś o kNN, lecz uznał że też służy do obróbki danych, więc możemy do celów prezentacji uznać że kNN mieści się w temacie. Mimo wszystko, tak jak piszesz. MapReduce to typowo algorytm pod Big Data :)