[mamamikazala]

Mam w głowie pewien projekt, który chce wykonać w ramach nauki javy i szeroko pojętych technologii internetowych. Rzecz w tym że nie do końca wiem jak to powinno wyglądać. Pytanie może trochę lamerskie i w internecie można znaleźć na ten jak i na każdy inny temat mnóstwo informacji, ale ja potrzebuje jakiegoś uporządkowania, jakiegoś szkieletu, wskazówek jakich technologii użyć, na jaki temat zacząć czytać.

Chcę aby:
- zbierał informacje ze stron
- tworzył rożne statystyki i wrzucał to na moją stronę
- można było łatwo modyfikować ustawienia czego ma szukać

Jak na razie wiem że za pomocą Selenium mogę napisać kod który będzie wypełniał pola na stronie i wyszukiwał informacje. Co dalej? Domyślam się że powinienem to zrobić w formie webserwisu? Coś mi się kojarzy że pewne rzeczy mógłby mi ułatwić Spring, tylko gdzie i do czego dokładnie powinienem go użyć?

#java #programowanie

[klepie-biede]

@mamamikazala: https://jsoup.org/

[newbie_235235]

@mamamikazala: Ja zrobiłem podobny projekt. Zamiast używać Selenium, skorzystaj z jakiegoś crawlera, coś na wzór scrappy napisanego w pythonie. Albo sam napisz prostego crawlera który będzie pobierał strony a Jsoup sobie będziesz wyciągał dane.

Co do wypełniania pól na stronie, prześledź jakie requesty są wysyłane (np. za pomocą firefoxa developer tools) i sam je wysyłaj bezpośrednio z aplikacji, bez korzysania z Selenium. Do tego celu możesz wykorzystać HttpClient Apache.