[wiecek3]

Uczyłem się ostatnio trochę webscrapingu. Jakie ciekawe i unikatowe dane mogę ściągnąć żeby poćwiczyć?
Zależy mi, żeby takie dane można było potem w ciekawy sposób analizować, a najlepiej jeszcze zrobić na ich podstawie jakiś model uczenia maszynowego.
Wymyśliłem sobie ściąganie informacji i cen używanych aut oraz mieszkań. Udało mi się już to zrobić, ale takie dane są lekko oklepane. Co jeszcze ciekawego zostało z najlepiej polskich stron internetowych?
#scraping #datascience #python

[croppz]

@wiecek3: zajrzyj na kaggle, coś sobie znajdziesz

[wiecek3]

@croppz: właśnie kaggle chcę uniknąć, bo tam datasety są już opracowane przez inne osoby, a ja chcę zrobić swój unikatowy, ciekawy zestaw

[ProfesorBigos]

@wiecek3: pozbieraj dane z wykopu, np dla każdego znaleziska lub wpisu listę zwartych tagów, datę dodania, liczbę komentarzy i plusów, a potem zrób model szacujący popularność na podstawie takich danych

[blazek]

@ProfesorBigos: to jest źródło ciekawych danych
https://meteomodel.pl/aktualne-dane-pomiarowe/?data=2020-04-07&rodzaj=st&wmoid=12375&dni=03⩝=desc

[wiecek3]

@ProfesorBigos: ej, to jest świetny pomysł! Dziękuję serdecznie, czegoś takiego potrzebowałem! Teraz tylko muszę się zabezpieczyć kilkoma proxy zanim zacznę scrapować, bo jak dostanę bana na wykop to nie wiem co zrobię xD

[dziekuje]

@wiecek3: Ja scrappowałem wypok tysiącami zapytań i żyje. Chyba tylko raz bana dostałem za pulsowanie xD.

[barteb]

@wiecek3: jakieś dane sportowe, typu historyczne i bieżące wyniki meczy, indywidualne statystki, tego jest pełno w internecie