Wszystko

Wszystkie

Archiwum

xDrope
xDrope
  • 0
Czy macie jakieś materiały o budowaniu kompleksowych crawlerów? Zacząłem zagłębiać się w temat, ale cały czas są jakieś ale. Chciałem napisać kilka crawlerów obsługujących także SPA i SSRy, wyciągnąć dane, wrzucić do bazy, a cały projekt umieścić na jakimś serwerze i odpalać cyklicznie. Trafiłem na Scrapy'ego, ale do JSa potrzebuje Splasha lub Selenium i nie mam pewności czy to dobry kierunek. Poratuje ktoś stackiem + tutorialem w tej materii? Dzięki
#programowanie #
destyl
destyl
  • 3
Podczas zapisu do bazy mam dzinwe kodowanie ( swoją drogą query tez ma dzinwe ), wrzucam do bazy:

INSERT INTO announcments (title) VALUES ( 'Pokój 7,5M2 Warneńska,WOLNE OD ZARAZ')
a w bazie faktycznie ląduje taka wartość

Pokój 7,5M2 Warne?ska,WOLNE OD ZARAZ
Da sie coś z tym zrobic?

#python #mysql #programowanie #webdev #crawler
januzi
januzi
  • 1
@destyl: Jak to Twoja baza, to przestaw debilny latin1swedish na globalny utf8; wtedy każda nowa tabela będzie miała domyślnie utf8 w kolumnach tekstowych i nie będziesz musiał martwić się o ciągłe poprawianie
  • Odpowiedz
B.....s
B.....s
  • 1
#informatyka #komputery #programowanie #webdev #crawler

Czy jest może jakieś rozbudowane narzędzie do monitorowania stron? Jest kilka robotów internetowych (spider-web,crawler)... Ale mnie interesuje coś co podniesie alarm, gdy na danej stronie pojawi się dane słowo. Może takie coś się jakoś nazywa inaczej niż myślę? Podaje adres strony, a gdy pojawi się na nim np. "dupa120" to będzie się coś działa np. wywali okno z napisałem, znalazłem czy coś w tym stylu.. Głównie interesuje