[thebigshort]

Mam jakieś 1k linków do aukcji konkurencji (docelowo pewnie bym chciał do 10k aukcji) z których chcę pobierać dane do raportu w PowerBI, dokładnie cenę i ilość (albo prosto do PowerBi albo przez skrypt pythona i wtedy do PowerBI).

Nie interesuje mnie moment pobrania tych 1k-10 aukcji, bardziej interesuje mnie kwestia odświeżania danych, czyli ceny oraz ilości.

Czy allegro szybko wyłapują takie ruchy przy takiej ilości? Jakiś sposób na obejście, sprawdzone metody? Czy opóźnienia pobierania coś dają? Co jaki czas odświeżać i kiedy? itp.

Jest komercyjne rozwiązanie, ale ono niestety wyszukuje tylko po EANie, ale może ono kogoś zainspiruje jak ktoś inny to rozwiązał.
https://baselinker.com/pl-PL/pomoc/wiedza/sprawdzanie-cen-konkurencji/

#allegro #ecommerce #scraping #webscraping #programowanie #powerbi

[okrupnik]

@thebigshort: jak pobierasz dane aukcji z tych linków? kolega pyta ( ͡° ͜ʖ ͡°)

[odysjestem]

@thebigshort potrzebujesz pewnie proxy i odpowiednio dużej puli IP

[junus123]

@odysjestem: a po co to ukrywać wgl? Czy to zabronione sprawdzać konkurencję?

[fiddle]

@junus123: Wszystkie strony blokują dużą liczbę zapytań i odpowiadając @thebigshort - tak, do minuty (max kilku, zależy od ilości zapytań) Cię wyłapią i będzie captcha. Oczywiście da się obejść, ale do tego potrzebujesz zainwestować w rotator z przyzwoitą pulą.

[NieoznaczonaReklama]

@fiddle: ja na vpn pobieram skryptem aukcje z kategorii od kiedy zablokowali API i wyłapuję bana z raz na miesiąc i wystarczy zmienić serwer... Także jak czegoś nie robisz i nie masz pojęcia to po co pleciesz głupoty?

[fiddle]

@NieoznaczonaReklama: Misiek, nie wiem co i na jaką skalę przerabiasz. Tu masz zrzut ode mnie z jednego miejsca.

[thebigshort]

@NieoznaczonaReklama: polecasz jakiś konkretny VPN?

[null0ne]

Ja mam nowe rozwiązanie, całkowicie omija limity, dane zawsze aktualne i czas odpowiedzi ok 400-700ms

Jeśli ktoś zainteresowany mogę podesłać demo na testy
[e-mail]