[J.....L]

#naukaprogramowania #python próbuję odpalić beautiful soup na gumtree.co.uk ale niestety pojawił się błąd. Czy spotkał się ktoś z podobną sytuacją ?

[GaiusBaltar]

@JungleJamPL: Pewnie serwer blokuje Cię po user agencie, gumtree raczej nie lubi botów, i łapiesz się na najbardziej domyślne zabezpieczenia.

[J.....L]

@GaiusBaltar: może da się to ominąć ? skorzystać z innego parsera niż beautiful soup ?

[Straher]

bierze cie za robota ( ͡° ͜ʖ ͡°), uzywaj requests zamiast urllib

[GaiusBaltar]

@JungleJamPL: Tak, kilka rzeczy trzeba robić:
- ustawić wszystkie headery jak z jakiejś przeglądarki, np. firefoxie czy innym chromie skopiuj sobie wszystkie headery requesta
- nie wiem jak Twoja bibilioteka obsługuje cookies i sesje, ale trzeba dopilnować aby odbierała i wysyłała cookies
- dobrze unikać wysyłania serii requestów po kolei, lepiej dawać losowe interwały

To pozwoli obejść większość, ale nie wszystkie zabezpieczenia. Jeśli chcesz coś, czego serwer nie zablokuje, najlepiej jest

[J.....L]

@GaiusBaltar: @Straher: As you were browsing **www.gumtree.com** something about your browser made us think you were a bot. There are a few reasons this might happen:

* You're a power user moving through this website with super-human speed.
* You've disabled JavaScript in your web browser.
* A third-party browser plugin, such as Ghostery or NoScript, is preventing JavaScript from running. Additional information is available in this support article.

After

[GaiusBaltar]

@JungleJamPL: Nie wiem co chcesz zrobić, nie wiem czy to jest zgodne z ich regulaminem, ale tak czy siak, o ile nie masz dużego doświadczenia w te klocki, webscrapingu z pythona nie zrobisz. Odpal sobie firefoxa, zbadaj sobie selenium, albo nawet prościej, "od środka" jakieś rozszerzenie typu Greasemonkey, i wyhacz tam skrypt.

Próbując to w pythonie zrobić zajedziesz się, i nic nie wyjdzie. Chyba, że chodzi Ci o naukę pisania botów

[sokytsinolop]

@JungleJamPL: wysyłaj wszystkie nagłówki która wysyła przeglądarka, jeśli używają jakiegoś dodatkowego zabezpieczenia jak cloudflare to niestety będzie trudniej ale widziałem na githubie narzędzia które pomogą w obejściu tego

[GaiusBaltar]

@sokytsinolop: Po odpowiedzi jaką widzę, obstawiam, że wymagają jakiegoś requesta wygenerowanego przez javascript osadzony na ich stronie przed puszczeniem ruchu dalej. Domyślam się, że bez jakiejś ekwilibrystyki to nie zabangla w pythone. Lepiej łopatologicznie z przeglądarki oskryptować.

[J.....L]

@GaiusBaltar: prawdę powiedziawszy w ostateczności trzeba będzie sięgnąć po jakieś selenium, ale inny portal udało mi się dzisiaj też sparsować, więc może i z tym się uda taka 'automatyzacja'.

[J.....L]

@sokytsinolop: będę działał, szukał rozwiązania, jak coś wymyślę to napiszę