[Griffith]

#! /usr/bin/python3

import requests, bs4, webbrowser

source = requests.get('https://www.amazon.com/PlayStation-3-500-GB-System/dp/B009DL2TBA/ref=sr_1_3?s=videogames&ie=UTF8&qid=1536511438&sr=1-3&keywords=ps3').text

soup = bs4.BeautifulSoup(source, 'lxml')

print(soup.prettify())
elems = soup.select('#dp-summary-see-all-reviews')

print(elems)

Co jest nie tak z kodem powyżej? Probuję znaleźć na stronie element, ktory odpowiada za przejście do wszystkich recenzji, ale zmienna elems jest pusta. Robiłem coś podobnego z allegro i tam mi działało. #python #naukaprogramowania

[croppz]

@Griffith: w wyciągniętym przez ciebie htmlu nie ma elementu o podanym ID, bo Amazon zabezpiecza się przed botami. Spójrz sam co tam wyciągnąłeś. Pokombinuj z nagłówkami requesta.

[croppz]

@Griffith: spróbowałem tak z ciekawości dodać headery które normalnie wysyła firefox - wszystko działa.

[Griffith]

@croppz: Ja już chyba też wiem co trzeba zrobić, zaraz jeszcze się upewnię czy działa ;p

[croppz]

@Griffith: ewentualnie możesz użyć scrapy, są gotowe rozwiązania zajmujące się tym za ciebie.

[Griffith]

@croppz: Działa, dzieki za podpowiedź ( ͡° ͜ʖ ͡°)

hdr = {'User-Agent': 'Mozilla/5.0'}
source = requests.get('https://www.amazon.com/PlayStation-3-500-GB-System/dp/B009DL2TBA/ref=sr_1_3?s=videogames&ie=UTF8&qid=1536511438&sr=1-3&keywords=ps3', headers=hdr)

soup = bs4.BeautifulSoup(source.text, 'lxml')

elems = soup.select('#dp-summary-see-all-reviews')
webbrowser.open('https://www.amazon.com' + elems[0].get('href'))

[croppz]

@Griffith: działa, pytanie po ilu requestach przestanie. ¯\_(ツ)_/¯

[Griffith]

@croppz: Zamiast pozwolić uczyć się ludziom, to tylko kłody stawiają pod nogi xd

[benedek]

@Griffith:
tu jest strona z różnymi pełnymi UA
User Agent
Swego czasu potrzebne mi były do parsowania danych z różnych stron. Nadal stosuję mając zapisane w pliku a skrypt losuje dowolne.