[Oake]

chce zescrapować stronę, na której jest dużo textboxów i comboxów, w których są już konkretne wartości. Niestety w kodzie w htmlu wartości z tych boxów nie ma. Czy da się to jakoś zescrapować BeautifulSoupem, czy on po prostu wyciąga tekst z kodu html? Np. żeby znalazł value dla danego id. Dołączam screena jak to wygląda np. na wykopie, gdzie domyślny wartość z textboxa jest w kodzie html, u mnie tego nie ma #python #webscraping #html

[fiddle]

@Oake: Skąd bierzesz html?

[Rst00]

@Oake: ale mówisz konkretnie o wykopie czy dałeś tylko przykład? Generalnie w kodzie HTML jest ta wartość i można ją spokojnie JSem wyciągnąć więc wątpię żebyś miał problem w pythonie. Musisz napisać więcej info a najlepiej wkleić kod jaki masz z pythona. Na innych serwisach możesz mieć problem że np. jakiś JS się odpala i modyfikuje DOM przez co nie możesz pobrać wartości bo ich po prostu w kodzie nie ma

[Oake]

@fiddle: soup = bs4.bs(response.text, 'html.parser'), ale co to ma za znaczenie? robiąć inspecta w przeglądarce nie ma tam szukanych przeze mnie wartośći

[Oake]

@Rst00: nie nie chodzi mi o wykop, to inna stronka. Wykop podałem jako przykład jak oczekiwałem, że będzie: jest textbox, w nim wartość domyślna "Najnowsze na stronie główna", inspectuję to i ten element ma atrybut "value" równy "Najnowsze na stronie główna". Tymczasem na mojej stronie jest tak: jest textbox, w nim wartość np. napis "Zupa", ale kiedy inspectuję tego textboxa w przeglądarce to ten element nie ma czegoś takiego jak value

[fiddle]

bs4

@Oake: Imho przeglądarka embedded albo selenium i będzie git majonez.

[Oake]

@fiddle: ok, a jakoś masz moze jakis pomysł jak to zrobic z selenium? bo teraz spróbowałem tak:
element = driver.find_element(By.XPATH, 'xpath')
element.text
i zwróciło pustego stringa, nie znajduje tego tekstu. To dla textboxa, z kolei taka sama metoda dla comboboxa zwraca wszystkie możliwości tego comboboxa, zamiast tej która jest obecnie wybrana.

[fiddle]

@Oake: jak to nie jest mega tajne pokaż stronę to Ci powiem jaki atrybut musisz pobierać.

[Oake]

@fiddle: ok juz mam, .getAttribute('value') zadziałało

[Oake]

@fiddle: trochę tajne : )

[RolnikSamWdolinie]

@Oake: nie wiem na ile umiesz front ale do scrapowania 10x lepszyn jest nodejs i cheerio. Używasz tego jak jQuery