[szalony_baklazan]

Jest jakiś sposób żeby pobrać wszystkie zaindeksowane urle danej strony w #google bez pisania #skrypt ? Strona jest moja.

Wiem, że można wpisać w google site:wykop.pl ustalić wyniki wyszukiwana na 100 i w jednej linii js pobrać wyniki, ale to ciągle za mało. Stron z wynikami jest b. dużo. Zależy mi na jakiejś automatyzacji.
#webdev #seo #programowanie

[weedget]

@szalony_baklazan: google search console?

[gustav]

@szalony_baklazan: search console?

[gustav]

@weedget: ( ͡° ͜ʖ ͡°)

[szalony_baklazan]

@weedget: @gustav: Właśnie przejrzałem search console wzdłuż i wszerz bo byłem pewny, że tam znajdę taką opcję. Tyle, że jej nie widzę. Moglibyście podpowiedzieć w której zakładce można to pobrać?

[gustav]

@szalony_baklazan: Stan -> Prawidłowy -> Strona przesłana i zindeksowana

[szalony_baklazan]

@weedget: @gustav: Byłem tam. W GSC jest około 3 000 wyników. Bezpośrednio w wyszukiwarce blisko 300 000. Początkowo myślałem, że w GSC jeszcze się te url nie zaktualizowały (z tego co widzę wyniki są aktualizowane co tydzień), ale to nie to. Od ponad miesiąca (tyle to obserwuję) jest identycznie. I tu i tu wyniki nie zmieniają się znacznie.

[cuda]

Scrapebox

[gustav]

@szalony_baklazan: przy takiej ilości to raczej darmowe narzędzie nie wypluje Tobie tyle wyników.
Pozostaje jakiś płatny automat lub prosty skrypt wykorzystujący proxy.

Jeżeli masz całą mapę witryny to prościej bo linki już masz i lecisz po kolei.

[szalony_baklazan]

Scrapebox

@cuda: to byłaby opcja, ale 100$ to trochę dużo biorąc pod uwagę, że użyję tego raz.

@gustav: może być płatny, ale w granicach rozsądku bo jak pisałem wyżej potrzebne mi to raz. Najlepsza byłaby opcja licencji na miesiąc czy płatne od pobranych url.

Jeżeli masz całą mapę witryny to prościej bo linki już masz i lecisz po kolei.

@gustav: no mam, ale na mapie mam około 3k a

[gustav]

@szalony_baklazan: czyli chcesz się pozbyć śmieci z indeksu tak?

Może popytaj na grupach seo na facebooku to znajdzie się ktoś kto Tobie takie dane wyciągnie za ileś tam złotych.

[cuda]

@szalony_baklazan: masz za 67 jak chcesz http://www.scrapebox.com/bhw

[cuda]

@szalony_baklazan: a jak nie chcesz bulic za harvester to zrob sobie wlasny w darmowym Browser Automation Studio albo jak masz platny zennoposter, do BASa byl gdzie nawet poradnik na yt jak zrobic taki harvester do googla, nic trudnego

[boubobobobou]

@szalony_baklazan: Ile url, które mogą się indeksować, ma twoja strona?

[Boleslaw_Smiszny]

Browser Automation Studio

@cuda: A jak mam listę URLi produktów ze sklepu, z których chciałbym wyciągnąć ceny? Da radę z tym?

[oio154]

@szalony_baklazan: Przecież #google ma #api do tego. Np tu sobie zacznij:
https://developers.google.com/custom-search/v1/overview

[cuda]

wyciagniesz tym co chcesz

[Bodhistawa]

@Boleslaw_Smiszny: da radę to zrobić w google docs - importxml xpath poczytaj

[Boleslaw_Smiszny]

@Bodhistawa: Kiedyś się tym bawiłem, ale wydajnościowo słabo to szło. W każdym razie spróbuję. Może ruszy ładnie

[Bodhistawa]

@Boleslaw_Smiszny: zależy od ilości zapytań, u mnie do 100 działało super, ale więcej już się wykrzaczało, bo były jakieś limity

[Boleslaw_Smiszny]

@Bodhistawa: No właśnie trochę mało. Ale i tak coś mi nie chce działać. Biorę sobie wtyczką w chromie ścieżkę do xpath i nie chce pobrać. Dziwne