[LuvDesk]

W wolnej chwili ściągnąłem sobie w #python wszystkie oferty osobówek z otomoto, żeby mieć nowy dataset do zabawy. Aktualnie przeglądam sobie dane w poszukiwaniu ciekawostek i tak wygląda przebieg Audi A4 B8, a wiek samochodu.

Czyli co, przez pierwsze 4 lata przedstawiciel handlowy na leasingu katuje po 40k rocznie, a potem jakiś dziadziuś na spokojnie po 10k robi? xD

Jakie macie inne wytłumaczenie poza fałszowaniem przebiegu na ogromną skalę? Może czegoś nie widzę?

Zainteresowanym chętnie podeślę kod do otomoto.

#motoryzacja #ciekawostki #programowanie

[mk321]

@LuvDesk: ile ofert ściągnąłeś? Ile czasu to zajęło?
Jest jakieś API czy po prostu scrapowałeś z HTML-a? Jak tak, to nie zablokowali ci IP po x zapytaniach?

[Prism2772]

@LuvDesk: po 4 latach cały czas stoją w garażu albo u mechanika aby się nie zepsuły

[LuvDesk]

210k ofert, najpierw poszedł skrypt do zgarnięcia wszystkich URL ofert, a potem drugi do scrapowania HTMLa każdej.

Całość zajęła ok 20h. Pewnie da się szybciej, ale po prostu zostawiłem kompa na noc, a jak wróciłem następnego dnia z pracy to było gotowe. Nie zauważyłem blokad IP, a odpytywało ok. 3 oferty na sekundę.

[m_bielawski]

@LuvDesk: akurat teoria z leasingiem jest jak najbardziej prawdopodobna. Oczywiście tłumaczy to tylko wolniejszy wzrost przebiegu w latach 4-7. To, co potem się dzieje to już magia speców od jeżdżenia na wstecznym :)

[Kejran]

@LuvDesk: Bo tak jest, diesle robią po 30-40k km rocznie przez pierwsze lata ale to nie jest wielki procent, żadnym problemem nie jest kupno diesla 10 letniego z 200k km prawdziwego przebiegu.

[wiewior_s]

@LuvDesk ci co duzo uzywaja auta to sprzedaja szybko, zanim zacznie sie psuc, stad duzo mlodych z relatywnie wysokim przebiegiem ( a oszustwa swoja droga, ale nie az w takiej skali jak sie wydaje)

[i.....l]

@LuvDesk: 180k legendarna granica XD

[LuvDesk]

@m_bielawski: Właśnie, jakby zrobić trend w latach 7-11 to wyszłaby płaska linia :D

[filozof900]

@LuvDesk: gratki, cos ewidetnie tu nie gra

[filozof900]

@LuvDesk: jak duza proba? w tych a4kach?

[d.....x]

@LuvDesk: Hej, czy mógłbyś odblokować prywatną wiadomość? Dzięki!

[LuvDesk]

@filozof900: 1514

Pozostałe A4:
B8 (2007-2015) 1514
B6 (2000-2004) 1251
B7 (2004-2007) 1185

A4 B8 po latach:
2007.0 6
2008.0 341
2009.0 252
2010.0 199
2011.0 166
2012.0 174
2013.0 155
2014.0 168
2015.0 76
2016.0 1

W całym datasecie:
Astra 6360
Passat 5598
Golf 5340
Seria 3 5197

@d1l4x: Gotowe.

Dzisiaj wieczorem i jutro postaram się wyciągnąć więcej rzeczy, jak macie pomysły to piszcie.

[l.....i]

@LuvDesk: filtrowałeś po marce czy scrapowałeś całość? interesuje mnie ostatnimi czasy wzrost zainteresowania Toyotą Sienną, też w kontekście tego, że szykuję się do kupna i może wyłapałbym jakieś negatywne trendy (one są stricte na rynek USA więc u nas zwykle po dzwonie), a w sumie nie pomyślałem żeby się przejechać pytongiem po serwisach ogłoszeniowych...

[LuvDesk]

@luzny_lori: poleciałem po calości. Jak wrócę do domu to mogę Ci wysłać dane ze Sienna. Chyba, że coś konkretnego Cię interesuje to wyciągnę :)

[JanuszAndrzejNowak]

@LuvDesk: Jest szansa, że udostępnisz ten skrypt pythona?( ͡° ͜ʖ ͡°)

[l.....i]

@LuvDesk: w sumie nie wiem czego szukam - mam nadzieję dostrzec jakieś prawidłowości może

[ddabadama]

@JanuszAndrzejNowak: https://www.youtube.com/watch?v=XQgXKtPSzUI

Mało co i dlaczego, ale na podstawie tego łatwo napisać skrypt zżynający otomoto ;)

[LuvDesk]

@ddabadama: akurat beautifulsoup nie obsluguje xpatha, co oznacza czasami wiecej roboty. Ja uzywalem lxml.

[ddabadama]

xpatha

@LuvDesk: możliwe. Ja jak kiedyś robiłem takie coś to pobierałem w nieco inny sposób. Nie wchodziłem na każde ogłoszenie osobno, tylko pobierałem dane z podstrony, na której były ogłoszenia (po 32 na stronę). Miało to tę wadę, że markę i model wyciągałem z nazwy.

I jakbyś miał chwilkę to podeślij mi kod albo dane :)