[imlmpe]

Mirki, ja wiem, że dziś #primaaprilis, ale mam poważne #pytanie :)

▶▶ Co powiedzielibyście na stworzenie wyszukiwarki wpisów na mikroblogu? ◀◀

Ale takiej porządnej... szukającej po słowach kluczowych, tagach, datach, randze usera, płci usera, po tym, czy wpis ma fotki/filmy, po ilości plusów, po ilości komentarzy itp... takie all-in-one.

Ja wiem, że obecnie takiej wyszukiwarki nie ma, a realizacja zadania wydaje się niemożliwa (bo API na to nie pozwala...) ale czuję, że wiem jak to zrobić ᕙ(⇀‸↼‶)ᕗ

Tak mi chodzi po głowie ten projekt od dość dawna...
Myślicie, że przyjęłoby się? jest na to zapotrzebowanie?

Myślę, że sam dam radę z programowaniem - pytanie tylko, czy będzie 'wzięcie'? ( ͡º ͜ʖ͡º)

#mirko #wykop #technologia #programowanie

[deyna]

@imlmpe: ale czasem na mirko można zapytać dokładnie tak jak zacytowalem a ktoś pamięta i znajdzie. Da się tak zrobić?

[imlmpe]

@deyna: pomyślimy co się da zrobić ( ͡º ͜ʖ͡º)

[kicioch]

@imlmpe: wow :D

[S.....h]

@imlmpe: Ha dzięki ;) Aczkolwiek spodziewałem się starszej daty.
@kicioch: ile jeszcze tagów powstało dzięki Tobie? #kiciochpyta
o kolejne pytanie do @imlmpe :P

[imlmpe]

@Sarseth: zbyt zaawansowane query - ale zrobię przez weekend zestawienie autorów najpopularniejszych tagów.
O ile znajdę czas ( ͡º ͜ʖ͡º)

[imlmpe]

@Sarseth: zaawansowane znaczy nie, że system tego nie łyknie, tylko, że mi się pisać nie chce, bo to chwilę by zajęło ;)

[S.....h]

@imlmpe: Luzik ;)
Poprostu zabiorę plusik z wpisu :(

Prima x)

[kicioch]

@Sarseth: #kiciochpyta tylko, dzięki Bogu, bo raz na tydzień muszę komuś odpisywać skąd wziął się tag :P

[n.....s]

@imlmpe: dobry pomysl tylko ze ja np wyszukuje wpisy za pomoca google ( ͡° ͜ʖ ͡°)

[iskra-piotr]

@imlmpe: ja bym chciał w tym coś takiego:

1. Wybieram tag: #pasta (albo słowo kluczowe)
2. Wybieram czas: ostatni rok
3. Układam: według plusów.

[imlmpe]

@iskra-piotr: nie ma z tym problemu - będzie się tak dało! :D

[TMMT]

@imlmpe: to jest aż za dobre, by nie byc prima aprilisowym żartem ( ͡° ͜ʖ ͡°) #!$%@? Unknow dajesz! ;)

[Cronox]

@imlmpe: już parsowalem całe Mirko kiedy pisałem bota na obserwowanie. 2 dni i byłem już w połowie wpisów. Później zrezygnowałem bo zaczynały się Nicki profili usunietych ( ͡° ʖ̯ ͡°)

[wpoz]

@imlmpe: jeszcze jak

[c.....o]

@imlmpe: Ja wiem, jak chcesz zebrać wszystko to innego wyjścia nie ma.
Myślę, że spokojnie w jeden wieczór mógłbyś odpalić kilkadziesiąt dropletów i zebrać całe mirko

[imlmpe]

@canto: testowałeś to rozwiązanie, czy zgadujesz? Zbieram dane od 9 dni... 24h/dobę. Nie wiem jak chciałbyś to zrobić w jeden wieczór ( ͡° ʖ̯ ͡°)

[c.....o]

@imlmpe: na małym droplecie 2cpu, 2gb ram przy 100 wątkach curla mogę pobrać 100k wpisów w 10 minut

Debug[1459540551|7|0]: cUrl Multi info read: 1 Net::Curl::Easy=HASH(0x1e6e0a0) No error http://www.wykop.pl/wpis/99990/ 404

Debug[1459540551|10|0]: Got http://www.wykop.pl/wpis/99990/ content type text/html; charset=UTF-8

Debug[1459540551|10|1]: super thread - LEN 0 data 0 NUM 99999 total size 331357917

Debug[1459540551|10|1]: url_len 31 compressed Data len 5899 total size 331369591

^C

real 9m12.028s

user 4m59.188s

sys 4m54.768s

500MB skompresowanych danych.

W 10

[iskra-piotr]

@imlmpe: Jakbyś udostępnił w przyszłości tę szukajkę to wołaj Mireczku, bardzo mi się przyda. ( ͡° ͜ʖ ͡°)

[c.....o]

@imlmpe: i co? Ściągnął całe mirko?

[imlmpe]

i co? Ściągnął całe mirko?

@canto: zrobiłem to po swojemu, ale i tak są problemy... http://www.wykop.pl/wpis/17367261 (╯︵╰,)