[M.....s]

#programowanie #wykopapi Dlaczego serwery wykopu są tak #!$%@?? Pobieram najnowsze wpisy z
http://www.wykop.pl/ajax2/mikroblog/recent/type/entry/id//hash//html/1

lista: 13895563,13895561,13895557,13895553,13895551,13895547,13895545,13895543,13895541,13895539,13895537,13895535,13895531,13895529

5 sekund później pobieram ponownie, to samo:
13895563,13895561,13895557,13895553,13895551,13895547,13895545,13895543,13895541,13895539,13895537,13895535,13895531

brakuje wpisu 13895559

pobieram listę najnowszych wpisów ponownie 10 sekund później:
13895565,13895563,13895561,13895559,13895557,13895553,13895551,13895547,13895545,13895543,13895541,13895539,13895537,13895535

wpis nagle się pojawił 13895559 (╯°□°）╯︵ ┻━┻

[fstab]

@MirkoStats: ツ

[japer]

@MirkoStats: W końcu to Maciej pisał.

[aaandrzeeey]

@MirkoStats: rozproszone, a może tylko transakcyjność ? i co w tym dziwnego?

[M.....s]

@japer: mało tego, wpisy często nie są zwracane w kolejności :D
@aaandrzeeey: no jak to, jeżeli przeglądasz sobie mirko i ładujesz kolejne wpisy, to tego który się nie pokazał nigdy nie zobaczysz. No chyba, że odświeżysz całą stronę.

[aaandrzeeey]

@MirkoStats: no niestety czasami musi minąć czas pomiędzy nadaniem id a opublikowaniem.
Te opóźnienia nie są jakoś strasznie wielkie, chyba?

[Vein]

@MirkoStats: wykorzystują bazę danych w replikacji master/master i pewnie były problemy z replikacją :P Ewentualnie mają 2 cache i też ich zawartość się różni.

[M.....s]

@aaandrzeeey: tylko jak przelgądasz mirko to ładujesz tak:

nowe wpisy: 10, 9, 7, 6, 5, 4 ,3 , 2 ,1;
załadowałeś te wpisy
potem przeglądasz sobie dalej "o, nowe wpisy"
proszę mi załadować od 10, bo ten mam ostatni
ładują się 13, 11

czysto technicznie wpisy 12, 8 istniały, ale się nie załadowały bo zostały pominięte.
Próba kontrola, proszę mi załadować od 1
ładują się 13, 12, 11, 10, 9, 8,

[aaandrzeeey]

@MirkoStats: rozumiem, morał: nie wystarczy przechowywać wskaźnik na ostatni załadowany wpis, a buforować wskaźniki np. kilkaset? ostatnich. I dobierać, te które wypadły - tzn nie zostały pobrane wcześniej.

Rozumiem, że problem dotyczy aplikacji/ skryptów zewnętrznych pobierających content z wykopu?

Wynika to z tego, że ID o którym mówicie nie jest kluczem opublikowania contentu, a jego utworzenia.
Czasami publikacja następuję od razu, czasami po jakimś czasie.

To jest normalne w takich systemach.

[M.....s]

@aaandrzeeey: Tak, problem dotyczy skryptu zewnętrznego. Przechowywanie buforu wpisów niewiele mi da, bo wykonuję akcję właśnie na tych brakujących wpisach -> #shadowbanbot. I tak sprawdzam to dwukrotnie póki co w odstępie ~ 5 sekund. Większy odstęp lub większa ilość sprawdzeń będzie skutkowało większymi opóźnieniami w działaniu bota.
A powyżej 30 sekund już nie opłaca mi się korzystać z ajax2 tylko z api (chociaż ile wynosi teraz limit godzinowy?)

[aaandrzeeey]

@MirkoStats: a jak obsługujesz wpisy usunięte przez autorów?

[G.....n]

Dlaczego serwery wykopu są tak #!$%@??

@MirkoStats: Bo to big data.

Kiedyś na kontakcie dostałem odpowiedź, że API zwraca czasem stare znaleziska w wykopalisku, bo SOLR przeszukujący tabelę po datach (WTF) z nieznanego powodu nie update'uje stanu znalezisk.
WTF

[aaandrzeeey]

@MirkoStats: a jaki jest cel ćwiczenia? Bo coś się ciekawie zapowiada, ale wybacz nie jestem w temacie.

[aaandrzeeey]

@MirkoStats: ok. spoko. A jak ja mogę sprawdzić shadow bana Twoim botem?>

[M.....s]

@aaandrzeeey: sprawdzam wszystkie wpisy dodawane na mirko, liczba ukrywanych wpisów wynosi tylko ok. 2 -3 % wszystkich wpisów więc jakbyś miał shadowbana to byś już był powiadomiony ( ͡° ͜ʖ ͡°)