mirko_anonim
✨ Obserwuj #mirkoanonim
Mam 5 vpsów (wkrótce będzie 50 albo 500), do każdego mam podpięte duże bloki IPv4, adresacja będzie wykorzystana do data scraping i udostępniania zescrapowanych danych klientom przez json.

Klient będzie łączył się z głównym serwerem z którego zapytanie będzie przesyłane na jeden z vpsów, zwracane na serwer główny i przekazywane klientowi.

Aktualnie w testach cała infrastruktura robi 50 req/sec, docelowo będzie musiała pociągnąć 1-3k req/sec.
50req/s = około 60TB miesięcznie na samo zescrapowanie danych.

Mam dwie opcje do wyboru:
1. Mogę na każdym z vpsów trzymać skrypty pobierające i obrabiające dane - w ten sposób oszczędzam na transferze z racji, że vps wysyła do głównego serwera odpowedź w json.

2. Mogę na każdym VPS zainstalować squida, używać adresacji IP jako proxy i obrabiać dane na głównym serwerze. Taka opcja wydaje mi się prostsza, ale będę musiał wydać więcej na transfer.

Którą opcje byście wybrali i dlaczego ( ͡° ͜ʖ ͡°)?

P.S.
W sumie mógłbym zrezygnować z serwera głównego i zamiast tego postawić load balancer, ale spora część vpsów nie ma (i nie będzie miała) ochrony antyddos... jak konkurencja kupi jakiś ddos to leżym i kwiczym.

#programowanie
#programista15k
#devops

─────────────────────

· Akcje: Odpowiedz anonimowo · Więcej szczegółów
· Zaakceptował: RamtamtamSi
· Autor wpisu pozostał anonimowy dzięki Mirko Anonim

1
  • Najlepsze
  • Wszystkie komentarze
mirko_anonim
Anonim (nie OP): Kafka, spark, rabbitmq - gdybys tylko wiedział do czego to służy

─────────────────────
· Akcje: Odpowiedz anonimowo · Więcej szczegółów
· Zaakceptował: Nighthuntero
1
Blomex
Blomex
@mirko_anonim: nie widzę trudności w pierwszej opcji. Czy te skrypty będą się jakoś różnić w zależności od vpsa?
0
bin-bash
bin-bash
@mirko_anonim: jakas kiepska infra, smierdzi SPOFem i brakiem autoskalowania
0
mirko_anonim
✨ Autor wpisu (OP): @bin-bash nie ma autoskalowania bo VPSy z adresacją IP są rozsiane po różnych providerach w EU i USA - nie mam w tej kwestii nic do gadania. Mam dostarczone VPSy z adresacja IP, a całość ma działać.

SPOF to mogę sam zafundować jak to spieprze( ͡° ͜ʖ ͡°)

Jeżeli masz na myśli że SPOFem będzie serwer do którego klient będzie wysyłał requesty - tutaj uprościłem sprawę bo
0
mirko_anonim
✨ Autor wpisu (OP): @Blomex
Skrypty nie będą się różnić. Trochę mnie "przeraża" zarządzanie taką ilością vpsów, sync logów z kilkudziesięciu/kilkuset maszyn. Monitorowanie zużycia zasobów etc. Nie mam w tym doświadczenia i pewnie dlatego trzęse dupką.

jeżeli na każdym VPS będzie działał tylko squid to mniej rzeczy może sie schrzanić, ale może to złudne ( ͡°
0
ksiezycoweNieruchy
ksiezycoweNieruchy
@mirko_anonim właśnie, dlaczego nie użyć kolejek?
0
nairamk
nairamk
@mirko_anonim: rozsianie po świecie i różna adresacja nie jest żadnym problemem.

Cloudflare + "ARGO Tunnel" pozwala Ci podpiąć dowolną lokalizacje (pojedynczy host lub całą sieć) do swojej infrastruktury, a przy pomocy reguł możesz określić kto ma mieć dostęp - czy zezwalasz na dostęp z internetu, czy tworzysz w ten sposób intranet i separujesz silniki od dostępu z zewnątrz.
Z ARGO możesz sobie nawet podpiąć swój własny host z domu (za
0