[S.....b]

Mirki jaka baza danych do zapisywania dużej ilości danych z czujników pogodowych? temperatura/wilgotność/jakość powietrza/prędkośc wiatru

#programista15k #programowanie

[Bruno_]

@Scaab: sql ( ͡° ͜ʖ ͡°)

[Jurigag]

@Scaab: redis ( ͡° ͜ʖ ͡°)

[Kiciuk]

@Scaab zwykła np mariaDB

[zadunkuje_nad_toba]

@Scaab: mongoDB

[szalony_oguras]

@Scaab: Jak SQL to memSQL, jak NOSQL to proponuje mongo

[budyn]

@Scaab: Z danych które opisałeś najlepiej nada się jakaś NoSQL-owa

[dog_meat]

@Scaab: jak na moje oko to jakaś time series (influxDB, RRD albo Graphite)

[y.....l]

@Scaab: Co rozumiesz pod pojęciem duża?

[Hauleth]

@Scaab: a co chcesz potem z tymi danymi robić? Wyciągać pojedyncze dni, czy analizować całościowo? Ale ogólnie szukaj pod terminami TSDB jak wspomniał @dog_meat. Z ciekawych rozwiązań jest jeszcze TimescaleDB, które jest pluginem do Postgresa lub CitusDB jeśli chcesz mieć dane rozproszone. Ogólnie Postgres załatwi Ci wszystko (zwłaszcza jak ktoś jeszcze napisze kolumnowy backend do PSQL 12).

[geringxes]

Musi być on-prem? Może jak to jest IoT to Bigtable? Managed service, ingress za free, duża skalowalność.

[S.....b]

@Hauleth: głównie rysować z nich wykresy i analizować trendy z najnowszych odczytów

[S.....b]

@geringxes: na razie nie wiem czy on-premise czy coś w chmurze. obawiam się że zjedzą mnie koszty dla dużych ilości danych

[Hauleth]

@Scaab: to szukaj kolumnowych DB, chyba, że chcesz mieć to bardziej ogarnięte, to możesz użyć Kafki, która będzie potem wpychała dane do takich DB jakie sobie wymyślisz (i zawsze możesz dodać/wymienić/usunąć całą DB jak się okaże zbędna).

[S.....b]

@Hauleth: kolumnowe DB czyli takie zwykłe relacyjne jak postgres? I dlaczego jednak kolumnowe a nie time series?

[Hauleth]

@Scaab: Postgres i wszystkie SQLowe są bazami "wierszowymi" (bo składają się z relacji), nie kolumnowymi. TSDB czasem również są kolumnowe, ale to większe pojęcie niż podział na "wierszowe"/"kolumnowe".

[kxyz]

@Scaab: mongodb, elastic search (ELK stack), w przypadku ogromnych ilości danych surowych warto te dane zawsze redukować do mniejszych zbiórów na których wykonywane są operacje odczytu, przy odpowiedniej konfiguracji ES i indexów jesteś w stanie uzyskać imponujące wyniki