Mam sobie baze danych zawierającą odczyty z czujników co 1 min i czujników jest 1200 i działają 24/7
Teraz trzeba to zoptymalizować do wyświetlania i jak najlepiej to ogarnąć
Dzienny przyrost danych to 1728000 ( prawie 2 mln rekordów) jak w najbardziej optymalny sposób do tego podejść i jak to przechowywać na bazie, dodam że czujniki są w grupach po max 26 i tych grup jest prawie 100 (każda grupa może mieć
Teraz trzeba to zoptymalizować do wyświetlania i jak najlepiej to ogarnąć
Dzienny przyrost danych to 1728000 ( prawie 2 mln rekordów) jak w najbardziej optymalny sposób do tego podejść i jak to przechowywać na bazie, dodam że czujniki są w grupach po max 26 i tych grup jest prawie 100 (każda grupa może mieć
Trzymać w skompresowanych pliakch logów a nie bazie danych.
Mam podobny problem (rozwiązany), tyle że więpszą prędkością przyrostu danych.
Używałem do tego postgresql z partycjami dziennymi ale problem z wydajnością był gdy partycji było 200 (trzeba się namęczyć z optymalizacją i SQL wtedy nie jest czytelny, nie można używać prepared statemat i robić SELECT na konkretnej partycji w miarę możliwości). Dodatko baza zaczęła zajmować sporo miejsca. Najgorsze były migracja bazy na nowsze
Mam podobny problem (rozwiązany), tyle że więpszą prędkością przyrostu danych.
Używałem do tego postgresql z partycjami dziennymi ale problem z wydajnością był gdy partycji było 200 (trzeba się namęczyć z optymalizacją i SQL wtedy nie jest czytelny, nie można używać prepared statemat i robić SELECT na konkretnej partycji w miarę możliwości). Dodatko baza zaczęła zajmować sporo miejsca. Najgorsze były migracja bazy na nowsze
@bi-tek: A może influxdb? Specjalnie przygotowana baza pod tego typu dane
https://bithub.pl/wiadomosci/niepotwierdzone-transakcje-bitcoin-czy-da-sie-cos-z-tym-zrobic/
#bitcoin #tps #skalowalnosc
To najbardziej ******* strona jaka istnieje i niewiele mówi ludziom
https://mempool.space/
Ta prognozuje nawet ile trzeba dać fee by wejść do konkretnego bloku i od razu widać