[Icyto]

Takie pytanko, może mądre, może głupie, nie wiem.
Pracuję nad pewnym programikiem, który przyjmuje na wejściu sporo danych i wypluwa wynik, przy czym znaczną część czasu zajmuje odczytywanie danych z dysku, a program uruchamiam bardzo często na tych samych danych i zastanawiałem się czy można to jakoś przyspieszyć. Myślałem nad czymś w stylu: załadowanie całych danych wejściowych do pamięci i potem każdorazowo odczytywanie tych danych prosto z pamięci, a nie z dysku. Jest coś takiego w ogóle możliwe i w miarę proste do wdrożenia?
Pracuję na Ubuntu, a program wywołuje klasycznie: ./program /ścieżka/do/pliku/wejściowego
Najchętniej, żeby było to coś co nie ingeruje w kod programu, a tylko w jego wywołanie (może coś w stylu podawania wirtualnej ścieżki do pliku wejściowego w pamięci RAM?).
#programista15k #programowanie #linux #ubuntu #it #informatyka

[kao3991]

@Icyto: możesz trzymać plik wejściowy w /dev/shm, to taki ramdysk

[Icyto]

@kao3991: O, to ciekawe. Dokładnie o coś takiego mi chodziło. Rozumiem, że dane w tym folderze będą przechowywane do momentu restartu komputera?

[kao3991]

@Icyto: tak, jak to w ramie ( ͡° ͜ʖ ͡°)

[Icyto]

@kao3991: Super, dzięki wielkie, jutro sprawdzę w pracy czy zadziała.

[t.....y]

/dev/shm

@kao3991: nie przenośnie, nie ma pewności, że będzie siedziało fizycznie w ramie

[lionbest]

@Icyto: Pytanie co tak naprawdę trwa najwięcej w ładowaniu danych, musisz z profilować aplikacje. Może się okazać że najdłużej trwa deserializacja, wtedy zmiany formatu się nie obejdzie. Linux powinien cachować pliki w pamięci więc jeżeli jednak aplikacja stoi na odczycie z dysku to ponowne odpalenie powinno być szybsze pod warunkiem że pliki zmieszczą się w pamięci RAM.

[Sibu]

@Icyto:

A moze jakis Redis zeby keszowac?

[Saly]

@Icyto: linux sam w sobie keszuje często czytane pliki, wiec powinno działać od kopa. Inna sprawa, że sam mechanizm czytania może być wolny, ale bez profilowania i większego opisu jest ciężko wróżyć. W jaki sposób czytasz te dane? Może mmap ( https://realpython.com/python-mmap/ ) to coś, czym warto się zainteresować

[mariopbc]

góle możliwe i w mia

@Icyto: nie no nie, nie optymalizuj pamieci - lepiej zrób sobie md5 z danych albo inny hash, skoro mówisz że dużo razy to się odpala na tych samych danych to najpierw ograniczy sprawdzając czy te dane się zmieniły.

[Icyto]

@mariopbc: Dane są zawsze te same, zmienia się program, który je wykorzystuje.

[Icyto]

@lionbest: @Saly: A jeśli chodzi o szczegóły odczytywania, to trochę Was okłamałem. Program bierze na wejście serię kilkuset zdjęć, wywoływane jest to przez ./program /ścieżka/do/plików/wejściowych/*.jpg. Mam kilka serii takich zdjęć wejściowych, więc po każdej zmianie programu wywołuję go kilka razy na różnych seriach. Zdjęcia czytane są przy pomocy funkcji OpenCV imread(). Łącznie wszystkie dane zajmują ok. 7 GB, RAMu mam 32 GB, przy czym w idle'u na ogół

[hitherto]

@Icyto to zmierz najpierw ile trwa czytanie tych plików bo może optymalizujesz coś co nie ma znaczenia.

[mariopbc]

@Icyto: ile masz tych programów - 10 czy 2 ? i tak md5 jako wyznacznik cacha by się przydał

[lionbest]

@Icyto: to raczej dekompresja JPGa będzie trwała najwięcej. Masz 7GB JPG czy danych już zdekompresowanych?