[Elnath]

Potrzebuje napisać skrypt w języku c który wczyta X obrazów png z różnych katalogów w folderze Y. Potem przerobi każdy piksel na wartość RGB. Bawił się ktoś kiedyś lub może jakoś pomóc w tym?

konieczny język c niestety, python jest za wolny w tym przypadku

#c #programowanie #programista15k #informatyka #studbaza

[zibizz1]

@Elnath: w c będzie tak samo wolno jak w Python jak nie wiesz co robisz. Jak znasz python to zerknij na NumPy or OpenCV może tak jest coś gotowego. Jak nie znasz to zainteresuj się przetwarzaniem na GPU, choć tu wygląda że wystarczy użyć instrukcji SIMD. Jeśli się nie da to trzeba skupić się na cachingu czyli przetwarzać dane w sposób liniowy. Jeśli np masz obrazek przetwararzasz go kolumnami a nie

[Elnath]

@zibizz1: mam 300tys zdjęć do przerobienia kazdy pixel 50x50 i władowanie to do csv. W pythonie szacowany czas na kaggle to 200h. Może masz jakiś pomysł?

[CXLV]

@Elnath: gdi+

[Elnath]

gdi+

@CXLV: jesli chodzi o gpu to używałem akceleratora graficznego przy pomocy python, efekt był podobny. 160h

[CXLV]

@Elnath: https://docs.microsoft.com/en-us/windows/win32/gdiplus/-gdiplus-gdi-start

[zibizz1]

@Elnath: a sprawdzałeś jaki jest czas tylko odczytania tych wszystkich zdjęć i wpakowania do ram? Bo chyba tu może być problem

[Oo-oO]

@Elnath:
300k zdjec, 50x50 wczytanie na moim zwykłym lapku i wyplucie jednego pixela z tych 50

real 0m24,607s
user 0m21,813s
sys 0m2,762s

[morsisko]

@Elnath: https://github.com/lvandeve/lodepng

[Elnath]

@Oo-oO: ja uzywam kaggle, komp to dziadziuś

[IJarzi]

@Elnath: Chcesz przerobić zdjęcie czy odczytać kolor pixela i wrzucić to do csv?

[Elnath]

@IJarzi: mam 300k zdjęć w różnych folderach, przeszukuje folder, znajduje zdjęcie, przerabiam na wektor RBG, wpisuje do kolumny wszystkie wartości z wektora dopisuje wartość T lub F i tak powtórz 300tys razy bo tyle jest zdjęć

[Elnath]

@Malkof: Mam napisane, ale jest wciąż za wolne. :d

[Elnath]

@Malkof: Mam w pythonie

[mirasKo-Kalwario]

@Elnath: a po co to ma być szybkie?

[Elnath]

@Malkof: Tak, to wiem. Szukam jeszcze czegoś. Csv świetnie obrania Rust, podobno najszybciej. Jutro pewnie do tego siądę i coś przykodzę

@mirasKo-Kalwario: 200 godzin działania to jest 8 dni i nocy, prawdopodobeinstwo błędu / zaniku prądu przy działaniu tego programu jest wysokie. Przy stresie czas może wzrosnąć + chce by było szybsze poprostu.

[mirasKo-Kalwario]

@Elnath: to podziel to sobie na paczki i przerabiaj paczka po paczce, np 200 paczek po godzinie. Pomierz sobie dobrze co ile czasu ci zajmuje i to optymalizuj, bo wczytywanie duzej liczby malych plików będzie wolniejsze niż wczytanie jednego dużego pliku o rozmiarze wszystkich tych plików