[FantaZy]

Potrzebuję przesłać plik csv ok 50 kolumn i 6 - 10 milionów wierszy przez FTP.

Jak to najlepiej zrobić? Wiem, że teoretycznie możnaby rozbić plik na kilka mniejszych ale wolałbym wysłać całość.
Póki co myślałem po prostu zrobić kompresje tego pliku .csv i elo

#python #programowanie

[Tank1991]

@FantaZy: to bardzo dobrze myslisz :)

[Shumitu]

@FantaZy: tekst się całkiem dobrze kompresuje także jest to całkiem spoko opcja. Jak chcesz przyśpieszyć i masz dostęp po ssh to warto rozważyć chociażby rsynca, powinno być szybciej, szczególnie w przypadku gdybyś dorzucił kolejne x milionów wierszy i chciał je "dosłać".

[mrooczilla]

@FantaZy: a ile to wazy? imho szkoda czasu na taki mikroptyalizacje

[FantaZy]

@mrooczilla: 4gb bez kompresji jak testowałem na 10mln wierszy... możliwe że kolumn jest jednak więcej niż 50.. w okolicach 100.

[mrooczilla]

@FantaZy: imho 4gb to nie jest duzo. jezeli tam masz normalne polaczenie internetowe to chyba nie a co kombinowac.

[eloar]

@FantaZy: zawsze możesz przez scp przesłać zipując plik do transportu jak chcesz zaoszczędzić na transferze. Nie widzę problemu z przesłaniem przez FTP pliku ~4GB, to nie jest nie wiadomo ile.

[Kura_Wasylisa]

@FantaZy: Zamień na parquet to się zrobi 500mb z 4gb

[FantaZy]

@Kura_Wasylisa: z tego co widze parquet to jakaś zewnętrzna libka więc raczej nie przejdzie.

[Kura_Wasylisa]

@FantaZy: Nie, to format danych

[Kura_Wasylisa]

@Kura_Wasylisa: Ściągnij sobie pandasa i pyarrow i śmigają

[FantaZy]

@Kura_Wasylisa: czyli ze moglbym najpierw .csv zamienić na parquet, a później jeszcze skompresować?
nie wiem tylko czy ci do ktorych to wysylam ogarną co to ten parquet i jak to odczytać xDDD

[Kura_Wasylisa]

@FantaZy: Parquet sam w sobie już kompresuje dane, wyślesz im jeden plik wielkości kilkuset mb