[rosso_corsa]

czesc. mam bardzo duzo danych w plikach csv. potrzebuje tylko czesc danych z tych plikow. jakim sposobem najbardziej poprawnie bedzie te dane wyłuskać? poczatkowo chcialem wczytac caly csv do tabeli w pandas #python i niepotrzebne wiersze pousuwac ale teraz mysle czy nie bardziej optymalnie bedzie czytanie wiersz po wierszu tych csv i dodawanie do tabeli tylko tych rekordow ktore potrzebuje? a moze jeszcze jakos inaczej? #naukaprogramowania #bazydanych

[h.....s]

Where warunek?

[s.....s]

@rosso_corsa: notepad ++?

[burczymu_chastefan]

@rosso_corsa: postaw postgresa, wczytaj, odpytaj o co chcesz i chamsko wypluj przez \o

[l.....k]

@rosso_corsa: po co pandas wystarczą zwykle operacje na txt. Daj sobie że każda linia to osobna lista i filtruj co tam chcesz.

[rosso_corsa]

@burczymu_chastefan: @sutyrips: @luukasek: 150gb ?

[l.....k]

@rosso_corsa: uzyj glob by wyluskac na poczatek pliki interesujace Ciebie, daj je do listy, a pozniej otwieraj kazdy plik z listy i dalej łuskaj.

[Nemeczekes]

@rosso_corsa: skoro 150gb to sobie przerób to na parquet. Zajmie dużo mniej. Pandas/Dask sobie z tym poradzi.

[n0c0Mpr3h3nD]

@rosso_corsa: Python, import csv, with open as CSVFile, with open writeFile as wFile, csv reader(csv file),csv writer(wFile), for row in csv reader, if coś writer. Write(row)

[rosso_corsa]

uzyj glob by wyluskac na poczatek pliki interesujace Ciebie, daj je do listy, a pozniej otwieraj kazdy plik z listy i dalej łuskaj.

@luukasek: o to spoko opcja na pewno sie przyda

parquet

@Nemeczekes: tez piewsze slysze musze obczaic najpierw co to jest za bajer

Python, import csv, with open as CSVFile, with open writeFile as wFile, csv reader(csv file),csv writer(wFile), for row in csv reader, if coś writer. Write(row)

[n0c0Mpr3h3nD]

@rosso_corsa: chociaż jak myślę że jak 150gb to może być IO throttle jak będziesz pisał i czytał po linii, może jednak lepiej w pandas otwierać w chunk.
Masz dużo plików o małym rozmiarze czy mało plików o dużym rozmiarze?

[rosso_corsa]

@n0c0Mpr3h3nD: nieduzo jakies 70 plikow

[l.....k]

glob

@rosso_corsa:
masz tu przyklad:
import glob
allPDF = []
def pliki():

for file in glob.glob("*dd*.csv"):
allPDF.append(file)
pliki()
kazdy plik csv co ma w nazwie dd i jest csv zostanie dodany do listy allPDF. mozesz sobie dowolnie modyfikowac

[rosso_corsa]

@luukasek: no juz odpalilem w ten sposob i śmiga, dzieki

from glob import glob
listaPlikow = glob('D:\bdrozpakowana\*.csv')
print(listaPlikow)

[n0c0Mpr3h3nD]

@rosso_corsa: @luukasek:
Co wy robicie (⇀‸↼‶)

[l.....k]

@rosso_corsa: no i git i teraz dalej for w loopie i otwieraniem plikow i sprawdzanie co wewnatrz

[rosso_corsa]

@n0c0Mpr3h3nD: liste plikow hehe

[l.....k]

@n0c0Mpr3h3nD: dziala? dziala. jakos nie podales innego/ lepszego sposobu.

[rosso_corsa]

@n0c0Mpr3h3nD: @luukasek: dałem 10 plikow do listy i probowalem wczytac w ten sposob ale po paru sekundach zajęło mi 32gb ram i skreszowało spydera i mozille, chyba do ramu wszystko ładował

dataframes = [pd.read_csv(f) for f in listaPlikow]

[n0c0Mpr3h3nD]

@rosso_corsa: rozumiem że potrzebujesz gotowego kodu a nie podpowiedzi?

[rosso_corsa]

@n0c0Mpr3h3nD: nie, googluje tamto co napisales tylko nie wiem co sie dzieje co to robi