Mirki mam specyficzny przypadek z którym nie mogę sobie poradzić. Mam grupy akcji które są zliczane w bazie danych w agregacji miesięcznej. I chciałbym zrobić sumę rosnącą. Czyli w przypadku wiersza 133 będzie to 4 akcje, W wierszu 134 nic się nie zadziało więc wezmę wartość z tamtego miesiąca funkcją lag, w 135 doszły 2 nowe akcje więc lag+current_value, ale co dalej? żeby nie tworzyć miliona lagów, bo wypełniając każdy kolejny pusty
JaTobieTyMi - Mirki mam specyficzny przypadek z którym nie mogę sobie poradzić. Mam g...

źródło: comment_1648045049MvUPAvwD7E4rERHE5cw4Iu.jpg

Pobierz
@JaTobieTyMi: no nie music robic tysiaca lagow, bierzesz wpisujesz w kolumne i masz, nulle sie nie zliczaja, mozesz sprobowac z opcja ROLLUP.

Ewentualnie zrob sobie jesli masz null case albo coalesce by tego nulla obrobic i wstaw sobie OVER() funcje okienkowa z maxem z ostatniego spartycjonowanego po rodzaju akcji wiersza wtedy wezmie Ci ostatnia wartosc
  • Odpowiedz
#programowanie #gcp #bigquery
#airflow #composer

W dodatkowej robocie zostałem rzucony na wykonanie prostej automatyzacji. Zgodziłem się jednak po otrzymaniu dostępów wyszło że wszystko stoi na gcp, a skrypty są poszczane przez airflow. Nigdy nie pracowałem wiec idzie ciężej niż jak bym miał to puszczać na VMce.

Sprawa wygląda tak że mam tabelę z incydentami i operatorem BigqueryOperator sobie przeszukuje i wypluwam wyniki do nowej tabeli z wykorzystaniem "destinationdatasettable". Następnie pobieram
  • Odpowiedz