[woodywoodpecker]

W mojej firmie zostałem przypisany do nowego projektu o nazwie "Datalake". Ogólnie rzecz biorąc, nikt jeszcze nie wie, czym dokładnie będzie ten projekt, i niewiele osób ma doświadczenie w tym obszarze. Ja zostałem do niego przypisany ze względu na moje umiejętności techniczne, zwłaszcza w zakresie tworzenia makr.

W ramach tego projektu wstępnie takie tematy zostały mi podane: Azure Data Factory, Azure Data Bricks, ADLS Gen2 i PowerBI. Czy ktoś mógłby mi pomóc zrozumieć, czym będzie dokładnie to zadanie i jak mogę się na nie przygotować? Chętnie przyjmę wszelkie wskazówki i sugestie XD
#korposwiat #bazydanych #sql #datascience

[saviola7]

@woodywoodpecker: Będziesz Data Engineerem lub Data Analyst. Ciężko stwierdzić, co będziesz robił. Na twoim miejscu zastanowiłbym się nad przerobieniem materiału potrzebnego do zdania egzaminów Microsoft Azure: DP-900 oraz DP-203.

[ChlopoRobotnik2137]

@woodywoodpecker: w czym te marka piszesz VBA?

[cohontes]

@woodywoodpecker: fajnie, niektórzy daliby się pokroić za taki stack. ( ͡° ͜ʖ ͡°) https://wiadrodanych.pl/page/7/ polecam jechać od pierwszych artykułów.

[woodywoodpecker]

@ChlopoRobotnik2137: yup

[JebawczanRysionu]

@woodywoodpecker: Datalake po polsku bagno danych B) Generalnie będziesz z nieustrukturyzowanych danych tworzył bardziej ustrukturyzowane twory z których będziesz tworzyć ładne tabelki i wykresy lub gdzieś je magazynował w jakimś mongodb albo sql. Sory jeśli mówię oczywistości

[przecietnyczlowiek]

@woodywoodpecker: w databricksach będzięcie pisali skrypty w spark sql albo pythonie typu select from update table insert into. Dane będziecie pobierać ze źródeł w azure data factory i tam też będziecie budować flow, który będzie wam uruchamiał te skrypty. Dane będą lądowały w formacie parquet do ADLS2 gen (storage). W Power BI będziecie z tego raportować.

[av18]

Używam wszystkich tych narzędzi oprócz ADLS. Zamiast niego mam Azure Database

[peoplearestrange]

@woodywoodpecker: no to się ciesz, skoro ciebie w to wrzucili wiedząc, że nie masz expa to będą rozumieli błędy ew wolny postęp, ty nauczysz się data engineeringu na Azure i może zmienisz pracę na lepszą, a jak nie to będziesz miał spoko skilla w zanadrzu i podstawę do negocjacji stawki (pionier w nowych technologiach, projekcie bla bla). Przerób sobie materiały z MS i kup gpt za 25 dolków i jedziesz

[ch1nczyk]

@woodywoodpecker Pracuje na dokladnie takim samym stacku, jeski bedziesz kiedys cos potrzebowal to pisz