Wpis z mikrobloga

#anonimowemirkowyznania
#etl #ssis #sql #bu #hurtowniadanych #dwh
Cześć,
Obecnie w robocie siedzę w BI jako taki analityk biznesowy i klepacz dashboardów ( ͡° ͜ʖ ͡°) Wcześniej pracowałem kilka lat na sql + excel głównie DQL, T-SQL znam w miarę dobrze(cte, windows function itp.). Chciałbym trochę rozszerzyć swoje skillsy o ETL i zacząłem uczyć się SSIS.
Moje pytanie do doświadczonych DWH/ETL Developerów.
Jak to jest z tym SSIS, w jakiej formie go wykorzystujecie? Z tego co widziałem u mnie w korpo wszystko i tak jest na procedurach, które wykonują truncaty, transformacje i inserty. Czy SSIS służy tylko poukładaniu kolejności wykonywania poszczególnych procedur w bardziej przejrzysta formę, ale wszystko i tak jest zaszyte w T-SQL? Ewentualnie obsługa jakiś błędów?
W jakim zakresie według Was nauka ssis ma sens, aby móc się tym pochwalić w CV ( ͡° ͜ʖ ͡°) , a co sobie z nauki tego odpuścić. Trzeba ogarniać wszystkie transformacje dostępne w ssis? Z tego co czytałem robienie tego procedurami jest wydajniejsze.

---
Kliknij tutaj, aby odpowiedzieć w tym wątku anonimowo
Kliknij tutaj, aby wysłać OPowi anonimową wiadomość prywatną
ID: #6300b92fd62dfabca7f8ac9c
Post dodany za pomocą skryptu AnonimoweMirkoWyznania ( https://mirkowyznania.eu ) Zaakceptował: karmelkowa
Doceń mój czas włożony w projekt i przekaż darowiznę
  • 2
Czy SSIS służy tylko poukładaniu kolejności wykonywania poszczególnych procedur w bardziej przejrzysta formę, ale wszystko i tak jest zaszyte w T-SQL?


@AnonimoweMirkoWyznania: generalnie tak, zwłaszcza dla baz sqlowych. SSIS jest orchestratorem, ale transformacje i data cleansing wykonuje się po stronie SQL. Chyba, że w grę wchodzą jakieś importy/exporty z data lakeów, api (tu i się skrypty w c# nawet pisze) nosqli.

W Azure Data Factory może być podobnie, aczkolwiek jest też
OP: @przecietnyczlowiek: dzięki. Oczywiście mówię o bazach sqlowych. Oganianie danych z api, datalakow, big data na razie nawet nie ruszam, z resztą nie mam z tym styczności w robocie i na razie to dla mnie wyższa szkoła jazdy.
W robocie sporo siedzę właśnie z ETL Devem, gdzie mu tłumacze jak dane w finalnym modelu powinny wyglądać, czasami pisze mu gotowy kod w T-SQLu z tej czesci tranformacji, bardziej dla wlasnego