Wszystko

Wszystkie

Archiwum

kijanu_riws
kijanu_riws
  • 1
Siema mireczki, jakiś czas pracuję już w #it, mimo że moje wykształcenie inżynierskie nie jest z branżą związane. Ostatnio wpadł mi do głowy pomysł rozpoczęcia #doktorat z wolnej stopy właśnie w obrębie #dataengineering któym się zajmuję. Wiecie może czy żeby podjąć się takiego doktoratu magistra/inżyniera muszę mieć z informatyki? Zastanawiam się też nad wyborem uczelni, ma ktoś może jakieś doświadczenia z rekrutacją (jakie są wymagania) oraz z samymi studiami? #studia #
JamesJoyce
JamesJoyce
  • 1
Trzy tygodnie temu, chcąc zmienić pracę wysłałem ok. 40 cv. Czas odpowiedzi różny, od jednego-dwóch dni do 2-3 tygodni. Wydaje mi się, że nastąpiły pewne zmiany w porównaniu do ostatniego czasu, kiedy gdzieś aplikowałem (ok 2 lata temu), przynajmniej w moim stacku, związanym z danymi (data engineering, bi i ai).

Z reguły jest więcej etapów rekrutacji i jest ona trudniejsza. Miałem rozmowy, które trwały np. 1,5h i na których zadano kilkadziesiąt pytań.
arysto2011
arysto2011
  • 1
@JamesJoyce: Jestem Senior Data Engineer i nigdy nie wysłałem więcej niż 3 CV. Wysłanie 40. to dla mnie abstrakcja. Bardziej zajmujesz się BI niż DE i pewnie Tableau a nie chmury i przetwarzanie rozproszone. Jesteś BI i tyle.
  • Odpowiedz
programistalvlhard
programistalvlhard
  • 2
#programista15k siema, powoli przymierzam się do zmiany języka ze #scala na #python i stąd moje pytanie. Ma ktoś jakiś kurs do polecenia który wprowadzi w język i wszystkie jego zakamarki ale bez łopatologicznego wyjaśniania ala kurs from zero to hero np czym jest string itp itd.

Musze przeskoczyć na pajtona bo swoje co mogłem to zarobiłem na klepaniu #dataengineering w Scali i teraz 85-90% ofek to Python, a po zakończeniu kontraktu nie
Oo-oO
Oo-oO
  • 1
@programistalvlhard: szkoda czasu na kursy, postaw sobie środowisko i wskakuj w dokumentacje frameworków, tensorflowy, numpy czy co to się tam w tym datascience używa, moim zdaniem szybciej i lepiej to ogarniesz, a doku będziesz musiał przeczytać prędzej czy później tak czy siak
  • Odpowiedz
pustelnikk
pustelnikk
  • 1
Mam taki problem, że nie mogę przejść do kolejnych etapów rekrutacji w #datascience
Miałem rozmowy w #pkobp czy różnych firmach (średniej wielkości; marketing czy sektor energetyczny). Ogólnie jest postęp, wrzuciłem kilka niedużych projektów w colab do CV (głównie klasyfikacja w scikit, ale też różne implementacje algorytmów) i od tego czasu średnio co tydzień czy dwa mam zaproszenie na rozmowę lub test (pandas/sql). Niestety nie przechodzę dalej. Same rozmowy czy testy idą mi
kraggthegrimm
kraggthegrimm
  • 1
@pustelnikk: spytaj się o feedback po rozmowach. Cześć firm zachowuje się proaktywnie i wysyła od razu podsumowanie plusów i minusów. Niektóre tego nie robią, ale wewnętrznie powinni mieć w papierach ocenę twojej rekrutacji.
Po prostu spytaj się o to i dowiesz się co powinieneś poprawić.
  • Odpowiedz
PiotrokeJ
PiotrokeJ
  • 1
#powerbi #programowanie #lowcode #dataengineering
Potrzebuje wykonać interfejs dzięki któremu osoba z biznesu będzie mogła wybrać z listy rozwijanej lub wpisać ręcznie nazwy produktów (które będą wyświetlane na podstawie danych z bazy w azurze), i na podstawie wybranych elementów wygeneruje plik excel. Plik excelowy będzie dosyć specyficzny (muszę wykonać formatowanie, odpowiednią kolejność kolumn, itd). Jak byście to rozwiązali? Czy jest sens stawiać dashboard powerbi i tam stworzyć jakieś elementy które poflirtują dane w
PiotrokeJ
PiotrokeJ
  • 0
@Sad_poyato: @przecietnyczlowiek O ile cały flow rozumiem, tak problem pojawia się w specyficznym formacie pliku excelowego. Danę mogę wrzucać tylko w niektóre komórki - reszta komórek ma zostać nietknięta. Czy da radę zrobić to jakoś makrem w locie albo jakimś skryptem? Nie mogę wstawić całej tabeli bo plik excelowy musi mieć specyficzne formatowanie.
  • Odpowiedz
Sad_poyato
Sad_poyato
  • 0
@PiotrokeJ: raz robiłem takie rozwiązanie gdzie dane musiał być wrzucone w bardzo restrykcyjną formatkę. Stworzyłem najpierw plik jak wyżej, na jednej stronie raport zaciągał dane i ustawiał pivota ze wszystkimi niezbędnymi wynikami i liczbami, a następnie zrobiłem makro które użytkownik odpalał przyciskiem, i które tworzyło nową stronę z odpowiednio sformatowanymi danymi na podstawie inputu z pbi.
  • Odpowiedz
E.....e
E.....e
  • 3
Jak oceniacie rynek #snowflake w Polsce? Mam opcję certyfikowania się ze Snowflake'a u siebie w firmie i zastanawiam się, czy brnąć w to dalej, jak zrobię sobie podstawowy certyfikat. Bardzo mi się podoba póki co, ale zastanawiam się czy jest sens się specjalizować z jednego konkretnego data platform.
#programista15k #dataengineering #businessintelligence #pracait
E.....e - Jak oceniacie rynek #snowflake w Polsce? Mam opcję certyfikowania się ze Sn...

źródło: comment_1671400048GKrkL0zaERFgoqshDIFC9C.jpg

Pobierz
arysto2011
arysto2011
  • 2
@ElMatadore: Po co CI rynek Snowflake w Polsce? Data Science i Data Engineering to rynki globalne. Możesz sobie mieszkac w Polsce, ale pracy to szukaj raczej za granicą. To tam jest większość RnD i zastosowań BigData.
  • Odpowiedz
Kormoran123
Kormoran123
  • 1
@ElMatadore: ja bym w to szedł, jeśli bym miał możliwość pracy w tym. Koniec koncow i tak na projekcie musisz wybrac jeden konkretny data platform, obojetnie czy to bedzie synapse, databricks, czy moze snowflake. Wszystko dziala na podobnej zasadzie, wiec na pewno lepiej jest miec doswiadczenie w przynajmniej jednym, niz zadnym.

Co do samego snowflake, to tez ostatnio widze hype na to, zarowno w sieci, jak i u klientow. Moja firma
  • Odpowiedz
cohontes
cohontes
  • 1
@cohontes: dobra może przyda się potomnym, w pre copy scripcie można dać select na parametr z tableName wtedy w inpucie będzie widziana nazwa tabeli własnie w pre copy scripcie
  • Odpowiedz
JamesJoyce
JamesJoyce
  • 1
Jak myślicie, czy trend i popularność w obszarze analizy danych zmienia się z #datascience na #dataengineering? Pracuję jako datascientist już trochę lat i wiem jak to wygląda od podszewki, i widzę że większość firm nie ma odpowiednich danych/nie wie co chce z nimi zrobić. Plus firmy chcą się chwalić że robią SI.

Wydaje mi się też, że ofert pracy jest trochę mniej niż np rok-dwa lata temu. Z drugiej strony, widzę
przecietnyczlowiek
przecietnyczlowiek
  • 5
@JamesJoyce: ja pracuje w firmie która robi i DS i BI i tego drugiego sprzedaje się 10x więcej. Data science to buzzword, kręci zarządy i odblokowuje duże budżety ale nic po tym gdy menago w firmie nie wie ile wczoraj sprzedał, ile ma zysku albo ile na stocku. Albo gdy musi czekać aż ktoś mu ręcznie taki raport w excelu zrobi.
  • Odpowiedz
kijanu_riws
kijanu_riws
  • 2
Siemka mireczki, jestem mid developerem w #businessintelligence. Zajmowałem się naprawdę różnymi rzeczami, zaczynając od PowerBI i DAX, po Data Engineering w AWS i Azure z Pythonem, zrobiłem też certa z Data Science, bo firma potrzebowała dodatkowej osoby z certyfikatem żeby coś tam uzyskać od MS.
Ogólnie dość sporo się uczę różnych rzeczy, ale mam wrażenie że przez to na niczym się porządnie nie znam ( ͡° ͜ʖ ͡°
cohontes
cohontes
  • 3
@kijanu_riws: o to tak jak ja, DS, chmury, data engineering, powerbi, daxy, sqle, pandasy, sklearny, r , tablo a finalnie potem wszystkiego liznąłem ale nigdzie człowiek nie jest ekspertem ( ͡° ʖ̯ ͡°)
  • Odpowiedz
JaTobieTyMi
JaTobieTyMi
  • 0
Jeżeli mielibyście wybrać ścieżkę rozwoju #dataanalyst #dataengineering w chmurze to lepiej #azure czy #gcp? Pracuje w dużej firmie #bigdata, wszystkie certyfikaty są sponsorowane przez firmę, ale nie chce się uczyć dwóch technologii jednocześnie i chciałbym się określić. Technologia zależy głównie od projektu, większą wiedzę mam obecnie z GCP.

Z certow mam
AZ-900
DP-900
Google Digital Leader

#analityk #pracait #googlecloud
przecietnyczlowiek
przecietnyczlowiek
  • 1
Chciałbym zamiast BI/ETL developerem, zostać Data Engineerem. Czego powinienem się uczyć?

Co umiem:
-SQL, T-SQL
-ETL toole (Azure Data Factory, SSIS i inne)
-Raportowanie: Power BI, Excel, Tableau, Reporting Services
-trochę PowerShell
-projektowanie i modelowanie hurtowni danych
-biznesowo rozumiem m.in. finansówkę, inventory, sprzedaż, zakupy (umiem zrobić PnL, wiekowanie zapasów, multi currency etc.)
-specyfika różnych systemów ERP
-podstawy pythona

Czego powinienem się uczyć?
-?
-?
-?

Czego się uczę obecnie
-Python: pandas
-Airflow
GaiusBaltar
GaiusBaltar
  • 2
@przecietnyczlowiek: Moim zdaniem Linux - tj. ogólna znalomość systemów unixowych tak, aby dostać dostęp przez SSH do czegoś, i nie panikować kiedy trzeba wykonać kilka komend, coś przepajpować i następnie posłać wyniki do SQLowej (lub nie) bazy danych.

Aktualnie sam szukam kogoś kto nadaje się do tematów bazodanowych. Coś pomiędzy Data Engineer a Business Analyst. W każdym razie, stack większości zintegrowanych u mnie systemów jest mocno linuksowy, i taki pozostanie. Ze
  • Odpowiedz
Nie_wiem_jak_sie_nazwac
Nie_wiem_jak_sie_nazwac
  • 0
Czolem #bigdata #dataengineering
Znacie jakieś pozycje książkowe/serię artykułów, które są biblią bigdata? Chodzi mi o wysoko poziomową prezentacje tematu, rodzaj wstępu zawierający może ogólne pojęcia tj data lake, etl, może ogólne przedstawienie narzedzi. Chciałbym zacząć iść w tą stronę, więc chce sprawdzić i podbudować swoje zrozumienie tematu
Dzięki z góry
  • Odpowiedz
belgo_freight
belgo_freight
  • 2
@jedrek1212 niekoniecznie musisz znać NL żeby się zatrudnić. Profesjonalny ENG w zupełności wystarczy.
Dam ci zabawny przykład, tydzień temu znajomy pomagał Ukraince meldować się w gminie jako uchodźca, było to w czwartek, gmina mała, kiedy poznali jej zawód z miejsca zaproponowali jej pracę ktora zaczęła w poniedziałek. Pracowała w Kijowie dla firmy IT, tu w Belgii poniżej jej możliwości ale na początek nie ma co marudzić bo gmina w pakiecie dorzuciła jej
  • Odpowiedz

Powiązane tagi