Wszystko
Wszystkie
Archiwum
0
Google nie będzie śledził indywidualnej aktywności użytkowników, ale...
Google poinformował na swoim blogu, że „użytkownicy nie powinni się zgadzać na bycie śledzonymi w internecie w zamian za obietnicę oglądania lepiej dopasowanych reklam”. Koncern umożliwi jednak wydawcom korzystanie z danych do segmentowania odbiorców i lepszej wymiany danych z...
z- 0
- #
- #
- #
- #
- #
#holandia #niemcy #expat
Hej Mirki i Mirabelki ( ͡° ͜ʖ ͡°)
Zastanawiam się co zrobić ze swoim życiem... Od momentu ukończenia studiów (mgr inż. na PW), czyli od dwóch lat pracuję i mieszkam w Holandii. Korpo międzynarodowe, inżynier mechanik - konstruktor. Przez kolejne niecałe 3 lata mam przywilej podatkowy - 30% rulling. Chcę przepracować te minimum 5
Co zrobić?
- Management 18.0% (11)
- Niemiecki + przeprowadzka do Niemiec 49.2% (30)
- Data analysis/IT 31.1% (19)
- Inne (komentarz mile widziany :)) 1.6% (1)
- 5
Macie może jakieś dobre materiały albo przykładowe kody, żeby podejrzeć jakieś dobre praktyki?
Jak ogarnąć slow changing dimension? Metadane itp.?
Znacie jakieś dobre repo do którego mógłbym zajrzeć?
#data #bazydanych #programowanie
1. Source - Extract - truncate docelowych tabel i zasilenie ze źródła. Tak jest najszybciej. Nawet jak masz tabele do 100 mln rekordów. Z produkcji zasilamy dane tak szybko jak to jest możliwe.
2. Extract - Stage - zasilenie przyrostowe. I tu już
- 1
Ustawia się to jedną linijką w configu:
spark.conf.set("spark.sql.sources.partitionOverwriteMode","dynamic")
Wybacz też wysoki poziom abstrakcji przy opisywaniu założeń. :)
@inny_89: spoko, generalnie nie zajmuję się hurtowniami jako takimi i nie mam generalnie zbyt dużej wiedzy o pracy z nimi, za to coś tam technicznego ze sparka mogę pomóc ( ͡° ͜ʖ ͡°)
- 455
- 1
@Bulkas: mogę dodać Kraków osobno, nie ma problemu. Postaram się wrzucić osobny dashboard wraz z powyższymi ulepszeniami
czyli nowa wersja zawierać będzie:
* Filtr po rynku (pierwotny/wtórny)
* Mapa z lokalizacją mieszkań (+ postaram się dać możliwość filtrowania po zaznaczonym terenie jak koledzy wyżej wspomnieli)
* Ogłoszenia z innego serwisu (jakiś morizon, albo olx)
w przyszlosci chcialbym zostac inzynierem danych i wykorzystywac uczenie maszynowe.
nie przepadam za fizyka i raczej ten przedmiot uwazam za zbedny w mojej edukacji.
Matematyka, wiem ze jest w tym zawodzie bardzo potrzebna wiec jezeli jest jej duzo to super.
ktory z tych kierunkow bedzie najlepszy
- 3
Mam do speców z #datascience, #machinelearning, #dataengineering i ogólnie #data prośbę o pokierowanie na to jak rozwiązać poniżej opisany poroblem.
Jak widzicie na załączonym obrazku mam rozpisany mocno ogólny ale oddający główną istotę problemu przykład, z którym się mierzę.
Otóż:
1. Mam dwie tablice (dataset.1 i dataset.2) składające się z kolumn: [*id] [Imię] [Nazwisko] [Adres] [Miasto] [NrTel]
2. W dataset.1 bazując na danych teleadresowych, imieniu i
- 2
Dla przykładu znalazłem artykuł autora biblioteki splink którą możesz użyć w Sparku. Jeśli dobrze zrozumiałem, to działa ona właśnie na podstawie obliczania prawdopodobieństwa dopasowań, co zostało opisane we wspomnianym wpisie pod nagłówkiem "How it works".
Polecam sprawdzić interaktywne demo zbliżone do Twojego problemu (znalezione w
- 2
W tygodniu postaram się to sprawdzić w robocie. Jeśli coś z tego wyjdzie to będę wołać z podziękowaniami i wrażeniami. :)
1
Big Data w usługach finansowych: trendy na 2020
Wraz z rozwojem Internetu i technologii ludzkość tworzy i gromadzi coraz więcej różnego rodzaju danych. Takie ilości informacji były do tej pory bardzo trudne do przeprocesowania.
z- 0
- #
- #
- #
- #
- #
- #
Wrocław
Site Reliability Engineer, Online Retailer / DataArt / 12-16K PLN / http://bit.ly/2LifNJf
Kraków
Cloud Engineer with AWS / Philip Morris International SCE / http://bit.ly/3318RXl
DevOps Engineer / Philip Morris International SCE / http://bit.ly/2LBHflE
DevOps Engineer - Hadoop / HSBC Service Delivery (Polska) / http://bit.ly/30HKVqP
DevOps Service Manager / HSBC Service Delivery (Polska) / http://bit.ly/31M4KxF
MS Azure Hybrid Cloud Engineer / HSBC Service Delivery /
- 2
Komentarz usunięty przez autora
Komentarz usunięty przez autora
6
PZU obiecuje bezpłatne ubezpieczenie wakacyjne dla dzieci. Ceną są dane rodziców
Ktoś ma wątpliwości, że dane będą walutą przyszłości? PZU w ramach akcji „Wakacje z PZU. Bezpieczne dziecko” oferuje bezpłatne ubezpieczenia dziecka do końca wakacji szkolnych. W zamian za dane rodziców.
z- 2
- #
- #
- #
- #
- #
- #
https://porady.emodi.pl/jak-zmienic-czas-w-zegarku-g-shock/
#zmianaczasu #czas #czasletni #czaszimowy #zegarek #zegarki #zegarkiboners #data #casio #gshock
- 1
#przegryw ##!$%@? #stulejacontent #data #dataisbeautiful #tinder #zwiazki #seks #logikarozowychpaskow #logikaniebieskichpaskow #p0lka #tfwnogf #feels
Komentarz usunięty przez autora
- 1
- 6
Zapewne wielu posiadaczy G-SHOCKów będzie szukać instrukcji :P
Poniżej, krótki wpis jak zmienić czas w zegarku G-SHOCK?
https://porady.emodi.pl/jak-zmienic-czas-w-zegarku-g-shock/
#zmianaczasu #czas #czasletni #czaszimowy #zegarek #zegarki #zegarkiboners #data #casio #gshock
A tu kilka ciekawych modeli od Casio https://www.emodi.pl/produkty-produkt:shock-casio,producent:casio.html
Komentarz usunięty przez moderatora
Komentarz usunięty przez moderatora
pon - javascript & Kraków, wt. - php & Wrocław, śr. - java, Scala & C++ / Trójmiasto, czw. - Python & Seniorzy WWA, pt. - Mobile & Ruby, sob. - testing
To co jeszcze polecacie w celu przygotowania się do egzaminu DP-203 na #azure
Jakieś książki, materiały, kursy?
#microsoft #programowanie #cloud #data