Tak z ciekawości, w wąsko pojętej inżynierii danych (czyli nie data science, nie analiza danych, tylko Big Data, ETLe, Sparki, Kafki, streamowanie itp.) też jest lipa z ofertami? Pytam, bo wypadłem ze śledzenia rynku pracy, stawki w zasadzie są te same co były, większość ofert jak było, tak jest remote, więc wydaje się, że jest dużo lepiej niż w reszcie specjalizacji. Nawet wydaje mi się, że jest więcej ofert na entry-level, czego
też jest lipa z ofertami?


@blehblehbleh: Jest ciut gorzej niż było jeszcze rok temu. Ostatnio zmieniałem robotę i na trzy rozmowy miałem dwie oferty a dwie kolejne rozmowy urwały się w trakcie z powodu znalezienia już kogoś innego. Finalnie 2/5. Rok temu było 3-4/5
  • Odpowiedz
Pytam, bo wypadłem ze śledzenia rynku pracy, stawki w zasadzie są te same co były, większość ofert jak było, tak jest remote, więc wydaje się, że jest dużo lepiej niż w reszcie specjalizacji. Nawet wydaje mi się, że jest więcej ofert n


@blehblehbleh: Jest tego trochę mniej, ale im wyższy level, tym więcej ofert. Na entry level nie widzę tego zbyt dużo ostatnio, za to roboty dla seniorów/#!$%@? czy nawet leaderów
  • Odpowiedz
✨️ Obserwuj #mirkoanonim
Mirki, wybieram się w tym roku na studia podyplomowe big data. Zastanawiam się nad Politechniką Warszawską i SGH. Macie jakieś opinie na temat tych studiów? Które byście wybrali? Który program wydaje wam się lepszy?
1. https://www.sgh.waw.pl/studia-podyplomowe-i-mba/transformacja-cyfrowa/studia-podyplomowe-inzynieria-danych-big-data
2. https://ds.ii.pw.edu.pl/bigdata.html

#bigdata #korposwiat #programista15k #programowanie



· Akcje: Odpowiedz anonimowo · Więcej
✨️ Obserwuj #mirkoanonim
Pracuje od kilku lat w #testowanieoprogramowania jednak widzę że ilość ofert na stanowiska testerskie jest coraz mniejsza.
Myśle o zmianie zmianie na #bigdata #analizadanych #datascience #businessintelligence bo ilość ofert w tym obszarze jest kilka razy większa niż na #qa.
Doświadczenie mam głównie jako tester manualny, znam podstawy pythona i js (używane do testów automatycznych).
Jaki kierunek byłby dość naturalnym rozwojem z QA w kierunku pracy z danymi? Ogólnie
  • Odpowiedz
Mam pytanie uzupełniające do mojego wczorajszego pytania o sortowanie.
Dataframy mi się sortują ładnie. Teraz pytanie - czy taki posortowany dataframe mogę zapisać jako posortowany parquet?
Bo zwykłe zapisane posortowanego df niestety nie daje oczekiwanego rezultatu i parquet (a potem external table z tego parqueta) nie są posortowane po tej kolumnie co dataframe.

Pewnie jest opcja, że się nie da, bo tabela to logiczne dane, a nie posortowany zestaw danych?


#pyspark #
@LucaJune Z tego co wiem to nie da się osiągnąć sortowania w parquet, ze względu na sposób w jaki zapisuje on dane (kolumny). Z reguly sortowanie musi odbyć się jeszcze raz po wczytaniu.

Jeśli twój DF jest dość mały, możesz spróbować zapisania go jako jedna partycja (df.coalesce(1)), wtedy sortowanie powinno być zachowane, ale tracisz obliczenia na wielu klastrach.
  • Odpowiedz
Mam w Synapsie Analytics dataframe złożony z joinów z 10 innych dataframów, nic przesadnie skomplikowanego.
Ale chcę to posortować i .orderBy(col("nazwakolumny").desc()) mi nie działa.

Jako ciekawostka - w jednym notebooku mi to ładnie działa, a w innym nie.

Nie wywala błędu, tylko po prostu nie sortuje.

Jakieś pomysły? Nie mam jakichś funkcji dociągniętych czy co?

#pyspark #synapse #bigdata #python
????Odblokowanie mocy GPT: Ściągawka główna + 5jailbreak???? i Ściągawka CodeInterpreter GPT [Lite] ????
https://https://angonpl.gumroad.com/

W stale zmieniającym się krajobrazie sztucznej inteligencji jedną z najbardziej rewolucyjnych technologii, jaka się pojawiła, jest GPT (Generative Pre-trained Transformer) OpenAI. GPT okazał się przełomowy w różnych dziedzinach, od przetwarzania języka naturalnego po generowanie kreatywnych treści. Aby w pełni wykorzystać potencjał GPT, zarówno entuzjaści, jak i profesjonaliści sięgają po kompleksowe zasoby, takie jak ściągawki i przewodniki. W
chatman - ????Odblokowanie mocy GPT: Ściągawka główna + 5jailbreak????  i Ściągawka C...

źródło: hackerser2

Pobierz
@benxz kilka przedmiotów brałem po angielsku, matematyczne - bez różnicy w poziomie, jak wiążesz przyszlosc z ekonometrią to polecam by liznąć jezyka specjalistycznego, jak nie to odradzam bo to dodatkowa przeszkoda w uczeniu się; reszta wg mnie trochę łatwiejsze, tj więcej zaliczania projektami czy prezentacjami. Ale to było w 2016, więc nie wiem, czy info aktualne
  • Odpowiedz
Statystyki YouTube są zadziwiające. Ciężko uwierzyć że działa tak sprawnie i są w stanie skalować tak ogromny ruch i objętość treści.

⚪️ W czerwcu 2022 roku na YouTube co minutę dodawano ponad 500 godzin materiału wideo. To oznacza, że co godzinę pojawiało się około 30 000 godzin nowej treści. Na dodatek to CDNy, więc wszystkie treści i serwery są w kilku kopiach.

⚪️ Codziennie oglądamy ponad 1 miliard godzin filmów n
janjanuszziom - Statystyki YouTube są zadziwiające. Ciężko uwierzyć że działa tak spr...
  • 40
YouTube brought in $7.7 billion in advertising revenue in its second quarter, reversing the prior trends of a downturn.


@Jakie: Nieprawda. Od dawna YT jest rentowny i przynosi dochody. Nie wiem dlaczego ludzie wygadują bzdury, które im się wydają jako fakty. Bezsens... Wszystko możesz sprawdzić w kilka sekund, ale lepiej pisać jako pewniak coś co sobie wymyślasz i jedynie wprowadzasz ludzi w błąd. Taki komentarz ma ujemną wartość informacyjną. Pewnie sobie
  • Odpowiedz
  • 18
Porównywanie YouTube do np. Netflixa jest bardzo głupie. Może Netflix ma dużą oglądalność, ale tutaj istotne jest jedynie obsłużenie dużego uploadu. Samych treści na Netflixie jest strasznie malutko względem YouTube. Tyle co nic. Muszą obsłużyć jedynie duży ruch ale danych do przechowywania mają nieporównywalnie mniej.
  • Odpowiedz
Robię model profitowości kontraktów handlowych w #pracbaza i chciałbym podpiąć pod niego prosty model machine learning, który na podstawie wstępnej propozycji handlowca proponowałby zoptymalizowane parametry takiego kontraktu, tak aby dążyć do maksymalnej profitowości.

Coś w stylu, że tutaj damy trochę większy rabat, tutaj dla nas ciut większa prowizja, klient prawie nie zauważy, a dla nas to będzie znacząca różnica w profitowości takiego kontraktu.

1. Ile czasu realnie coś takiego mogłoby zająć? Cośtam
MarteenVaanThomm - Robię model profitowości kontraktów handlowych w #pracbaza i chcia...

źródło: image

Pobierz
@MarteenVaanThomm: jak masz dużo danych i ich model nie jest raczej skomplikowany to sieci neuronowe mogą łatwo być overkillem - model użyj jaki chcesz, ale nie przesadzaj z jego wielkością. Nie wiem też co dokładnie chcesz osiągnąć i dlaczego nie można tego po prostu policzyć. Jeśli masz zbiór zatwierdzonych "optymalnych" kontraktów i chcesz włożyć nowy nieoptymalny kontrakt aby go poprawić to możesz tu zastosować maszynę Boltzmanna. Ewentualnie zastosować redukcję wymiarowości, wyznaczyć
  • Odpowiedz
@Bejro: dzięki bardzo, sporo ciekawych rzeczy piszesz.

Jeśli chodzi o równanie do średniej to tutaj nie zda to egzaminu. Dlatego, że jeśli mamy parametr X (jakaś opłata_2 powiedzmy) dla klienta równa 100, a w modelu referencyjnym, tym najbardziej profitowym ten parametr dąży do 20, to równanie 100 do 20, czy nawet 50 nie ma sensu, bo klient na to nie pójdzie. Nie chcemy tutaj przerabiać każdej propozycji kontraktu pod jeden słuszny
  • Odpowiedz
Wrzuciłem swojego Google Docsa #zbieramnatesle do ChataGPT4/Code Interpreter i poprosiłem go, by wygenerował dla mnie wykres "Skumulowane wpłaty (na zakup akcji Tesli) i wypłaty, oraz średnia cena akcji na przestrzeni czasu".

Trochę informacji na temat samego wykresu:



Chcielibyście więcej takich wykresów co miesiąc? :) Jakie macie inne pomysły na wykresy przedstawiające dane akcji #zbieramnatesle

#chatgpt #zbieramnatesle #januszeinwestowania #gielda #tesla #wykresy not quite #bigdata yet #chartporn
anonimowy_programista - Wrzuciłem swojego Google Docsa #zbieramnatesle do ChataGPT4/C...

źródło: wykres

Pobierz
✨️ Obserwuj #mirkoanonim
Pytanie do osób w branży odnośnie ścieżki kariery w obszarze danych.
Od jakiegoś czasu uczę się w kierunku analizy danych: statystyka, sql, python (Pandas , NumPy), PowerBi. Ale z tego co ludzie piszą na grupkach juniorskich czy na takiej grupce związanej z PowerBi to że do analizy danych czy też na bi developera jest zatrzęsienie chętnych i ciężko się będzie dostać. No i tak zastanawiam się czy jest sens
via mirko.proBOT
  • 6
Anonim (nie OP): Coraz głupsze te zarzutki. Jak chcesz pracować w analizie czegoś jak sam nie potrafisz wyszukać w necie informacji o potrzebnych skillach. Bez jaj chłopaku. W życiu bym cię nie zatrudnił. Prowadzę sporo rekrutacji w roli technicznego i pierwsze czego oczekuję to samodzielności w myśleniu a nie podawania na talerzu. Danych tak nie dostaniesz. Dramat po prostu...

  • Odpowiedz
@mirko_anonim:
Kolejna branża, która jest zasrana pożal się Boże juniorami.
Wystarczy przejrzeć linkedina i content związany z BI, gdzie ludzie myślą, że są nie wiadomo jakimi analitykami, bo zrobili prezentację o kawie ze starbucksa na już obrobionym data secie xD.
Albo zestawić zasięgi twórców, którzy na filmikach pitolą jakieś ogólniki, a kozak content o daxie ma wielokrotnie mniej subskrypcji/wyświetleń.

My się przecie nauczyli wykres robić w PowerBI i selecta też umiemy,
  • Odpowiedz
@ithilcrackk: @Mistymay @nikodem-dabrowski nie wiem skąd info o siedmiu minutach...

W zeszłym roku ostatnia osoba przyjęta na niestacjonarne studia big data miała czas 12:00:27 :) czyli niecałe pół minuty :p

a jeśli chodzi o kierunek studiów, to uważam że jest całkiem spoko, pod warunkiem że rzeczywiście jesteś zainteresowany tematyką
Ja akurat pracuję jako data engineer, ale chciałem poszerzyć swoje horyzonty (i toolkit) o zrozumienie metod uczenia maszynowego, poznania różnych sposobów modelowania
  • Odpowiedz
✨️ Obserwuj #mirkoanonim
TL;DR: szukam rad odnośnie ścieżki kariery w obszarze data.
Cześć, po wakacjach będę bronił inżynieria z automatyki jednak nie będę szukał pracy w branży. Zainteresowałem się tematem przetwarzania danych i od jakiegoś czasu uczę się SQL, pythona i power bi. Generalnie to mam pomysł taki żeby z tym stackiem po wakacjach szukać pracy. Jednak chciałbym się Was dopytać czego się warto uczyć dalej? Jakie są trendy na rynku i
Siedzę w data od nastu lat. SQL na 100%, ale musisz liznąć przynajmniej jeden enterprise (MSSQL albo Oracle) i jeden OpenSource (pgSQL albo MySQL).
Najlepsza opcja będzie MSSQL + pgSQL bo cały życzliwy świat ma albo chciałby mieć oracle w czterech literach. Jednakże to wymusi na Tobie przynajmniej średnia znajomość Windows + Linux już na początku (co jest dobre długoterminowo oczywiście).
Później w zależności od Twoich wyborów, sprawdź ich rozwiązania DBaaS na
  • Odpowiedz
✨️ Obserwuj #mirkoanonim
Mirki mam pytanie o przyszłość i stan rynku IT, uczę się w kierunku analizy danych chce iść w kierunku DA/BI stack: sql, power bi, podstawy pythona. Potem w chciałbym do tego dołożyć clouda i iść w kierunku data engineering/cloud engineering. Na jednej z grupek juniorskich jakaś babka pisała że zapotrzebowanie na juniorów w analizie danych będzie spadać bo do Power Bi wchodzi copilot. No i pytanie do Was czy
18+

Zawiera treści 18+

Ta treść została oznaczona jako materiał kontrowersyjny lub dla dorosłych.