[smalbear]

#python #programowanie #dataengineering

Hej wszystkim, na codzień używam pythona ale do #datascience w pracy.

Chciałbym postawić sobie dwa dashbordy/raporty dla samego siebie. Z programistycznego punktu widzenia wiem dokładnie co chce zrobić i co ma być efektem końcowym. To czego nie wiem w to jaki sposób to zrobić bo w pracy dodaje nowe procesy na #airflow jednak nigdy nie stawiałem takiego czegoś u siebie (mam kompa z Windowsem więc nie wiem czy jest to możliwe) a może jakieś zamienniki Airflow.

Może ktoś umiałby doradzić w jaki sposób stworzyć taki proces? Dodatkowo czy mógłbym to hostować na swoim kompie czy potrzebuje jakieś zewnętrznej maszyny? W przyszłości chciałbym się pobawić z danymi z czujnikami temperatury, wilgotności ect. ( #arduino czy #raspberrypi).

Poproszę o każdą poradę jak to zrobić najbardziej sensownie.

[cohontes]

@smalbear: ale airflow to praktycznie narzędzie to schedulowania jobów. Napisałeś tak ogólnie, że nikt nie wie o co chodzi.

[smalbear]

@cohontes: W sumie w skrócie zależy mi na postawieniu airflow (nie wiem czy na swoim komputerze czy na zewnętrznej maszynie) i odpalaniu procesów cyklicznie. Dodatkowo chciałbym móc gdzieś wyświetlać dashboard. Nie wiem czy jest to bardziej czytelne?

[cohontes]

@smalbear: a skąd dane? a co ja ma przetwarzać, gdzie dane mają być ładowane, co ma wyświetlać raport?

[arysto2011]

@smalbear: Streamlit, dashly, albo cos bardziej zlozonego typu kibana

[smalbear]

@cohontes: Dane będę pobierał z api i zapisywał do csv (taki format mi wystarczy) lub do SQLlite (innej bazy danych). Chciałbym je przetwarzać za pomocą procesu pythonowego. Dane te by zaciągał wtedy dashboard że miałbym najnowsze dane.

[smalbear]

@arysto2011: Tak myślałem o Streamlit ale nie wiem tylko w jaki sposób to hostować (aby dashboard był dostępny cały czas online).

Musze poszukać informacji o tym

[arysto2011]

@smalbear: potrzebujesz maszyny do uruchomienia airflow i publicznie dostepnej strony do wyswietlania danych wynikajacych z tego prcesu.Do ogarniecia u kazdego dostawcy chmury. Mozesz tez postawic takie cos lokalnie. Ale airflow nie bedzie banglc na windzie. WSL, albo linux obok.

[arysto2011]

Tak myślałem o Streamlit ale nie wiem tylko w jaki sposób to hostować (aby dashboard był dostępny cały czas online).

@smalbear: Maszyna wirtualna z dostepem do internetu z zewnatrz. Na AWS robilem tego dziesiatki. Koszt wirtualki na minimalnych ustawieniach to jakies 3$ miesiecznie.

[smalbear]

@arysto2011 tylko AWS z tego co pamiętam jest drogi a jak robię prywatnie to chciałbym zminimalizować koszty.

[arysto2011]

@smalbear: Możesz płacić za prąd na RPi albo laptopie. Moim zdaniem 3$ to mało.

[smalbear]

@arysto2011 tak właśnie sobie policzyłem że ta najmniejsza instancja EC2 jest za około 3-5usd. Może faktycznie tak zrobię

[arysto2011]

@smalbear: Jak nic nie robiłeś dotąd na AWS, to t1.micro masz za darmo na rok w ramach promocji.

https://aws.amazon.com/free/

[arysto2011]

ale nie wiem tylko w jaki sposób to hostować

@smalbear: https://discuss.streamlit.io/t/hosting-streamlit-with-aws-ec2/234

[arysto2011]

Dane będę pobierał z api i zapisywał do csv (taki format mi wystarczy) lub do SQLlite (innej bazy danych). Chciałbym je przetwarzać za pomocą procesu pythonowego. Dane te by zaciągał wtedy dashboard że miałbym najnowsze dane.

@smalbear: To potrzebujesz s3, albo rds do zapisu danych, lambdę do odczytu i przekazania do ec2, które będzie utrzymywało dashboard.

[peoplearestrange]

W sumie w skrócie zależy mi na postawieniu airflow (nie wiem czy na swoim komputerze czy na zewnętrznej maszynie) i odpalaniu procesów cyklicznie

@smalbear: w sumie sam sobie odpowiedziales. Stawiasz vmke na niej uruchamiasz airflow. Kazda chmura dostarczy rozwiazanie