[dzialkowiecnierolnik]

W robocie pojawil sie taki case zeby wykorzystac mozliwosc obliczen w chmurze. Takie cuda to w ogole nie moja domena. Moglby kto napisac slowa kluczowe jak taki proces zbudowac? Da rade to zrobic na AWSie? Skrypt jest w pythonie.

#programista15k

[zibizz1]

@dzialkowiecnierolnik: może to
https://docs.aws.amazon.com/lambda/latest/dg/lambda-python.html

[arysto2011]

@dzialkowiecnierolnik: lambdy, step functions, albo implementacja sparka. Jest też AWS ParallelCluster.

[BreathDeath]

@dzialkowiecnierolnik: Jakie chcesz obliczenia robić? Potrzebujesz gpu?

[DoubleAxxis]

@dzialkowiecnierolnik zależy jakie obliczenia i ile czasu mogą zająć. Do tego czy 24/7 czy raz na jakiś czas. Generalnie lambdy do obliczeń to średnio bo maksymalny timeout mają 15minut i co prawda skalują się ładnie ale przy większych ilościach wywołań to lepiej iść w jakąś wirtualke. Zacząłbym od ec2 + EFS.

[afuera]

@dzialkowiecnierolnik: normalnie bierzesz sobie vm z ec2 i uruchamiasz skrypt, a nie jakies #!$%@? lambdy czy sparki do skryptu pythonowego XDDD. To co ludzie pod tym tagiem komentują jest zabawne bardzo często

[dzialkowiecnierolnik]

@BreathDeath: @DoubleAxxis

Do temu wskocze w polowie tygodnia. To co wiem to w pythonie mamy napisany algorytm genetyczny do optymalizacji wag dla ML. Wykorzystany jest pytorch. Problemem jest obliczenie wartosci fitness jednego osobnika -trwa to minute. Generacja posiada 100 osobnikow wiec jedna generacja trwa okolo 100 minut. Potrzeba okolo 10-12 generacji do wygenerowania dobrych wag dla mla ale to trwa caly dzien. Plan byl taki ze obliczenie wag zrownoleglic w chmurze.

[kutafonixor]

@dzialkowiecnierolnik: ile mocy obliczeniowe potrzebujesz?

[dzialkowiecnierolnik]

@kutafonixor: @afuera @DoubleAxxis Dzieki za odpowiedzi - wczoraj mialem w robocie sync na temat tego projektu. Backend gadal ze raczej nie bedziemy tego na lambdzie robic bo za duze koszta wiec albo ec2 albo sagemaker. Oni sprawdza ktora platforme wybrac i wroca z odpowiedzia po kolejnym sprincie.