[JamesJoyce]

Trenuję modele uczenia maszynowego na procesorze w laptopie wartym 3k, dla wielkiego międzynarodowego banku. Kiedy biznes wreszcie zrozumie, że jak chcą jakość, to muszą płacić za infrastrukturę? Z drugiej strony, mam możliwość podbicia swoich umiejętności w podstawach ml. Sam siebie oszukuję

#datascience #programista15k #sztucznainteligencja #programowanie

[brakloginuf]

Trenuję modele uczenia maszynowego na procesorze w laptopie wartym 3k

@JamesJoyce: tak, z cala pewnoscia ta wydajnosc pozwala na jakiekolwiek trenowanie ( ͡° ᴥ ͡°) bitcoiny na nintendo 64 tez kopales?

[JamesJoyce]

@brakloginuf: Oczywiście, że pozwala. Scikit learn jest akurat mocno przystosowany do takich zastosowań, plus nie każde zadanie jest oparte na Big Data.

[motoinzyniere]

Oczywiście, że pozwala. Scikit learn jest akurat mocno przystosowany do takich zastosowań, plus nie każde zadanie jest oparte na Big Data.

@JamesJoyce: Wyczuwam bardzo mocny overfitting :)

[zibizz1]

@JamesJoyce: Nie badzie w banku VMów? Zazwyczaj łaczysz się ze zdalna maszyną która ma moc do prac biurowych i 3 miesiące walczysz żeby dali przyzwoity hardware

[JamesJoyce]

@motoinzyniere: niby tak, ale zazwyczaj tam jest np dataset treningowy na 1500 wierszy i do tego kilka ficzerów. Kolejne datasety do klasyfikacji przez model są bardzo podobne do tych, na których był trenowany i działa.

[JamesJoyce]

@zibizz1: tak było w poprzednim banku, w którym pracowałem kilka lat temu, że łączyłem się z jakimś titanem przez anaconde. Tutaj nie. Nie ma kompletnie nic. Żadnej infrastruktury. Wszystkie modele przez to są niesamowicie proste i trzeba pisać tonę kodu, który dzieli większe datasety, przesyła porcjami do treningu itd.

[cohontes]

@JamesJoyce: cóż to za bank ( ͡° ͜ʖ ͡°)

[D00msday]

@JamesJoyce: Co? XD
Nie możecie ogarnąć sobie jakiegoś środowiska na Paperspace, albo czymś podobnym? Przecież to są grosze...

[JebawczanRysionu]

@D00msday: ale to on ma płacić za narzędzia do pracy? Myślisz że korpo ci klepnie takie prośby? Będą pewnie 5 lat debatować czy warto zapewnić to pracownikowi

[JamesJoyce]

@D00msday: nie, bo security. Colab też nie. Ba, nawet binarki zapisanych modelów bywają blokowane przez sec, bo przez nie można malware przemycić (｡◕‿‿◕｡)

[JamesJoyce]

@#!$%@?: jest dokładnie tak. Czekanie aż np. nowa wersja pandasa zostanie zaklepana przez sec trwa kilka miesięcy xd

[mrocznapszczola]

@JamesJoyce: jeśli masz tak małe zbiory, że opłaca się je ściągać lokalnie to i laptop jest wystarczający. Zakładam, że bank nawet nie ma etl-a z prawdziwego zdażenia tylko podrzędnych DS, którzy piszą wszystko w notebookach na miliard celli

[JamesJoyce]

@mrocznapszczola: trochę tak. Jest tona spaghetti kodu w pandasach. Ja tam jestem kontraktorem na projekcie, więc jest mi to obojętne, bo za jakiś czas i tak spadam.