Wpis z mikrobloga

@majsterV2: Jaki jest sens zabawy w ML jak się google nie chce użyć?
https://timdettmers.com/2018/12/16/deep-learning-hardware-guide/

Jeśli chodzi o trening sieci neuronowych to musisz cały model zmieścić na pamięć karty, RAMu trzeba mieć tyle żeby swobodnie przetwarzać dane przy użyciu procesora, czyli niemniej niż masz pamięci na karcie + jakiś zapas.
Pamiętaj że na GPU nie musisz mieć całej bazy danych, tylko cały model + miejsce na przeprowadzenie propagacji dla rozsądnej wielkości mini
miejsce na przeprowadzenie propagacji dla rozsądnej wielkości mini batcha.


@Poziokat: @majsterV2: Tego też w sumie nie trzeba, bo np. pytorch ma utils.checkpoint i wtedy backprop jest robiony jakby osobno. Wychodzi drożej obliczeniowo, ale wymaga trzymania gradientu tylko dla jednej warstwy na raz.