SparseOpt naprawia to, co normalizacja psuje w rzadkich sieciach neuronowych
Dynamiczny trening rzadki (DST) od dawna obiecywał szybsze uczenie sieci neuronowych przy mniejszym zużyciu zasobów. W praktyce jednak rzadkie sieci uczyły się zauważalnie wolniej niż ich gęste odpowiedniki. Zespół badaczy z Uniwersytetu Calgary i University…
