Współczynnik uczenia (ang. learning rate) – hiperparametr wiążący lokalne właściwości funkcji błędu sieci neuronowej, wyznaczane na przykład z pomocą algorytmu wstecznej propagacji błędu, odwołujące się (w procesie różniczkowania) do nieskończenie małych zmian wag – z działaniem polegającym na makroskopowych (a więc nie nieskończenie małych) zmianach wag w każdym kolejnym kroku uczenia.
Algorytm uczenia wskazuje, w jakim kierunku należy zmienić wagi, żeby błąd popełniany przez sieć zmalał, natomiast wybór współczynnika uczenia decyduje o tym, jak bardzo zdecydujemy się te wagi we wskazanym kierunku zmienić. Jeśli wybierze się zbyt mały współczynnik uczenia, to proces uczenia może bardzo długo trwać, ponieważ bardzo wolno będzie zmierzać do finalnego (optymalnego) zestawu wartości wszystkich wag. Jeśli jednak zastosuje się zbyt duży współczynnik uczenia, to wykonywane kroki będą zbyt duże i na skutek niemonotonicznej charakterystyki funkcji błędu może się zdarzyć, że właściwa droga zmierzająca do punktu zapewniającego minimum funkcji błędu zostanie „przeskoczona”. W efekcie błąd po wykonaniu poprawki wag może być większy, a nie mniejszy niż poprzednio.
W skrajnym przypadku zbyt duża wartość współczynnika uczenia może prowadzić do niestabilności procesu uczenia, gdyż wartości wag zamiast się stabilizować w trakcie uczenia – uciekają do nieskończoności.
Przypisy
Kategoria:Sieci neuronowe