W 2011 roku Xavier Glorot, Antoine Bordes i Yoshua Bengio odkryli, że ReLU umożliwia lepsze trenowanie głębszych sieci w porównaniu z powszechnie stosowanymi funkcjami aktywacji przed 2011 rokiem.
Warstwa połączeń każdy-z-każdym (fully connected) Po zastosowaniu kilku warstw konwolucyjnych i warstw łączenia, ostateczna klasyfikacja odbywa się poprzez warstwy połączeń każdy-z-każdym. Neurony w warstwie w pełni połączonej mają połączenia ze wszystkimi aktywacjami w warstwie poprzedniej, jak widać w klasycznych sztucznych sieciach neuronowych. Ich aktywacje można zatem obliczyć jako transformację afiniczną, w której mnożenie macierzy następuje po przesunięciu odchylenia (dodanie wektorowe wyuczonego lub stałego członu odchylenia).
Proces uczenia Uczenie CNN polega na adaptacji parametrów filtrów w warstwie konwolucyjnej jak i odpowiednim doborze wag w warstwie połączeń każdy-z-każdym. Z reguły używa się propagacji wstecznej do aktualizacji wartości sieci.
Przypisy
Linki zewnętrzne Konwolucyjne Sieci Neuronowe, prof. dr hab. inż. Grzegorz Dudek, Politechnika Częstochowska, w serwisie YouTube
Kategoria:Rozpoznawanie wzorców