Rola bramki zapominania Pierwotna architektura LSTM z 1997 roku nie zawierała bramki zapominania w formie, która później stała się standardowa. Bramkę tę wprowadzili Felix Gers, Jürgen Schmidhuber i Fred Cummins w pracy z 2000 roku. Jej zadaniem jest umożliwienie komórce nauczenia się, kiedy zresetować albo osłabić wcześniejszą zawartość pamięci.

Bramka zapominania jest szczególnie ważna w strumieniach danych, które nie są naturalnie podzielone na niezależne epizody. Bez niej komórka może utrzymywać w pamięci informacje, które przestały być istotne dla dalszego przetwarzania.

Uczenie Sieci LSTM trenuje się zwykle metodami gradientowymi, takimi jak stochastyczny spadek gradientu lub jego warianty. Dla danych sekwencyjnych stosuje się propagację wsteczną przez czas (ang. backpropagation through time, BPTT), polegającą na rozwinięciu sieci rekurencyjnej wzdłuż kolejnych kroków czasowych i obliczeniu gradientów parametrów względem funkcji straty.

Architektura LSTM ułatwia przepływ gradientu przez stan komórki, ale nie usuwa wszystkich problemów treningu. W praktyce używa się takich technik jak przycinanie gradientów, regularyzacja, dropout, normalizacja, staranna inicjalizacja oraz dobór długości sekwencji używanej w BPTT.