Warianty Dwukierunkowa LSTM Dwukierunkowa LSTM (ang. bidirectional LSTM, BLSTM) przetwarza sekwencję w dwóch kierunkach: od początku do końca oraz od końca do początku. Wyjścia z obu kierunków są następnie łączone. Pozwala to używać informacji z przeszłości i przyszłości w zadaniach, w których dostępna jest cała sekwencja, na przykład przy klasyfikacji fonemów lub etykietowaniu tekstu.
LSTM z połączeniami podglądowymi Wariant z tzw. połączeniami podglądowymi (ang. peephole connections) pozwala bramkom korzystać bezpośrednio ze stanu komórki. Gers, Schraudolph i Schmidhuber pokazali, że taki wariant może ułatwiać uczenie precyzyjnych zależności czasowych.
Głębokie i warstwowe LSTM Sieci LSTM można układać w kilka warstw. Taki model nazywa się często głęboką LSTM. Kolejne warstwy mogą uczyć się reprezentacji sekwencji na różnych poziomach abstrakcji. Warianty głębokie były stosowane między innymi w rozpoznawaniu mowy na dużą skalę.
LSTM z projekcją W niektórych zastosowaniach używa się warstwy projekcyjnej, która zmniejsza wymiar stanu ukrytego przekazywanego dalej. Taka architektura może ograniczyć liczbę parametrów i koszt obliczeniowy przy zachowaniu dużego stanu komórki. Rozwiązania tego typu były badane w rozpoznawaniu mowy.