Zapory sieciowe drugiej generacji wykonują pracę poprzedników, ale działają do warstwy 4 (warstwa transportowa) modelu OSI. Osiąga się to poprzez zatrzymanie pakietów, dopóki nie będzie wystarczającej ilości informacji, aby ocenić ich stan. Firewall rejestruje wszystkie połączenia przechodzące przez niego i określa, czy pakiet jest początkiem nowego połączenia, częścią istniejącego połączenia, czy nie jest częścią żadnego połączenia. Chociaż reguły statyczne są nadal używane, mogą teraz zawierać stan połączenia jako jedno z kryteriów testowych.
Niektóre ataki typu „odmowa usługi” bombardują zaporę sieciową tysiącami fałszywych pakietów połączeń, próbując ją opanować poprzez wypełnienie pamięci stanu połączenia.
Trzecia generacja: warstwa aplikacji Marcus Ranum, Wei Xu i Peter Churchyard opracowali trzecią generacje firewalla znaną jako Firewall Toolkit (FWTK). W czerwcu 1994 roku Wei Xu rozszerzył FWTK o ulepszenie jądra filtra IP i niewidoczne gniazda. Była ona znana jako pierwsza niewidoczna zapora aplikacji, udostępniona jako produkt komercyjny w zaufanych systemach informatycznych (Trusted Information Systems).