thumb|left|Konsola gier wideo Magnavox Odyssey Wrócił wtedy do wcześniejszego pomysłu – zastanawiał się nad sposobem wykorzystania telewizora jako narzędzia interaktywnej rozrywki. 1 września 1966 roku opracował plan opisujący sposób wyświetlania gier komputerowych na odbiornikach telewizyjnych. Jako pierwszy na świecie grał w dwuosobową grę wideo 7 maja 1967 r. Osiągnął swój cel, prezentując 1 października 1968 roku stworzoną przez siebie konsolę Brązowe Pudełko (Brown Box) podłączaną do telewizorów. Była to pierwsza w historii konsola gier wideo; zawierała między innymi uproszczoną wersję tenisa stołowego, siatkówki, piłki nożnej oraz zręcznościową grę sterowaną przy użyciu pistoletu świetlnego. W 1971 roku Baer sprzedał prawa do Brązowego Pudełka spółce Magnavox, czego efektem była konsola Magnavox Odyssey. Nie odniosła jednak sukcesu komercyjnego (sprzedano 100.000 szt. w pierwszy roku, łącznie ok. 350.000), w dużej mierze z powodu nieprzemyślanej kampanii reklamowej, której nie pomógł nawet występ Franka Sinatry. Producent uważał, że konsola gier wideo nie może być samodzielnym produktem przynoszącym znaczne zyski, traktując ją jedynie jako narzędzie zwiększające sprzedaż telewizorów. Po wstrzymaniu sprzedaży Magnavox Odyssey w 1974 roku urażony Baer próbował później sprzedaży swojego patentu firmie Coleco.