O engenheiro de televisão Ralph Baer concebeu a idéia de uma televisão interativa ao construir uma aparelho de televisão do zero para Loral em 1951 no Bronx, Nova Iorque. Ele explorou mais estas idéias em 1966 ao ser o Engenheiro Chefe e gerente da Divisão de Design de Equipamentos em Sanders Associates. Baer criou um videogame simple de dois jogadores que podia ser exibido em aparelho de televisão padrão chamado Chase, onde dois pontos perseguiam um ao outro na tela. Após uma demostração ao diretor de R&D da companhia Herbert Campman, algum fundo foi designado e o projeto foi dado como "oficial". Em 1967 Bill Harrison entrou a bordo, e uma pistola de luz foi construída a partir de um rifle de brinquedo que foi mirado em um alvo movimentado por outro jogador.
Bill Rusch juntou-se ao projeto para acelerar o desenvolvimento e em pouco tempo um terceiro ponto controla pela máquina foi usado para criar um jogo de ping-pong. Com mais fundos jogo adicinais foram criados, e Baer teve a idéia de vender o produto à companhias de TV a Cabo, que poderiam transmitir imagens estáticas como planos de fundo de jogos. Um protótipo foi demostrado em Fevereiro de 1968 para o Vice-Presidente da Teleprompter Hubert Schlafly, que assinou um acordo com a Sanders. A indústria de TV a Cabo estava sofrendo uma queda durante o final dos anos 60 e início dos 70 e uma falta de fundos significava que outros caminhos tinham que ser trilhados. O desenvolvimento do hardware e jogos continuou resultando no protótipo final "Brown Box", que tinha dois controladores, uma pistola de luz e seis interruptores no console que selecionavam o jogo a ser jogado. Baer abordou vários fabricantes de Televisão americanos e um acordo foi eventualmente assinado com Magnavox no final de 1969. As principais alterações no Magnavox em relação ao Brown Box foram o uso de circutos plugados para alterar os jogos e a remoção das capacibilidades de gráficos coloridos em favor das sobreposições de cor para reduzir custos de produção. Ele foi lançado em Maio de 1972 com Magnavox Odyssey.
