Jonathan Taylor Packer, jego pradziadek, znajdował się w drugiej grupie migrantów przybyłej do kotliny Wielkiego Jeziora Słonego w 1847. W Brigham City osiadł w 1860. Babcia Packera z kolei, Christina Sundby Packer, prowadziła miejski sklep spółdzielczy.
Packer podstawy edukacji zdobywał w Central School w rodzinnym mieście (1930). W 1942 ukończył Box Elder High School. Kształcił się w Weber College, podjął następnie studia na Uniwersytecie Stanowym Utah (kolejno licencjat w 1949 oraz magisterium w 1953). Doktorat z zakresu zarządzania placówkami edukacyjnymi uzyskał na należącym do Kościoła Uniwersytecie Brighama Younga (BYU) w 1962. W dzieciństwie cierpiał na skutek polio, początkowo niewłaściwie zdiagnozowanego. Zdołał powrócić do pełnej sprawności fizycznej, choć przez całe życie borykał się z długofalowymi skutkami tego schorzenia.
Otrzymywał rozmaite powołania w Kościele. 10 kwietnia 1948 został poparty jako zastępca pisarza w paliku North Box Elder. 12 marca 1950 został wyświęcony na siedemdziesiątego. 23 września 1950 poparty jako wyższy doradca we wspomnianym już paliku, 11 grudnia tego samego roku natomiast wyświęcony na wyższego kapłana.