Za samowolne pobranie narządów i odmowę ich zwrotu podobno stracił posadę.
Dalsze losy i kontrowersje Istnieją sprzeczne opinie na temat, czy Einstein i jego rodzina wyrazili zgodę na pobranie mózgu do badań. Ronald Clark w biografii Einsteina z 1971 roku podaje, że uczony miał nalegać na zbadanie mózgu i skremowanie reszty ciała. Syn Hans Albert Einstein miał także wyrazić zgodę, ale z zastrzeżeniem, że wyniki prac zostaną opublikowane przez prestiżowe czasopisma naukowe. Według Roberto Salvatoriego z Johns Hopkins School of Medicine, Harry Zimmerman otrzymał ustną zgodę Einsteina na pośmiertne zbadanie mózgu, ale nie na publikację wyników.
Harvey nie miał natomiast zgody na zachowanie mózgu w swoim domu i nikogo o tym fakcie nie poinformował. W 1978 roku losy mózgu Einsteina po autopsji prześledził dziennikarz Steven Levy, który dotarł do Harveya. Preparaty były przechowywane przez ponad dwadzieścia lat w dwóch słojach z formaliną. W tym samym roku Harvey udzielił wywiadu redaktorowi „Science”, przyznając, że nie ukończono żadnej publikacji na temat preparatu. Część rodziny (w tym prawnuczka Evelyn Einstein) uważała postępowanie Harveya za zwykłą kradzież. Mimo wielu ofert, Harvey odrzucał wszystkie dotyczące kupna fragmentu mózgu Einsteina. Preparaty udostępniał tylko niektórym neuropatologom;