W 1769 r. stosunki między Millerem a zarządem ogrodu i zgromadzeniem aptekarzy pogorszyły się do tego stopnia, że pod wpływem nacisku Miller w dniu 29 listopada 1770 r. zgodził się na rezygnację z pracy w ogrodzie. Głównym zarzutem była nadmierna władza Millera w ogrodzie (choć warunki mianowania nigdy nie zostały jasno określone), a w szczególności jego odmienne stanowisko dotyczące oznakowanie roślin kodami indeksu.
Zmarł 18 grudnia 1771 r. w Chelsea. Pochowany na cmentarzu wszystkich Świętych w Chelsea. W 1815r. członkowie Towarzystwa Linneuszowskiego (The Linnean Society of London) i Towarzystwa Ogrodniczego ufundowali obeliskobelisk.
Zasługi Jego praca i leseferyzm oraz wyjątkowe osiągnięcia nie tylko jako ogrodnika, ale także jako uznanego autora publikacji botanicznych spowodowały wzrost prestiżu ogrodu. W okresie, kiedy zarządzał ogrodem botanicznym Chelsea Physic Garden, ogród zyskał międzynarodową sławę. W ogrodzie pod jego kierownictwem zgromadzono największą w Europie kolekcję roślin.