Od 1829 roku był dyrektorem muzycznym Friedrich-Wilhelms-Universität, w 1830 roku otrzymał doktorat honoris causa wydziału filozoficznego tej uczelni. Do jego uczniów należeli Felix Mendelssohn-Bartholdy, Giacomo Meyerbeer, Carl Loewe i Otto Nicolai.
Przyjaźnił się z Goethem i Schillerem, do których poezji pisał muzykę. Świadectwem tej przyjaźni jest licząca prawie 900 listów ponad 30-letnia korespondencja, stanowiąca cenne źródło historyczne. Napisał biografię Carla Friedricha Christiana Fascha (wyd. Berlin 1801), a także autobiografię. Po śmierci został pochowany na berlińskim Sophienkirchhof.
Twórczość Uprawiał różnorodne gatunki muzyczne, największe znaczenie ma jednak ponad 200 jego pieśni, pisanych do tekstów Goethego, Schillera i twórców z kręgu Göttinger Hain. Utwory te stanowią ogniwo pośrednie w rozwoju między formami balladowymi okresu klasycyzmu a pieśniami Schuberta. Zelter kierował się wielokrotnie wyrażaną zasadą pierwszeństwa słowa nad muzyką, supremacji pieśni zwrotkowej oraz podrzędną rolą akompaniamentu. Jako czołowa postać muzyki niemieckiej ówczesnej epoki przyczynił się do podniesienia poziomu kultury muzycznej i awansowania muzyki do rangi sztuki akademickiej. Jego działalność miała wpływ na powstanie dotowanych przez państwo instytucji muzycznych.