Ponieważ ojciec zajmował wówczas stanowisko wiceprezydenta, młody Adams odmawiał przyjęcia państwowych posad, obawiając się zarzutów o nepotyzm.
Początki w dyplomacji Mimo wątpliwości Adams przyjął nominację od George’a Washingtona na posła amerykańskiego w Holandii. W 1794 wyjechał do Hagi, gdzie spędził 3 lata. Następnie prezydent Washington mianował go ministrem w Portugalii, lecz Adams nigdy nie objął tego stanowiska. Kiedy urząd prezydenta objął jego ojciec, John Quincy został mianowany ministrem pełnomocnym w Prusach. Jego sukcesem było m.in. wynegocjowanie układu o przyjaźni i handlu.
Członek organów legislacyjnych
Po powrocie do kraju rozpoczął działalność prawniczą, jednak już rok później został wybrany stanowym senatorem w Massachusetts. Pomimo że oficjalnie był przedstawicielem Partii Federalistycznej, Adams często wchodził w konflikty z jej członkami i realizował własne zamierzenia, konfliktując się zarówno z macierzystym ugrupowaniem, jak i z Demokratycznymi Republikanami.
W latach 1803–1808 pełnił rolę senatora USA 1. klasy z Massachusetts. Po rezygnacji z mandatu (na skutek sporu z własnym ugrupowaniem), powrócił do zawodu prawnika i został wykładowcą na Harvardzie.