W kolejnym roku pracował przy realizacji Stadtvogtei (kancelarii miejskiej) w Berlinie.
Szkice architektury średniowiecznej W 1794 Gilly wraz ze swoim ojcem odbył podróże studialne po Prusach Wschodnich i Zachodnich. Owocem tej podróży była seria romantycznych szkiców zamku w Malborku – jedna z pierwszych dokumentacji architektury średniowiecznej, przyczyniając się do odrodzenia architektury ceglanej w północnych Niemczech. Dziesięć rysunków zostało wystawionych w Berlinie w 1795 (niem. Zeichnungen einiger merkwürdiger Partien aus dem alten Schlosse des teutschen Ritterorders zu Marienburg in Westpreussen) i spotkały się z dużym zainteresowaniem. Rysunki zostały następnie wykonane w technice akwatinty i opublikowane przez Friedricha Fricka między 1799 a 1803.
Projekt pomnika Fryderyka Wielkiego W 1796 ogłoszono konkurs na pomnik Fryderyka Wielkiego, do którego przystąpiło sześciu architektów: Langhans, von Erdmannsdorff, Hirt, Haut, Gentz i Gilly. Swoim projektem wzorowanym na świątyni doryckiej, Gilly zdobył sobie powszechne uznanie – obwołano go największym geniuszem architektury. Projekt zakładał budowę Partenonu na podniesieniu na ośmiokątnym placu (późniejszego Leipziger Platz). Do pomnika miały prowadzić schody.