W sierpniu 1909 przeniósł się do rodzinnego Płocka, gdzie w otrzymał koncesję na budowę i eksploatację elektrowni. Elektrownię zbudowano w latach 1910–1912, a Kazimierz Kühn zarządzał nią do 1 lutego 1918, po czym przeszła ona na własność Towarzystwa Udziałowego Elektrowni Płockiej, którego prezesem był do 1920.
W 1911–1915 był także honorowym radnym Płocka. Od 1913 zaangażował się w prace Towarzystwa Kredytowego Miasta Płocka, którego był wicedyrektorem, a w latach 1914–1920 prezesem. W lutym 1915 wziął udział w tworzeniu Komitetu Obywatelskiego, który przejął władzę w mieście po ucieczce Rosjan i 15 lutego został wybrany na prezydenta miasta, którym był do 15 września, gdy okupacyjne władze niemieckie ustanowiły własnego burmistrza. Od 1916 do 1917 pełnił natomiast funkcję ławnika magistratu. W maju 1920 został mianowany starostą powiatowym częstochowskim, był także przewodniczącym Wydziału Powiatowego Sejmiku Samorządowego. Jako starosta powiatowy wykazywał się dużą energią i inicjatywą w dziedzinie naprawy administracji, oświaty, kultury i służby zdrowia, co zostało docenione przez Biuro Zjazdu Samorządu Ziemskiego w Warszawie, które w 1929 wytypowało powiat częstochowski do reprezentowania wszystkich powiatów Polski na Powszechnej Wystawie Krajowej w Poznaniu.