Obok wpływu Fryderyka Nietzschego, który widać już w powieści Der Todesprediger (1893) i noweli Arnold Himmelheber (1894) występuje u niego już podczas pobytu w więzieniu w Tegel (od sierpnia 1899 do lutego 1900) i w następnych latach coraz większe zainteresowanie średniowiecznym mistycyzmem oraz poezją i filozofią romantyzmu. W eseju Die Revolution (1907) łączy filozoficzno-życiową krytykę języka z elementami romantycznej filozofii państwa i historii w mistyczno-woluntarystyczną rewolucję.
Powstałe we więzieniu w Tegel opowiadanie Lebendig tot wskazuje w elementach autobiograficznych na rozwijające się od lutego 1899 uczucie do poetki i tłumaczki Hedwig Lachmann, z którą wziął ślub w Berlinie w 1903. Para była razem aż do śmierci Hedwig Lachmann w 1918. Mieli dwie córki.
Od wiosny 1908 wrócił do agitacji politycznej publikując artykuły i założył razem z Martinem Buberem i innymi Sozialistischer Bund. Powstałe w 1909 czasopismo Der Sozialist było organem prasowym organizacji i działało do marca 1915. W tym czasie opublikował na łamach czasopisma 115 artykułów o tematyce artystycznej, literackiej i filozoficznej, ale także poruszał kwestie polityczne. Ukazały się tutaj jego tłumaczenia tekstów francuskich filozofów oraz teoretyka i ojca anarchizmu Pierre’a-Josepha Proudhona.