Źródła nie zgadzają się co do tego, co skłoniło go do ucieczki. Według Waltera Fähndersa, znawcy literatury niemieckiej, było to spowodowane tym, że napisał on krótki tekst, który mógł być zobrazowaniem spotkania homoseksualistów. Miał być opublikowany w Der Kampf. Został jednak zakazany i skonfiskowany z powodu uznania go za obsceniczny. Jednocześnie i z tego samego powodu rząd skonfiskował nagie rysunki artysty Fidusa i zakazał wiersza Die Freundschaft (pol. Przyjaźń) Friedricha Schillera, jednego z najbardziej znanych poetów w historii Niemiec. Holzmann został skazany albo na zapłacenie grzywny, albo na spędzenie sześciu dni w więzieniu. Zamiast tego postanowił uciec z Prus i przenieść się do Szwajcarii. Według Stefana Otto, dziennikarza, był jednak obserwowany przez policję. Poirytowany tym stanem rzeczy, napisał list do szefa berlińskiej policji, grożąc, że uderzy w twarz następną osobę, którą przyłapie na szpiegowaniu go. Za to został skazany na kolejne cztery miesiące więzienia, ale zdecydował się uciec, a nie odbywać karę, jak twierdzi Otto.