Jako dorosły, Panzram był wielokrotnie aresztowany za kradzieże. Podczas pobytu w zamknięciu wpadał w kłopoty za ataki na strażników i nieprzestrzeganie ich poleceń. Ci w odwecie bili go i poddawali innym karom. Krótko po zaciągnięciu się do armii w 1907 roku Panzram odbył karę więzienia w Forcie Leavenworth w latach 1908–1910 za kradzież. W sierpniu 1920 r. Panzram włamał się do domu Williama Tafta, byłego prezydenta USA i przyszłego Prezesa Sądu Najwyższego, i ukradł biżuterię i broń, m.in. Colta M1911, którego później użył w kilku morderstwach.
W swojej autobiografii Panzram nazwał siebie „uosobionym gniewem”, a okradzionych mężczyzn często gwałcił niekoniecznie dlatego, że był homoseksualistą – był to jego sposób na zdominowanie i poniżenie ludzi. Był bardzo silny fizycznie, co pomagało mu obezwładnić większość napotkanych mężczyzn.
Był również zaangażowany w akty wandalizmu i podpalenia, w pewnym momencie rozważał plan zatopienia brytyjskiego okrętu wojennego zadokowanego w porcie w Nowym Jorku w celu sprowokowania wybuchu wojny pomiędzy Wielką Brytanią a Stanami Zjednoczonymi.