Ze względu na silną tęsknotę za domem uciekł stamtąd już po kilku dniach, 26 kwietnia, ale został złapany i odwieziony do miejsca pracy.
Przestępstwo W nadziei na to, że w ramach kary zostanie odesłany do swojej ojczyzny, 29 kwietnia podpalił stertę siana w stodole. Ogień został szybko dostrzeżony przez chłopkę i ugaszony, w czym Wróbel sam pomagał, i dlatego nie wyrządził żadnych szkód. Mimo to chłopka zgłosiła to zdarzenie na policji.
Areszt Po przesłuchaniu został 2 maja aresztowany przez Gestapo. 28 czerwca osadzono go w obozie koncentracyjnym Neuengamme. Przydzielono go tam do tak zwanego Elbkommando (Grupa Łabska) i w jego składzie w ciągu następnych dziewięciu miesięcy musiał ciężko pracować przy budowie 600-metrowego bocznego kanału w Neuengamme pomiędzy obozem a Dove Elbe (boczne ramie Łaby) oraz przy następnie wykonywanym poszerzaniu Dove Elbe w dół. Więźniowie musieli tam pracować po 12 godzin dziennie w bardzo trudnych warunkach, często po pas w mule, i wielu z nich zmarło z wycieńczenia. W tym czasie zaprzyjaźnił się z o dwa lata starszym Michałem Piotrowskim, który po wojnie wspominał: „Walerek był bardzo młody, bardzo naiwny. I nie miał też żadnego doświadczenia. Taki naiwny: Jak mu powiesz: to i to to prawda, albo że w obozie jest tak i tak – to on w to natychmiast uwierzy. On wierzy we wszystko.