Polacy zostali poddani najgorszemu traktowaniu, co dotyczyło zwłaszcza powstańców śląskich, działaczy plebiscytowych, żołnierzy kampanii wrześniowej oraz polskich Żydów. Te osoby mieszkały w osobnej części lagru, za dodatkowym ogrodzeniem z drutu kolczastego. Niektórzy więźniowie byli wypuszczani po kilku dniach lub tygodniach.
Przez cały okres działalności przez obóz przewinęło się ponad siedmiuset więźniów. Komendantem był Heinrich Jöckl, późniejszy szef obozu w Terezinie, zbrodniarz wojenny. Wiadomości o obozie skrochowickim dotarły do szerszej opinii publicznej dopiero podczas jego procesu przed Nadzwyczajnym Sądem Ludowym w Litoměřicach.
Więźniowie byli zakwaterowani głównie w dawnym magazynie cukrowniczym. Spali w codziennych ubraniach na betonowej posadzce, na kartonach, a później na siennikach. Pracowali u okolicznych rolników niemieckich pod nadzorem straży, albo w cukrowni w Vávrovicach. Posiłki były złej jakości, niewystarczające, więźniowie cierpieli głód i pragnienie z braku dostatecznej ilości wody. Panowała wszawica, brakowało opieki medycznej oraz lekarstw. Część więźniów zmarła z chorób lub obrażeń, część została zamordowana przez strażników. Podczas powojennych ekshumacji odnaleziono w rogu ogrodu warzywnego szczątki trzynastu ofiar.