Jednocześnie radę żydowską obarczono obowiązkiem zapewnienia robotnikom niezbędnych narzędzi, materiałów budowlanych i wyżywienia.

Początkowo robotnicy nie byli przetrzymywani w obozie, lecz po zakończeniu pracy wracali do swoich domów. Dopiero po kilku miesiącach, prawdopodobnie w czerwcu 1940 roku, zostali na stałe skoszarowani w obozie, stając się de facto jego więźniami. Był to odwet Niemców za masowe uchylanie się ludności żydowskiej od obowiązku pracy, które z kolei było spowodowane panującymi na Lipowej warunkami – a zwłaszcza brutalnością strażników. Pierwsze niemieckie zarządzenia przewidywały, że Żydzi będą się stawiać do obozu na podstawie imiennych wezwań, na okres czterech tygodni. W lipcu limit więźniów pracujących na Lipowej ustalono na 500 osób dziennie. Ponadto 8 lipca komendant obozu zarządził, że codziennie zwalnianych będzie 10% więźniów, a w dodatku wszyscy osadzeni otrzymywać będą „urlop” na okres od soboty od godz. 17:00 do poniedziałku rano. Już dziewięć dni później SS-Brigadeführer Odilo Globocnik nakazał jednak osadzenie w obozie tysiąca Żydów. Osobom uchylającym się od pracy zagrożono najsurowszymi konsekwencjami, w tym karą śmierci i bliżej niesprecyzowanymi represjami wobec rodzin.