Był to prawdziwy „marsz śmierci”, w którego trakcie konwojenci zamordowali znaczną liczbę jeńców.

W październiku 1940 roku z obozów jenieckich ponownie zaczęto zwalniać polskich jeńców wojennych pochodzenia żydowskiego. Gotowość do przejęcia jeńców i zatrudnienia ich w charakterze przymusowej siły roboczej wyraziły władze dystryktu lubelskiego. Ponieważ lokalne urzędy pracy nie mogły lub nie potrafiły wykorzystać nowo otrzymanych robotników, znaczna ich część trafiła ostatecznie do obozu przy ul. Lipowej. Pierwsze transporty przybyły w grudniu 1940 roku. Z zachowanych dokumentów wynika, że 6 stycznia 1941 roku w obozie przebywało 518 jeńców. Niedługo później na Lipową przybyły jednak kolejne transporty. Według niemieckiej dokumentacji na początku lutego 1941 roku w obozie przebywało 2120 jeńców, aczkolwiek niektórzy autorzy podają także większe liczby. Większość jeńców pochodziła z ziem polskich znajdujących się pod okupacją sowiecką.

W późniejszym okresie do obozu kierowano jeszcze pojedynczych polskich jeńców lub ich niewielkie grupy. Niewykluczone, że w drugiej połowie 1941 roku, po niemieckim ataku na ZSRR, na Lipową skierowano także około 100 jeńców sowieckich pochodzenia żydowskiego.