Swearengen był jednym z pierwszych mieszkańców Deadwood, którzy nie zajmowali się poszukiwaniem lub wydobyciem złota; był przedstawicielem drugiej fali przybyszów, którzy zamierzali zdobywać majątek, świadcząc usługi poszukiwaczom i górnikom. Początkowo zbudował niewielki saloon o nazwie "Cricket Saloon", gdzie oferował miejscowym górnikom tzw. "walki z nagrodami", jakkolwiek żadnych nagród "zawodnikom" nie wypłacano. W ciągu roku Swearengen zgromadził wystarczająco dużo pieniędzy, by zbudować znacznie większy lokal o nazwie "Gem Variety Theater", który został otwarty 7 kwietnia 1877 roku i w którym serwowano – już tradycyjne – "walki z nagrodami" oraz występy na scenie i przede wszystkim usługi prostytutek.
Swearengen zwabiał szukające pracy młode kobiety do Deadwood, a następnie (sam lub przy pomocy pracowników) zmuszał je do prostytucji, używając zarówno psychicznej, jak i fizycznej przemocy. Interes okazał się wysoce dochodowy, "Gem" przynosił każdej nocy średnio 5000 dolarów, czasami nawet 10 000 (czyli pomiędzy 90 a 180 tysiącami dolarów po uwzględnieniu inflacji w roku 2006). Gdy lokal spłonął w wielkim pożarze miasta 26 września 1879 roku, Swearengen odbudował go, czyniąc jeszcze większym i bogatszym, co zostało przyjęte przez klientów z zadowoleniem.