Nazwę miejscowości w zlatynizowanej staropolskiej formie Skawcze villa wymienia w latach 1470–1480 Jan Długosz w księdze Liber beneficiorum dioecesis CracoviensisJoannis Długosz Senioris Canonici Cracoviensis, "Liber Beneficiorum", Aleksander Przezdziecki, Tom VII, Kraków 1864, str.88.. Skawce należały wówczas do starostwa niegrodowego barwałdzkiego, w I połowie XVI wieku stanowiły niezupełnie zgodną z prawem własność Jana Komorowskiego z Żywca.
W okresie egzekucji praw, w 1563 roku zmuszony on był zrzec się Skawiec i uznać je za przynależne do starostwa barwałdzkiego. Jednak w 1664 r. Skawce należą już do księdza Sokołowskiego, a później do rozbiorów są własnością prepozytury (probostwa) św. Floriana w Krakowie. W 1782 r. Skawce skonfiskowane zostały przez Austriaków jako dobra kościelne i sprzedane w licytacji.
W XIX w. właścicielem był Żyd Alojzy Schanzer, później Henryk Schanzer, pod koniec XIX w. należały one do właścicielki Zembrzyc Teofili Znamięckiej.
W latach 1975–1998 miejscowość administracyjnie należała do województwa bielskiego.
25 października 2016 r. zamknięto drogę łączącą Mucharz z Zagórzem, jeden z ostatnich elementów pozostałych na dnie przyszłego zbiornika. Rozpoczęto fizyczną likwidację trasy, łącznie z dawnym mostem kolejowym nad Skawą.