W czasach Jagiellonów obszar znajdował się w granicach Wielkiego Księstwa Litewskiego. W 1503 Litwa utraciła północno-wschodnią część regionu. Południowo-zachodnia część w 1569 przeszła w granice Korony Królestwa Polskiego. Administracyjnie przynależała do województwa kijowskiego prowincji małopolskiej. Do lat 30. XVII wieku tereny dzisiejszego obwodu charkowskiego były stosunkowo słabo zaludnione. W czasie powstania Chmielnickiego nastąpił znaczny napływ ukraińskich chłopów z obszarów objętych walkami. W 1656 na mocy ugody perejasławskiej, tereny te razem z całą Ukrainą Lewobrzeżną zostały włączone do Rosji. Utratę obszaru przez Polskę zatwierdził traktat Grzymułtowskiego w 1686 r.
Przez kolejne 340 lat obszar był silnie rusyfikowany. W połowie XVIII wieku Charków stał się centrum administracyjnym oraz kulturalnym Imperium Rosyjskiego. W latach 1919–1934 stolica obwodu była jednocześnie stolicą Ukraińskiej Socjalistycznej Republiki Radzieckiej. Obwód charkowski we współczesnych granicach został utworzony 27 lutego 1932.