Wraz z kolegami z South Fork Fishing and Hunting Klubu Jesse H. Lippencott, Knox pełnił funkcję dyrektora Narodowego Bank w Pittsburghu.
Jako adwokat Carnegie Steel Company miał znaczący udział w organizowaniu US Steel w 1901 roku.
Prokurator generalny Za czasów McKinleya i Theodore’a Roosevelta w latach 1901-1904 był prokuratorem generalnym. Podczas służby dla Roosevelta, Knox ciężko pracował nad koncepcją dyplomacji dolarowej. Jest dobrze znany słynny cytat do Roosevelta: „Panie prezydencie, niech nie tak wielkie osiągnięcia cierpią na znamię legalności”, w odniesieniu do budowy Kanału Panamskiego.
Senator W czerwcu 1904 roku został mianowany przez gubernatora Samuela W. Pennypackera z Pensylwanii na senatora za Matthew S. Quaya. W 1905 roku został ponownie wybrany do Senatu na całą kadencję. W 1908 i 1920 roku bez powodzenia ubiegał się o nominację Partii Republikańskiej w wyborach prezydenckich. W lutym 1909, William Howard Taft dał senatorowi nominację na sekretarza stanu. Na skutek nominacji zwiększyło się uposażenie oraz złamany został zakaz łączenia funkcji senatora i sekretarza stanu. Senacka komisja zaproponowała zmianę uposażenia według stanu sprzed kadencji senatu. W dniu 4 marca 1909, wynagrodzenie sekretarza stanu zmniejszono 12.000 dolarów do 8000 dolarów, a Knox objął urząd od 6 marca.