Wymagał jedynie, by aparat ten nie zmuszał nikogo do finansowania swoich działań.
Stosunek do anarchizmu Mimo radykalnych poglądów na temat wolności i własności, Herbert stanowczo odrzucał określanie go mianem anarchisty, co doprowadziło do jego słynnej debaty z amerykańskim myślicielem Benjaminem Tuckerem. Herbert uważał, że w systemie konkurencyjnych, prywatnych agencji ochrony (postulowanym przez anarchistów) zapanowałby chaos i „prawo silniejszego”. Jego koncepcja zakładała istnienie jednego, centralnego rządu jako ostatecznego arbitra, ale pozbawionego prawa do stosowania przymusu fiskalnegoMack, Eric (1978). Introduction [w:] Auberon Herbert, The Right and Wrong of Compulsion by the State, and Other Essays. Indianapolis: Liberty Fund..
Prywatyzacja edukacji Herbert był zaciętym krytykiem państwowego szkolnictwa. Argumentował, że przymusowa edukacja służy władzy do narzucania obywatelom określonego sposobu myślenia i formatowania ich na posłusznych poddanych. Postulował całkowite oddzielenie edukacji od państwa i oparcie jej na prywatnych inicjatywach oraz wolnym rynku.