W listopadzie tego samego roku norymberską policję wizytował minister spraw wewnętrznych Hans-Dietrich Genscher, który będąc pod wrażeniem jej skuteczności dwa lata później zaproponował Heroldowi kierowanie Federalnym Urzędem Kryminalnym (BKA). Ten, po krótkim wahaniu, przyjął propozycję.
Służba, którą przejął, nie posiadała wówczas systemu komputerowego i miała duże braki kadrowe. Herold wywalczył poszerzenie kompetencji agencji i zwiększył zatrudnienie, by w ciągu kilku lat przekształcić BKA w najskuteczniejszą policję w zachodniej Europie.
Większość kariery w BKA spędził na walce przeciw terrorystycznej Frakcji Czerwonej Armii (RAF). Prowadzone przez BKA śledztwa doprowadziły do aresztowania większości przywódców organizacji, jednak zostali oni zastąpieni przez kolejną tzw. generację przywódców, a fala ataków terrorystycznych nie ustała. W połowie lat siedemdziesiątych Herold uruchomił w BKA kilka systemów informatycznych, które gromadziły wszelkie informacje powiązane z RAF. Jego kariera załamała się po porwaniu i zamordowaniu przez RAF Hannsa Martina Schleyera. W 1981 roku minister spraw wewnętrznych Gerhart Baum zwolnił go ze stanowiska szefa BKA.