Według własnej relacji Elfrida Haward przez cały okres wspólnego życia nigdy nie podejrzewała, by jej mąż nie był tym za kogo się podawał, mimo że jej ojciec nie znalazł w źródłach żadnego człowieka, który pasowałby do Barkera.
W połowie lat 1920. Barker w kręgu znajomych podawał się za pracownika ministerstwa obrony. W 1926 r. Barker omyłkowo otrzymał zaadresowany do innego pułkownika Barkera list z zaproszeniem do narodowo-faszystowskiej partii National Fascisti. Został partyjnym instruktorem szermierki oraz boksu i chętnie brał udział w wywoływanych przez faszystów bójkach z komunistami. Z czasem Barker został także sekretarzem lidera ugrupowania, Henry'ego Rippona Seymoura. W 1927 r. Seymour postrzelił innego działacza z pistoletu należącego do Barkera. Barker został oskarżony o nielegalne posiadanie broni, ale został uniewinniony.
Po tym zdarzeniu Barker opuścił partię i jako Leslie Ivor Victor Gauntlett Bligh Barker został właścicielem restauracji, jednak lokal zbankrutował w 1928 roku, a powodem była duża gościnność Barker, który często urządzał przyjęcia dla przyjaciół, nie dbając o kondycję finansową lokalu.