Zaharoff opuścił wkrótce potem Wielką Brytanię i wyjechał w region wschodniego Morza Śródziemnego. Przez pewien okres mieszkał w Atenach, gdzie poznał finansistę i dyplomatę Stefanosa Skoulodisa. Z jego rekomendacji został agentem Thorstena Nordenfelta, szwedzkiego producenta broni, dystrybuowanej na Bałkanach. W 1888 r. wynalazca karabinu maszynowego Hiram Maxim nawiązał współpracę z Nordenfeltem, a Zaharoff został przedstawicielem firmy na wszystkie rynki wschodniej Europy i Rosji. Po przejęciu firmy przez Vickers Company of England w 1895 r. jego obszar działania uległ dalszemu rozszerzeniu. Dzięki sprzedaży broni Zaharoff został milionerem i w 1913 r. uzyskał francuskie obywatelstwo.
W czasie I wojny światowej sprzedawał broń aliantom. Po wojnie jego zasługi wyróżniono tytułem wielkiego oficera Legii Honorowej, a także brytyjskim wielkim krzyżem Orderu Łaźni.
Dwukrotnie żonaty, przez wiele lat miał romans z księżną de Villafranca, żoną chorego psychicznie Franciszka Burbona, księcia de Marchena. Po jego śmierci w 1923 r. Zaharoff poślubił wdowę. Po jej śmierci w 1926 r.