W wolnym czasie Baron zbierał okazy roślin i owadów, a także prowadził próby hodowania niektórych gatunków motyli. W 1876 nawiązał kontakt z amerykańskim entomologiem Williamem Henrym Edwardsem, później również z Hermannem Streckerem i . Od czasu jego wyjazdu z Niemiec odwiedził ojczyznę po raz pierwszy w 1883, wówczas poznał . Rok później wrócił do Stanów Zjednoczonych i postanowił zająć się zawodowo zbieraniem okazów przyrodniczych. mały|Buarremon baroni, nazwany na cześć Barona W 1885 wyruszył na wyprawę do Meksyku, od 1889 do 1891 przebywał w Ekwadorze, a w latach 1893-1895 podróżował po Peru. Podczas swoich wypraw oprócz owadów zbierał też okazy ptaków, zwłaszcza kolibrów. Zbieranie okazów porzucił, gdy przebywając na terenie bagnistym dostał niebezpiecznej choroby skóry. Część swoich zbiorów, w tym największą wówczas w Europie, obejmującą 111 gatunków kolekcję kolibrów, sprzedał Muzeum Zoologicznemu Waltera Rothschilda w Tring w Anglii, gdzie ich opracowaniem zajęli się m.in. Ernst Hartert i jego żona Claudia oraz Osbert Salvin.