Przygotował również do druku rozprawy O objawach fizjologicznych życia płciowego u włościanek okręgu górniczego chołunickiego, Wyniki z użycia kwasu salicylowego przeciw tasiemcowi oraz O zapaleniu płuc zaraźliwem. Prace te zwróciły na niego uwagę w środowisku lekarskim. Po kilku latach pracy w Chołunicy Bieliński poprosił Alfonsa Koziełł-Poklewskiego o podwyżkę wynagrodzenia do 2000 rubli rocznie. Ponieważ podwyżki nie otrzymał, załatwił sobie w zarządzie lekarskim guberni posadę lekarza miejskiego w Słobodsku, z pensją wprawdzie niższą, ale z możliwością prowadzenia prywatnej praktyki lekarskiej. W 1880, dzięki protekcji siostry teścia i jej męża generała wojsk rosyjskich, Bieliński został lekarzem wojskowym w Wilnie.
Po przeprowadzce do Wilna Bieliński został bibliotekarzem i archiwistą w bibliotece Towarzystwa Lekarskiego. Korzystał również z rękopisów przechowywanych w Wileńskiej Bibliotece Publicznej. Mając dostęp do źródeł zaczął pisać prace o charakterze historycznym i przesyłać je do Warszawy. Część z nich opublikował pod pseudonimem Dr. Szeliga. W tym okresie do współpracy nad Słownikiem Lekarzów Polskich zaprosił go Stanisław Kośmiński. W 1886 opublikował pracę Doktorowie medycyny promowani w Wilnie ogłoszoną w „Pamiętniku Towarzystwa Lekarskiego Warszawskiego”Wersję cyfrową publikacji Doktorowie medycyny...