Po przejściu do opozycji występował w obronie autonomii galicyjskiej (1873) oraz konkordatu i uposażenia duchowieństwa, a przeciw rozwodom i legalizacji masonerii (1874). Mimo secesji grupy Ottona Hausnera w 1878 protestujących przeciwko popieraniu rządu w 1881 po zjednoczeniu podolaków ze stańczykami wzmocnił jeszcze swoją pozycję w Kole Polskim. Zrezygnował wówczas ze stawiania sprawy polskiej i popierał konsekwentnie rząd Eduarda Taaffego.
Jeden z jego najbliższych współpracowników Wojciech Dzieduszycki pozostawił taką charakterystykę Grocholskiego: był to człowiek przede wszystkim polityczny i na wskróś polityczny. Od czasu jak życie konstytucyjne nastało w Austrii, odłożył na bok wszystkie sprawy osobiste i domowe, i poświęcił się cały jedynie sprawie publicznej. Jak długo mu zdrowia stało, zajmował się polityką w każdym dniu życia swego i w każdej godzinie każdego dnia;