Napisał wstęp do polskiego przekładu dzieła Andrzeja Frycza Modrzewskiego O poprawie Rzeczypospolitej (1577). Nieco wcześniej, w książce O furyiach albo szaleństwach francuskich... (1573) przestrzegał przed wybieraniem Henryka Walezego na króla Polski, który mógłby powtórzyć masakrę innowierców („Noc św. Bartłomieja”).
Nawoływał do zachowania czystości języka polskiego i proponował zastąpienie zapożyczeń z języków obcych (głównie germanizmów i latynizmów) słowami z innych języków słowiańskich. Wprowadził do swoich przekładów takie słowa jak „namiot”, „rozdział”, „napletek”, „całopalenie” i inne, które weszły na stałe do języka polskiego.
Większość dzieł Budnego zaginęła lub została zniszczona w okresie kontrreformacji; oprócz wymienionych zachowały się: Świętego Justyna filozofa i męczennika rozmowa z Tryfonem Żydem (1564), Ad argumenta Simleri... (1574), O przedniejszych wiary chrystyjańskiej artykulech to jest o Bogu jedynym, o Synu jego i Duchu św.