Zafascynowanie kulturą śródziemnomorską z jednej, a niemożność przystosowania się do ponurych realiów i atmosfery PRL z drugiej strony sprawiły, że podróże stały się jego pasją. Mimo wielu kłopotów zawsze starał się o przedłużenie paszportu, co dawało możliwość powrotu do kraju. Nigdy nie zdecydował się na definitywną emigrację. Podróże, z powodu skromnych środków finansowych gromadzonych na bieżąco z doraźnych źródeł: nagród, honorariów za odczyty itp., odbywały się możliwie najmniejszym kosztem. Odbiło się to w przyszłości na jego zdrowiu, pozwoliło mu jednak poznać z bliska „świat piękny i bardzo różny” (Modlitwa Pana Cogito – podróżnika) – zarówno w dziełach kultury materialnej, jak i w napotykanych ludziach. Pierwszą podróż zagraniczną rozpoczął w 1958 r. Udał się przez Wiedeń do Francji (maj 1958 – styczeń 1959), odwiedził Anglię (styczeń – marzec 1959), Włochy (czerwiec – lipiec 1959), po czym ponownie Francję. Do Polski powrócił w maju 1960. Plonem tej podróży był Barbarzyńca w ogrodzie. alt=Zbigniew Herbert, rzeźba Karola Badyny na Górnym Rynku w Lwówku Śląskim|mały|Zbigniew Herbert, rzeźba Karola Badyny na Górnym Rynku w Lwówku Śląskim