W wieku chłopięcym wstąpił do korpusu kadetów w Berlinie, kończąc naukę ze stopniem podporucznika. W późniejszych opowiadaniach odnosił się do tej instytucji z obrzydzeniem. Skończywszy 26 lat ruszył wspomagać Serbów w wojnie serbsko-bułgarskiej. Z wojny powrócił odznaczony medalem i niebawem pojął za żonę Gabrielę z von Zedlitzów mieszkających w Wojcieszowie(Kauffung) około 35 km w górę nieodległej od posiadłości rzeki Kaczawy. Wkrótce urodziły się dzieci, którym Alfred nadał słowiańskie imiona – Bolesław Bogdan oraz Draga (serb. „droga”).
Von Olszewski był zapalonym pasjonatem hippiki, co niestety skróciło jego życie – podczas jednej z przejażdżek jego koń przewrócił się przygniatając jeźdźca. W efekcie wypadku u barona wytworzyła się odma płucna. Na ataki duszności i uporczywy kaszel lekarze zalecili zmianę klimatu. Alfred udał się w Alpy, do Genewy, a następnie do Włoch, jednak nie przyniosło to odmiany i chory zaczął tracić siły. W listach pisanych do pastora swojej parafii skarżył się, iż choroba całkowicie przykuła go do łóżka. Zmarł 3 kwietnia 1909 roku w Nervi w Królestwie Włoch, wcześniej spisawszy testament.