Następnym znanym mieszkańcem Oleszna jest Piotr Kos (Petrus Koz de Oleschno), który w 1420 roku wystąpił przeciwko Jakuszowi ze Stanowisk z powodu gwałtownego najścia i zrabowania jego domostwa przez służbę pozwanego Jakusza. Domagał się zwrotu zrabowanej, sporej na te czasy sumy 10 grzywien srebra. Prawdopodobnie od posiadłości tego właśnie Kosa wzięła swój początek osada nazywana Kozią Wolą (obecnie – Kozią Wsią).
Nie można jednak utożsamiać roku 1396 z rokiem powstania osady. Mogła ona powstać dużo wcześniej, a dopiero na przełomie XIV i XV wieku rozwinęła się na tyle, że znalazło to odbicie w materiałach źródłowych. Warto dodać, że we wzmiankach historycznych o wiele później po Olesznie i Chotowie pojawiają się inne wsie, co poświadcza, że obie te miejscowości są najstarszymi osadami regionu.