Został pochowany w klasztorze w Sahagún.
Rodzina Pierwsza żoną króla została Agnieszka, córka księcia Akwitanii Wilhelma VIII i jego pierwszej małżonki, która zmarła w 1078. Drugą żoną została Konstancja, poślubiona 1081 córka księcia Burgundii Roberta I (syna króla Francji Roberta II), a zarazem siostrzenica Hugona, opata Cluny. Konstancja zmarła w 1093. Ich córką była Urraka, następczyni króla Alfonsa VI na tronie Kastylii i Leonu. Po śmierci Konstancji król związał się ze swoją nałożnicą Zaidą, będącą córką muzułmańskiego władcy Sewilli, nie jest wykluczone, że król zawarł z nią związek małżeński. Zaida została matką jedynego królewskiego syna, Sancha, który jednak zginął we wspomnianej wyżej bitwie pod Ucles. Kolejną żoną była Berta, której pochodzenie nie jest do końca wyjaśnione. Przyjmuje się, że mogła być córką hrabiego Burgundii Wilhelma I lub hrabiego Sabaudii Amadeusza II. Ślub miał miejsce w grudniu 1094 lub na początku 1095, Berta zmarła w 1099. Następną żoną została Izabela (Elżbieta), której pochodzenie nie jest znane. Z Izabelą król Alfons miał córki Sanczę i Elwirę, druga z nich poślubiła króla Sycylii Rogera II. Izabela zmarła po 1107 roku. Niektórzy badacze identyfikują Izabelę z muzułmanką Zaidą.