Po reformie skupił się na pracy nad Zapiskami. Korzystał przy niej z archiwów dworskich i cesarskiej biblioteki, do których z racji pełnionego urzędu miał dostęp. Prawdopodobnie przeczytał tam każde dostępne dzieło historyczne. Opisując czasy współczesne bazował na archiwach. W całości pracy pomogło mu doświadczenie, które zdobył jako dostojnik dworski, poznając dobrze mechanizmy władzy.
Pracę nad Zapiskami historyka kontynuował aż do ok. 91 p.n.e., kiedy dzieło zostało ukończone. Zapiski były dziełem prezentującym nie tylko historię Chin do czasów współczesnych autorowi, ale także cały znany Chińczykom świat, dlatego na Zachodzie nazywa się Sima Qiana chińskim Herodotem.
Źródła
Sima Qian posługiwał się m.in. tekstem Księgi dokumentów, innym niż ten, który dotrwał do czasów współczesnych. Korzystał z Kroniki Wiosen i Jesieni, a także z Intryg Królestw Walczących (Zhanguo Ce) oraz Mowy królestw (Guoyu), które przytaczały wiele anegdot historycznych.
Opisując dzieje dynastii Han korzystał z Kroniki Walk między Chu i Han (Chuhanchuqiu) autorstwa Liu Jia. Według Mieczyława Künstlera tekst tej kroniki był czymś w rodzaju średniowiecznego francuskiego chanson de geste, jednak Sima potraktował go jedynie jako tekst źródłowy i nie docenił walorów poetyckichM. Künstler, op. cit., s.