Do Paryża powrócił w 1518 roku i zaczął regularnie produkować drzeworyty, dzięki którym stał się znany w środowisku paryskich drukarzy. W tym samym okresie zaczął również zajmować się sprzedawaniem książek.
W 1514 roku Tory poślubił wdowę po swoim przyjacielu, a niedługo potem urodziła mu się córka Agnès. Tory poświęcił jej bardzo dużo czasu, ucząc ją łaciny i podstawowej wiedzy o drukarstwie. Niestety Agnès zmarła z nieznanych powodów w wieku dziewięciu lat. Tory po stracie ukochanej córki przez długi okres był w depresji. Kiedy wydał książkę po raz pierwszy po śmierci Agnès, jego sygnetem drukarskim była urna, w której trzymał prochy córki. W kolejnych miesiącach po jej śmierci, Tory napisał kilka wierszy, w których deklarował, jak szczęśliwy był, posiadając tak wyjątkową córkę, i jak jej życie zmieniło go. W tych czasach śmierć dzieci w tym wieku nie była rzadkością, więc to, że Tory tak bardzo przeżył odejście swojej córki, było niezwykłą reakcją. Śmierć Agnès wpłynęła na kreatywność Tory’ego w jego późniejszych pracach.
W 1524 roku Tory odkrył francuskie godzinki – Livre d’heures i w 1525 przygotował ich kopię, która stała się sławna, ponieważ Tory przedstawił w niej krój pisma wolny od idei drukowania w sposób odwzorowujący pismo ręczne.