Wkrótce jednak wydano ją za mąż za Adama Domańskiego, jednego z największych właścicieli ziemskich powiatu Słuckiego. Ale po roku szczęśliwego małżeństwa, niespodziewanie dla wszystkich, ona zachorowała i zmarła. Józef nigdy jej nie zapomniał, wspominał o niej w listach z wygnania i często się za nią modlił.
Powstanie styczniowe Gdy polskie ziemie w latach 1861–1862 ogarnęła fala demonstracji patriotyczno-religijnych, Kalinowski dystansował się od nich i uznawał za „pobożność sentymentalną”. Spotkawszy się w Warszawie z Piotrem Kobylańskim, przyszłym członkiem Rządu Narodowego, uznał go za skrajnego demagoga, prawdopodobnie stąd też zraził się do stronnictwa czerwonych i nie angażował się głęboko w konspirację, choć bywał na tajnych zebraniach. Krytycznie oceniał też liczenie na interwencję państw zachodnich w polskiej sprawie i ogólnie był przeciwny wszczynaniu powstania. Wiedząc, że powstanie wybuchnie i obawiając się, że brzeska forteca zostanie wykorzystana w działaniach wojennych przeciwko powstańcom, postanowił opuścić wojsko rosyjskie i ponownie zatrudnić się przy budowie kolei.