Jej starsza siostra Miriam Rothschild była wybitnym zoologiem.
W 1935 roku wyszła za mąż za francuskiego dyplomatę, barona Juliusza de Koenigswarter, późniejszego bohatera Wolnej Francji. Mieszkali razem w jednym z zamków w północno-zachodniej Francji. Podczas II wojny światowej pracowała dla de Gaulle'a. Kiedy para rozstała się w 1951 roku, zamieszkała na stałe w wynajętym apartamencie w hotelu Stanhope na Piątej Alei w Nowym Jorku. W wyniku separacji z mężem została wydziedziczona przez rodzinę Rothschildów. Para rozwiodła się w 1956 roku, a pod koniec W 1958 roku Panonica kupiła dom z widokiem na panoramę Manhattanu, pierwotnie zbudowany dla reżysera Josefa von Sternberga, na 63 Kingswood Road w Weehawken, New Jersey.
Jazz mały|lewo|250px|Thelonious Monk W Nowym Jorku baronowa de Koenigswarter została przyjaciółką i mecenasem wielu wybitnych muzyków jazzowych. W swoim hotelowym apartamencie gościła jam sessions. Wypożyczała swojego Rolls Royce'a wraz z szoferem, by podwoził ich na występy. Jest często nazywana "baronową bebopu" lub "baronową jazzu", gdyż objęła swoim patronatem między innymi Theloniousa Monka i Charlie Parkera. Po śmierci Parkera w jej pokoju w hotelu Stanhope w 1955 roku, została poproszona przez kierownictwo o jego opuszczenie.