Co najmniej przez cały XV w. wieś wchodziła w skład dóbr Haugwitzów, chociaż przejściowo zdarzali się też inni właściciele, głównie gdy osada była zastawiana za gotówkę. Dzieje Kamieńca są ściśle powiązane z sąsiednimi Piszkowicami, gdzie przeważnie rezydowali jej właściciele i gdzie mieściła się parafia. Wiadomo, iż w 1460 r. dzierżawcą był niejaki Mikolasch, a w 1494 sędziostwo posiadał sędzia z Wojciechowic. W tym samym roku książę Henryk I Podiebradowicz Starszy potwierdził 10 tysięcy guldenów węgierskich na majątku i wsi w Kamieńcu, Zbinkowi Bochowitzowi. Dwa lata później Johann von Haugwitz z Piszkowic posiadał już tylko część wsiSłownik geografii turystycznej Sudetów, op. cit., s. 191..

Pod panowaniem czeskim Następnymi posiadaczami byli von Tschischwitzowie. W XVI w. istniało tu wolne dziedziczne sołectwo, być może wówczas powstał pierwszy dwór. W XVII w. Kamieniec nadal był niezbyt dużą wsią. W 1631 r. mieszkało tu 16 gospodarzy, z których 10 płaciło podatki kościelne. Po von Tschischwitzach wieś przeszła na własność skarbu państwa i do 1684 r. była królewszczyzną. Dopiero potem była ponownie w prywatnych rękach.