Zespół tych budowli został mocno przebudowany w XVI wieku przez Richarda Wilsona (dyrektora ds. prawnych w Leeds Corporation). Powstał wówczas symetryczny dom na planie litery "U" i piętrowym gankiem. Jego potomek, również Richard Wilson, właściciel rozległych dóbr na zachód od Boar Lane i Coloured Cloth Hall, odbudował w 1765 te budowle wraz z ogrodami biegnącymi do rzeki. Wśród mieszkańców obiektu był m.in. Christopher Wilson (1715-1792), biskup Bristolu. W początkach XIX wieku okolica dworu stała się terenem przemysłowym, mocno zanieczyszczonym, nie postrzeganym jako okolica przyjazna do zamieszkania. Stare skrzydło zostało zakupione w 1815 przez Henry'ego Scarbrough, który przekształcił je w gospodę "The Kings Arms Inn". W 1823 urządzono tu hotel Scarbrough, w którym chętnie zatrzymywali się zwłaszcza muzycy. Nocował tu m.in. Ferenc Liszt podczas swego brytyjskiego tournée zorganizowanego przez Louisa Henry'ego Lavenu. W 1857 spał tu książę Walii, późniejszy król Edward VII, a w 1858 Charles Dickens. Hotel funkcjonował do około 1863, kiedy w pobliżu wybudowano wiadukt kolejowy i konkurencyjny hotel Queens. W latach 90. XIX wieku właściciel obiektu, Fred Wood, zmienił nazwę budynku na Public House. Odbywały się tu wieczory talentów i przesłuchania muzyczne.