Замок Брох, як багато старі англійські замки, був побудований на місці старенького римського форту з впровадженням частини його кладки. У Тринадцять столітті ці землі придбав Роберт де Віпон, який збудував на їх величезну кількість конструкцій. Він віддав наказ обнести замок, за способом тих часів, деревним частоколом. Пізніше Брох перебіг у володіння багатою прізвища Кліффорд, яка володіла не одним замком.

Роберт Кліффорд перетворив замок у справжнє бойове споруду. За його наказом навколо Брох з’явилося кам’яне обгородження. Такі заходи були потрібні, адже країні в ті роки загрожували шотландці. Пізніше облаштуванням і посиленням захисних і бойових властивостей замку зайнявся внук Роберта, почасти змінив стиль внутрішніх приміщень. Але й тут основний упор був виготовлений на посилення фортеці. Скоро замку довелося випробувати свою стійкість, в кінці Чотирнадцять століття фортеця протистояла шотландцям. У війні Червоної і білосніжні троянди, де сімейство Кліффорд сприймало активну роль, замок піддався атакам.

Після смерті Джона Кліффорда Брох на маленький термін перебіг у володіння Невілл, але скоро нащадок Джона відновив свої права власника та авторитетна прізвище знову включила замок в свої володіння. Початок Шістнадцять століття стало золотим часом для авторитетного роду. Деякі з членів сім’ї були удостоєні титулів, а замки отримали реконструкцію.

Але скоро пішов період, коли замок виявився покинутий і залишений на волю стихій. Це був період цивільному війни, коли сім’ї Кліффорд було не до маєтків. Життя повернулася в Брох після того, як Ганна Кліффорд в один прекрасний момент зацікавилася родовим спадком.

Це була дуже енергійна активна дама, яка вивела з інертного стану величезну частину угідь, які дісталися їй. Після її смерті нащадки не проявляли такого ентузіазму до маєтках, а в Вісімнадцять столітті Брох (як і багато замків сім’ї) почав пригадувати руїни. Зараз ця споруда, історія якого налічує близько двох тисячоліть, можна оглянути, відправившись на екскурсійну поїздку.