Початковим власником земель в оточенні Кардіфф був Вільгельм де Клер після того, як Великобританія була завойована. Землі перебували далеченько від Уельсу, тому сенсу в їх зміцненні не бачив ніхто. Тільки після того, що царевич Ллевелін з’єднав Уельс, почалася споруда замку в Каерфілі. Будівництво почалося в 1268г., Яке тривало близько двох років.

В остаточному підсумку був побудований концентричний найпотужніший замок, який займав площу більше Тридцять гектарів землі. Замок Каермілі є другим за величиною на островах Англії, поступаючись замку Віндзора. Але, з цього приводу йдуть, так як Замок Віндзора більше схожий на реальний палац, ніж на оборонний замок. Для будівництва Каерфілі були використані нові технології для його захисту та зміцнення. Дамба, вибудувана по периметру замку, захищає його зовні, також робить озеро довкола нього. Замок омивається водою не з усіх боків, а всього лише з трьох: із заходу, півночі і півдня. На сході замок захищений дуже міцними, непроникними стінками. Укріплений півострів розміщується на заході від замку, який закриває прохід до стінок.

У 70-х роках Тринадцять століття на замок були вироблені атаки з боку військ Ллевіна, але пізніше він не брав участь у війнах.

Після того, як в Гілберта де Клера загинув нащадок, Каерфілі був переданий переможцеві Едуарда II, Х’ю Деспенсера. Через деякий час проти короля Едуарда зав’язалася війна, противниками якої була сама цариця Ізабелла спільно з хахалем, Роджер Мортімером. Вона здобула перемогу в декількох сутичках, після цього повелитель був зобов’язаний відшукати притулок в цьому замку. Після осадження замку, повелитель втік без скарбниці і власного гардеробу. Замок тримав облогу протягом декількох місяців, але, врешті-решт, здався. Х’ю Деспенсера стратили, а вся скарбниця короля була передана в руки Ізабелли.

Замок відігравав важливу роль в П’ятнадцять столітті при останньому повстанні за незалежність Уельсу. Замок був захоплений Оуейном Гліндуром, але потім не брав участь у військових діях, а робив роль адміністративного центру околиця.

Замок міг бути не дожити до наших днів, він був повинен бути підірваний за наказом Кромвеля. Але це вимагало б невимовних витрат з боку уряду, тому тільки пару веж були підірвані і зруйновані. Якість будівель просто вражає. Навіть напівзруйновані вежі міцно стоять на землі.