Acum, o ruina in picioare pe malul estic al raului Barrow, se crede ca acest castel a fost construit de maresalul William intre 1207 si 1213 si este similar ca design cu Castelul Ferigi din comitatul Wexford.

La un moment Carlow a fost o cetate importanta si puternic militarizata, strategic amplasata la confluenta raurilor, iar castelul a rezistat atacurilor repetate in 1494 si 1641.

Astazi, doua turnuri si o parte a zidului de vest sunt tot ceea ce a mai ramas dupa ce un medic local, a incercat sa-l reconstruiasca ca un azil in 1814. In acest context s-a incercat demolarea interiorului punandu-se incarcaturi explozive.