Le Château est bâti sur un point fort naturel, un affleurement calcaire dominant la vallée de la Dive, à l'ouest. Les plus anciennes parties du bâtiment sont construites directement sur la rocher dans lequel les caves furent creusées.

Les tours du XIVème siècle sont en pierres de taille et moellons terminées en plates-formes. Les pierres sont liées avec un sommaire mortier de calcaire. Les murs ont plus d'un mètre d'épaisseur.

Ils étaient à l'origine surmonté de mâchicoulis et de créneaux. La disposition des remparts et des tours est typique du début du XIVème siècle: huit tours principales, reliées par un mur d'enceinte, entourant les bâtiments principaux.

Un chemin de garde existait alors sur les remparts et offrait une vue panoramique des alentours. Les douves sèches étaient une protection efficace contre les attaquants, et nulle archive n'existe d'une prise d'assaut du Château.

Le style de son architecture changea radicalement au XVlème siècle lorsque les techniques d'assiègement s'améliorèrent, rendant la petite forteresse vulnérable. La guerre se transforma en guerre d'observation, chaque armée se faisant face en terrain découvert, en rangs ordonnés. Les tours construites à cette époque reflètent bien ce fait: elles sont plus hautes et permettent d'observer d'éventuelles attaques par l'ouest de la Loire.

Le XVlème siècle vit encore un changement. L'influence italienne amenant un style plus décoratif et le confort prit de l'importance. Le Château devenait la résidence du seigneur local et n'avait plus une rôle militaire.

Les douves entourant les remparts principaux du Château mènent à de nombreuses pièces creusées à même le rocher. Le réseau des passages est très étendu.

Durant la Guerre de Cent Ans, il servait de refuge à la population locale.

On peut encore voir dans certaines salles les cheminées d'origine, les rangements aménagés dans les murs et les niches où étaient disposées les statues des saints. Quelques-unes de ces maisons troglodytes furent habitées jusqu'au XIXème siècle.