La première trace du château remonte au XIIe siècle et est une possession d'Étienne de Castelbouc, vassal d'Elie de Montbrun. Ce dernier est commandeur des Templiers du Larzac
Au XVIe siècle les États particuliers du Gévaudan ordonnent la destruction de nombreux châteaux de la province. C'est sans doute de par l'une de leur décision que celui de Castelbouc est détruit en 1592. Tout ceci afin qu'il ne puisse pas servir de refuge aux protestants durant les guerres de religions.
La légende
Du temps des Croisades, tous les hommes seraient partis guerroyer, sauf le seigneur de Castelbouc. La légende raconte qu'il aurait dû contenter toutes les femmes du village, en manque d'homme, et qu'il en serait mort d'épuisement. Le soir venu, son fantôme en forme de bouc aurait survolé le château, donnant son nom au lieu.
Commerce: Pizzeria-Buvette- Glaces Camping pres du Tarn
Pour les journées du patrimoine en septembre, certaines années le château est visitable. Se renseigner auprès des propriétaires.
