Le château daterait du Xème siècle.
C'est sans doute le donjon de ce château qui serait à l'origine du nom de La Mastre qui viendrait du latin "magistra", tour maîtresse.
Construit sur un éperon rocheux, il dominait au sud, la ville haute de La Mastre. Peu à peu, les pierres des maisons en ruine ont été réutilisées pour costruire les maisons de la ville basse, le Lamastre actuel.
