Documentat des del 969. Va pertànyer als comtes de Pallars en principi i posteriorment als Mur.
En 1055 Ramón V de Pallars Jussà se'l va cedir a Arnau Mir de Tost com dot per casar-se amb la seva filla. A la seva mort Arnau Mir li entrega a la seva filla Valença esposa del comte Ramón V.
Aquest castell roquer (sobre roca), adopta una esvelta silueta triangular. Molt a prop però separat per un turó s'alça el castell de Guàrdia de Noguera que va ser també de la baronia dels Mur.
 |  | |
| Vista lateral del castell | Torre posterior del castell |
Els seus elements bàsics són una torre mestra circular amb la porta una mica aixecada respecte al terra i un recinte allargat amb els extrems arrodonits (semblant a una planxa o un navil) on hi havia una sala principal, cisterna i diverses dependències.
Adossada a una cara del castell havien algunes cases dels pagesos que rebien protecció. Pròxim es trobava una col·legiata vinculada a la figura d'Arnau Mir de Tost.
A causa de la gran extensió del terme aviat es van afegir nous castells (La Guàrdia, Estorm, Moror, l'Alzina i Puigcercós).
Per accedir, una vegada assolida Guàrdia de Tremp, camí de Moror, Estorm i Sant Esteve de la Sarga es pren cap a la dreta per una via de muntanya fins a arribar a la població de Santa Maria de Mur, es continua fins i tot Collmorter i finalment fins al mateix turó del castell i col·legiata de Mur.
Magnífica vista des del castell
El recinte medeix 31 metres de longitud. La muralla d'un metre de grossor té una alçada que varia entre els 14 i 18 metres.
El any 1920 el castell va ser declarat Monument-Artístic d'Interès Nacional.
