En sus inmediaciones los cartagineses dieron caza y quemaron a Cneo Escipión durante la 2ª guerra púnica, según Alicia Canto. Segura llegó a consolidarse como reino de taifa. El día de San Vicente del año 1214 los cristianos reconquistaron la zona, que quedó en manos del reino de Castilla. La Corona lo donó a don Rodrigo Íñiguez, maestre de la Orden de Santiago. Fue cárcel de grandes personajes históricos. Con la guerra de la Independecia el castillo fue pasto de las llamas. Entre los datos históricos más anecdóticos que han trascurrido en los muros del castillo, destaca el hecho de que sirvió de cárcel a personajes ilustres como Francisco de Quevedo, o don Luis Zapata de Chaves, escritor y paje del rey. Otro dato curioso de la Sierra de Segura es que en el siglo XVI fuera declarada Provincia Marítima, debido a la necesidad de su madera para las construcciones navales, que eran transportadas por el Guadalquivir a toda Andalucía, llegando a esquilmar los bosques casi en su totalidad.