Fortaleza construida sobre los restos de un castillo medieval localizado en el punto más elevado del promontorio, en el casco histórico, dominando la desembocadura del Bidasoa.
Su primitiva construcción se atribuye a Sancho Abarca de Navarra; su ampliación y fortificación en 1190 a otro rey navarro, Sancho VII apodado el Fuerte. En el año 1200 se constata la existencia de un castillo en este lugar con motivo de la toma de Gipuzkoa por el rey castellano Alfonso VIII. Más tarde, los Reyes Católicos reformaron el castillo que fue ampliado durante el reinado de Carlos V.
Se trata de una construcción de planta cuadrangular con recios muros de 2 y 3 metros de grosor. Destacamos la monumentalidad, severidad y solidez de su fábrica. El edificio era a la vez castillo y palacio. En la actualidad presenta un núcleo central construido en la Edad Media, de planta cuadrangular con patio y restos de cubos en el extremo Este, complementado por diversas ampliaciones, de las cuales la más significativa es la fachada principal mandada construir por Carlos V. En dicha fachada de gran sobriedad destaca la portada de acceso compuesta por un arco de dimensiones reducidas con una sencilla decoración a base de un alfiz con bolas. Sobre él se despliega el escudo imperial con el águila bicéfala.
Según cartografía de 1797, el edificio constaba de seis plantas con diversos aposentos para la tropa, cuerpos de guardia, almacenes, vestuario, depósitos de pólvora y municiones hechos a prueba de bomba, calabozos, cabellerizas, laboratorio de mixtos, etc. Sus bóvedas de piedra aún sostienen un plataforma o terraza superior que estuvo dotada de diez piezas de artillería, y según los planos de 1737, estaba resguardada por una cubierta o tejado.
El edificio fue adquirido por un particular en venta pública por una cantidad poco significativa. Posteriormente en 1929 el Ayuntamiento lo adquirió a instancias de la reina María Cristina de Habsburgo-Lorena que en el verano de 1928 y con motivo de una visita a la Ciudad se alarmó ante la venta inminente del edificio y propuso su adquisición al entonces alcalde Francisco de Sagarzazu.
Conforme un acuerdo tomado por el Ayuntamiento el 25 de mayo de 1966, el castillo de Carlos V pasa de nuevo a manos del Estado para su reforma y acondicionamiento como Parador del Turismo bajo las directrices del Ministerio de Información y Turismo.
Descubre los 11 municipios medievales, de gran rigor histórico y con conjuntos monumentales medievales de gran importancia.