Mantém na sua posição defensiva desde o século XVIII. Já foi território que serviu para corridas de touros, espetáculos de cavalos e acrobatas. Já se transformou num mercado e subdelegação da Alfândega, numa estação fiscal da delegação da Alfândega, numa Escola Primária e já acolheu, até fevereiro de 2010, a Brigada Fiscal da Guarda Nacional Republicana (GNR).
A primeira pedra foi lançada em 1701, durante o reinado de Pedro II de Portugal, mas, por falta de verbas, os trabalhos pararam dois anos depois. Foram retomados em 1738. D. Diogo de Sousa foi o governador que concluiu a fortaleza, em 1740, daí que no Portão de Armas se encontrem, precisamente, as armas desta família. A fortificação tem planta quadrangular com quatro baluartes nos vértices: dois de frente para o mar e os outros dois para terra. O portão, coroado pelo escudo real e por uma torre sineira, encontra-se voltado para a vila.
Todos os anos, dia 8 de Dezembro, acontece na fortaleza a procissão da Nossa Senhora da Conceição do Castelo.

Por agora apenas visitável apenas no exterior, é actualmente alvo de uma requalificação que a transformará em espaço de animação turística.