O acesso não é fácil e há uma subida para fazer. Pés a caminho, porque a vista vale a pena o esforço. A localização reafirma a sua importância na defesa do território, já que o que resta do Castelo de Aguiar de Sousa é a sua torre de menagem.
Erguido algures no século X, o Castelo foi tomado de assalto por Almançor, governador da região de Andaluzia, Espanha, no contexto das guerras da Reconquista. Apesar da sua importância geográfica e política, apenas no século XII é que a fortificação medieval foi reforçada pela construção da torre de menagem. Ao longo dos tempos, o Castelo foi desaparecendo, restando hoje para visita a torre e alguns elementos do contorno da muralha.
Quando terminar a subida do monte, encontra novas escadas que conduzem à entrada na torre. Aí, pode observar a sua base quadrangular, irregular, com 2 metros de altura por 4 de largura. Visitável agora, após as intervenções de conservação e valorização da Rota do Românico, a torre dá a conhecer ainda a muralha primitiva de 150 centímetros de largura sob a qual terá sido construído o novo muro. Nestes trabalhos arqueológicos foram também descobertos objetos do quotidiano dos habitantes do castelo.
Agora, olhe em frente. A vista é uma janela privilegiada para a natureza envolvente. Observe as escarpas das serras, e faça silêncio para ouvir as quedas de água e o Rio Sousa que caminha em direção ao Douro.