Já foi conhecida como a Torre de Pedro Sem, um nobre que, na primeira metade do século XIV, esteve na origem da sua construção. Chanceler-mor de D. Afonso IV, a maciça torre residencial foi a solução de prestígio e de poder que encontrou para afirmar a sua presença na cidade. Também houve quem lhe chamasse a Torre da Marca, por confusão com uma outra estrutura de cariz militar, muito perto desta, mandada construir por D. João III em 1542 para orientação dos navios. É Torre do Palácio dos Terenas na sequência do palácio que lhe foi associado em finais do século XVIII.
A antiga Quinta da Boa Vista, como era conhecida no século XV, transformou-se em propriedade urbana e é neste contexto que se inscreve a construção do palácio setecentista. A fachada principal, virada a nascente e única frente visível, está organizada em três andares.
Em 1919, o imóvel foi adquirido pela Diocese do Porto para instalar o paço episcopal que tinha sido desalojado do morro da Sé após a implantação da República. Em 1986, a Torre foi adaptada a área residencial da diocese, o que se traduziu numa transformação integral de toda a estrutura medieval.