De fábrica de sabão a … Hotel Pestana, tendo sido ainda fabrica de moagem. Foi num terreno com declive que o cónego D. Jerónimo de Távora e Noronha mandou erguer, no século XVIII, o conhecido "Palácio do Freixo". No entender do investigador Robert Smith, o cónego terá escolhido o arquiteto toscano Nicolau Nasoni (1691-1773) para o projetar. Em meados do século XIX, um dos seus descendentes vendeu o Palácio e a quinta ao Barão e Visconde do Freixo que, para além de criar uma fábrica de sabão junto ao complexo habitacional, substituiu as antigas pedras de armas dos Távoras pelo escudo partido de Afonso e Cunha. Também mandou restaurar o interior do edifício, fazendo desaparecer parte das suas características originais. Já no século XX, o Palácio foi adquirido por um industrial, que instalou uma fábrica de moagem nos jardins, à qual acrescentou, em meados da década de cinquenta, um silo com cerca de quarenta e cinco metros de altura, enquanto a parte administrativa da "Companhia Moagem Harmonia" funcionava no interior do Palácio. No final do século XX, o edifício foi objeto de uma abrangente campanha de recuperação delineada pelo arquiteto Fernando Távora. Foi, posteriormente, adaptado a Pousada, inaugurada em outubro de 2009.
O projeto de Nasoni terá sido, claramente, influenciado pelas características do terreno. De planta quadrangular com torreões ligeiramente salientes nas extremidades e telhados piramidais circundados por coruchéus de menores dimensões, o palácio é largamente decorado no exterior.