Apesar do seu estado de degradação, é a construção mais monumental e a que melhor simboliza o passado aristocrático das terras de Azeitão.
Foi construído em meados do século XVI por ordem de D. João de Lencastre (primeiro Duque de Aveiro), em terrenos que lhe foram cedidos pelos frades do Convento de S. Domingos.
Neste palácio foi preso o Duque de Palmela e toda a sua família, por alegada participação numa conjura contra o Rei D. José.
Sobre o portal ainda é visível o brasão de armas ducais, picado por ordem do Marquês de Pombal.
Após a prisão do duque, foi saqueado, tendo desaparecido todo o seu recheio. Mais tarde o edifício foi cedido pelo Marquês de Pombal a um industrial para a instalação da primeira fábrica de chitas existente em Portugal e que funcionou de 1755 a 1846.
É um solar severo e majestoso, em estilo maneirista.
