Nella metà del XVI secolo il Cardinale Berardino Elvino, tesoriere di Paolo III, fece erigere questa splendida costruzione con«ornamenti… di sassi lavorati, e ferrate grandi di gran valore… alla volta di levante» (G.P.M. Castrucci, 1633). Il Palazzo fu costruito lungo il tracciato meridionale delle mura medievali, nella parte più a valle del rione Ospedale.
L’ingresso principale si caratterizza per l’alta modanatura orizzontale in pietra riportante l’iscrizione del nome del fondatore e la data (1560). Al piano terra le finestre hanno ancora le ricche inferriate ricordate da Castrucci nel 1632, mentre in quello superiore sono rifinite da una cornice orizzontale. La fabbrica termina con un grosso cornicione sorretto da mensole di pietra. Nel XVII secolo il palazzo fu ereditato dalla famiglia Panicali, che lo restaurò, lo impreziosì con eleganti affreschi e ne risistemò il giardino.