Die strategische Lage zwischen Siena und der Maremma sowie der fruchtbare Boden des Anwesen machten das Schloss Poggio alle Mura während vielen Jahrhunderten zu einem begehrten und umkämpften Besitz.


Der Bau entstand zumeist zwischen dem 9. und 13. Jahrhundert; sein Ursprung ist jedoch weitaus früheren Datums. Einige unterirdische Räume sowie Urnen aus Stein und Vasen aus Keramik, die bei der letzten Restaurierung gefunden wurden, legen sogar die Vermutung nahe, dass es hier bereits zur Zeit der Etrusker eine erste Siedlung gab. Die im Torbogen vorhandenen weißen Steine namens "Conci", die häufig in römischen Bauwerken zu finden sind, scheinen einen späteren Umbau zu einer römischen Villa zu bezeugen.

Die erste offizielle Erwähnung stammt aus dem Jahre 1318, als Poggio alle Mura erstmalig in das damalige Kataster, die “Tavola delle Possessioni”, aufgenommen wurde. Es unterstand der Kurie von Camigliano und gehörte den Nachfahren des Messer Mino di Neri dei Ranuccini. Mit dem Übergang von der Familie Ranuccini an die Familie Colombini änderte sich der Stand des Anwesens von einer offenen Siedlung zu einem befestigten Gutswesen (Palatium seu Fortelitia).

Aber vor allem die Geschichte des Geschlechts der Grafen Placidi ist untrennbar mit dem Castello verbunden. Diese aus Siena stammende Adelsfamilie, die wichtige Regierungsämter in der Stadt bekleidete, kam im Verlauf des 15. Jahrhunderts in den Besitz der Burg, weil sie sich in den Kriegen der Republik Siena gegen Florenz besonders ausgezeichnet hatte. Im weiteren Verlauf wurde der Besitz aus zwei verschiedenen Anlässen durch die eigene Republik konfisziert und dem “Spedale di Santa Maria della Scala” zugewiesen: Dies geschah im Jahre 1483 aufgrund der Verfolgung der Noveschi , der von den Placidi unterstützten Partei, und das zweite Mal 1487, als die Placidi zu Rebellen erklärt wurden. Im Jahr 1529 übernahmen die Grafen erneut Besitz von der Burg, wo sie ungestört bis 1959 walteten. Zu diesem Zeitpunkt ging Poggio alle Mura in den Besitz des italienischen Unternehmers Giovanni Mastropaolo über, der seinen Wohlstand in Südamerika erzielt hatte.

Der letzte Besitzerwechsel erfolgte 1983, als das Schloss, das im zweiten Weltkrieg erheblich zerstört wurde, in den Besitz des Weingutes Banfi überging. Den Restaurierungsarbeiten der Besitzer, der Familie Mariani, ist es zu verdanken, dass die Burg in ihren ursprünglichen glanzvollen Zustand zurückversetzt werden konnte.
Heute zeigt sich die Festung aufgrund einiger historisch-architektonischer Überschneidungen äußerst vielseitig. Sie weist einen kompakten, quadratischen Grundriss mit zwei Innenhöfen und einem mit Zinnen versehenen Turm auf, der früher als Aussichts- und Wachturm zur Nordseite diente. Auf der gegenüberliegenden Seite befindet sich der so genannte Schanzturm, an dem sich früher ein Aufgang befand, der bei einem Angriff hochgezogen werden konnte. Zur Burg hinauf führt eine Zugangsrampe, die sich auf Bögen stützt. Von besonderem Interesse sind der aus dem 15. Jahrhundert stammende Innenhof mit niedrigen Bögen auf achteckigen Säulen sowie außerhalb der Burgmauern das antike Eishaus mit der charakteristischen Form eines Erdhügels. Erwähnenswert ist außerdem die Marmorplatte am Eingangstor, die Baumaßnahmen am Innenhof aus dem Jahre 1654 bekundet.