Nella Descriptio Romandiole del 1371, il Cardinale Anglico così descrive il castello di Pianetto: “(…) è in una costa sopra una altissima ripa, sopra il fiume acquedotto, è sulla strada che va in Toscana, (che) passa fra il castello e il fiume e chiude così detta strada per cui in nessun modo qualcuno può transitare senza il permesso dei padroni del castello (…) che si custodisce ad petitionem del signor abate (di S. Ellero); presso detto castello vi è un borgo in mezzo al quale passa la suddetta strada. E’ un castello adatto alla guerra. Nel castello e nel borgo vi sono XXXIII focolari”.
Dal 1209 al 1276 apparteneva ai conti Guidi, per passare poi nelle mani dei fiorentini (infatti nel 1276 venne occupato da Guido Selvatico).
Il dominio e l’influenza degli abati di Sant’Ellero sono comprovati, per il Trecento, oltre che dal testo dell’Anglico (“Castrum Planetti (…) in qui est roccha et turris fortissima, que custoditur ad petitionem dicti domini abbatis”), dall’elezione, avvenuta nel 1316, dell’abate di S. Ellero nella chiesa di “Sancte Mariae de castro Planecti”.
Per quel che riguarda la struttura attualmente visibile, il castello si compone di una cinta muraria (più di 300 metri) con salienti difensivi. Due sono le porte di penetrazione: una posta a nord, di cui si riesce a leggere la struttura in un edificio a grande arco che si incontra salendo la castellare; l’altra a sud, di fianco alla quale emerge un possente torrione semicircolare in cui vi è la cisterna per la raccolta delle acque.
In posizione dominante si erge il maschio a base quadrangolare di 5 metri di lato ed un’altezza di circa 10 metri.
