Luogo importante sul percorso della via Francigena, Spedaletto fu occupato e presidiato dai Senesi nelle due prime decadi del '300, nel corso delle guerre contro i Salimbeni e gli altri nobili ribelli e contro la lega antiviscontea.
Era amministrato sino dal 1236 dallo Spedale della Scala, che alla metà del '400 fece compiere lavori di restauro e nuove opere di fortificazione, con "tre torricelle tonde". Venne espugnato dall'esercito del duca Cosimo I nel 1552.

Grandioso complesso approssimativamente quadrato con tre torri angolari ed un grosso fabbricato rettangolare nel quarto angolo; all'interno vi è un cortile recinto da fabbricati su tre lati, mentre il quarto è separato dall'esterno dalle sole mura. E' a cavallo di queste mura che sorge la costruzione rettangolare suddetta a due piani sopra una base a scarpa sormontata da cordone; ad essa si accede dall'interno del cortile a mezzo di un portone ad arco tondo con belle mensole in un'interruzione della scarpa.
Un ampio arco simile dà accesso da Nord al cortile attraverso il muro di divisione, che è munito sui due lati di forte apparato a sporgere di archetti di pietra su mensole di tre pietre stondate progressivamente oggettanti con numerosi piombatoi.

Delle torri angolari quella di Nord-Ovest è assai più grossa delle altre, ha un'alta base a scarpa coronata da cordone ed è munita alla sommità da apparato a sporgere merlato su lunghe mensole e con piombatoi; quella di Sud-Ovest ha soltanto una bassa base a scarpa e manca del coronamento; quella di Sud-Est, senza base a scarpa, è coronata da archetti in mattoni poco sporgenti su mensole di due pietre stondate e che reggono merli in mattoni attualmente riempiti. In un secondo tempo si era iniziato a racchiudere il complesso dentro un'altra cinta muraria, che però è stata realizzata soltanto verso Ovest; essa ha base a scarpa, sormontata da cordone e coronamento di archetti lievemente aggettanti con soprastante merlatura; nell'angolo meridionale, dove piega per raccordarsi con la costruzione preesistente, è sormontata da una guardiola merlata, posta su un apparato a sporgere simile a quello delle mura interne e con piombatoi.

Circa a metà sporge una torre che contiene la porta di accesso, analoga alle interne, sormontata ai lati da due fessure per lo scorrimento delle catene del ponte levatoio e coronata da apparato a sporgere poco aggettante e merlato come quello delle mura adiacenti; dalla parte interna la porta si prolunga con un profondo arcone a volta, sormontato da un altro meno profondo e più basso e con un piombatoio al centro della volta. Le mura continuano poi verso Nord a filo del lato esterno della torre-porta, con addossata all'interno la bella chiesa gotica e si concludono con un'altra torre nell'angolo Nord-Ovest con il solito apparato a sporgere leggermente aggettante e merlato, che si ritrova senza merli, anche sul lato Nord nell'abside della chiesa; da qui, al posto delle mura settentrionali, vi è una schiera di bassi fabbricati rustici, che formano un secondo cortile aperto davanti al castello..
Ovunque alla base, a metà altezza e sui merli di mura e torri e perfino nell'abside e nel fianco della chiesa si trovano arciere-archibugiere sparse in gran numero.