I rilievi collinari culminanti nel poggio del comune (624 metri) che, sulla sinistra dell'Elsa, separano la media valle di questo fiume dall'alta val d'Era costituiscono il territorio comunale di San Gimignano, territorio in cui, assalito dalla vegetazione, spicca un pittoresco rudere, La Canonica di Castelvecchio, il castello abbandonato posto sulle pendici meridionali del poggio del comune.

La storia di Castelvecchio affonda nel buio dei millenni. Forse la collina sulla quale si trova, era abitata ancora prima dell'arrivo degli Etruschi. Certamente esisteva in epoca longobarda e poi fu del vescovo di Volterra che, nel 1210, lo cedette a San Gimignano, città in rapida ascesa. Il Duecento fu per Castelvecchio il secolo della gloria militare. Era una cittadella imprendibile, capace di proteggere San Gimignano contro tutti gli attacchi nemici. Intorno al 1270 Castelvecchio divenne anche un piccolo "Eldorado" dell'argento, con cercatori che affluivano da tutte le parti d'Italia. La popolazione, arricchitasi rapidamente, abbellì la chiesa locale, dedicata a San Frediano, e chiamò un noto pittore senese perchè dipingesse un affresco del quale rimangono i resti. Nel XIV secolo cominciò la decadenza di Castelvecchio che perse i privilegi di cittadella militare in seguito alla costruzione del moderno Castenuovo e, un secolo dopo, veniva ritenuto un peso per il Comune di San Gimignano che lo definì un epicentro di peste, provocandone l'abbandono e la morte.

Definire solo Castello l'area dove sorge Castelvecchio è alquanto restrittivo. L'insediamento è in pratica una piccola città fortificata con strutture difensive al cui interno sorgono ancora i ruderi di abitazioni di vari livelli sociali e notevoli resti della chiesa parrocchiale di S.Frediano.
Da notizie storiche apprendiamo che nel 1100 Castelvecchio aveva praticamente già l'aspetto attuale e si era costituito in libero comune. Dai resti delle abitazioni giunti fino a noi si deduce che l'insediamento potesse dare ospitalità a circa cinquecento persone, anche se gli abitanti all'epoca dovevano essere solo un centinaio, dediti principalmente all'agricoltura. Forse è tra questi ruderi più che in altri luoghi che ci possiamo rendere conto di come si svolgeva la vita dei castelli fortificati della campagna Toscana: le sentinelle dai camminamenti di ronda e dalle torri vigilavano sulla gente al lavoro nei campi dando l'allarme che faceva rientrare in fretta tutti al riparo delle mura in caso di pericolo.

La sua posizione, a metà strada fra S.Gimignano e Volterra, lo rese ago della bilancia, sia difensivo che offensivo, delle guerre fra queste due grandi potenze medievali. Per questo nel 1208 furono rinforzate le fortificazioni e ricostruite le mura. Castelvecchio divenne così una antesignana cittadella fortificata, gruppo di edifici militari, religiosi e civili racchiusi dentro una cinta muraria a forma di ellisse con un perimetro di circa 600 metri. Ancora oggi i resti delle mura hanno lo stesso perimetro del 1208 e, tranne per l'intervento alla torre del mastio, la cittadella è come era nel XIII° secolo. Qui si possono rilevare le caratteristiche del castello longobardo o feudale: un potente mastio quadrato con torre a difesa della porta principale, la chiesa, della quale permangono ampi resti (addirittura nell'abside sono riconoscibili tracce degli antichi affreschi datati 1275), le case sparse fra i due centri del potere (feudale e spirituale), due mulini e una grande cisterna per l'acqua piovana capace di contenere 60.000 litri. Il tutto rinchiuso da alte mura intervallate da torri quadrate costruite con la caratteristica 'Pietra di Castelvecchio' che dalla vicina cava veniva esportata anche nei centri vicini. Di queste torri La Nord e la Sud sono state squarciate dai fulmini mentre quella di Sud-Ovest, praticamente al vertice opposto rispetto alla porta principale, è ancora oggi quasi intatta.