A un documento privato del dicembre 1013 risale la prima testimonianza sicura sul castello di Vertine.
Nel 1049 la chiesa, poi monastero, di San Lorenzo a Coltibuono riceveva in dono una parte del castello e della torre di Vertine, e beni fondiari nella circoscrizione castrense. Possedimenti di famiglie diverse in Vertine e nel suo territorio sono documentati nelle carte di Coltibuono dei secoli XI e XII.
Nel 1202 si ha il primo accenno positivo all'insediamento in Vertine dei Ricasoli, che ne sarebbero stati poi signori sino in epoca moderna.
Esponenti della famiglia compirono in Vertine, nel 1312 e poi ancora nel 1351, atti di violenza e di ribellione all'autorità della Repubblica fiorentina. Ricondotto nell'ambito della sovranità fiorentina, senza peraltro venisse diminuita l'autorità signorile della famiglia, il castello di Vertine sarebbe stato all'epoca delle guerre aragonesi (1452-1483) una delle residenze principali dei Ricasoli, allora commissari nel Chianti per la Repubblica, e un centro strategico di importanza primaria.

Lavori di restauro alle mura e alle porte di Vertine furono fatti verso la metà del '500.
Il castello, di forma approssimativamente ovale, conserva ancora quasi tutte le costruzioni originarie, disposte attorno ad un anello interno di strade e di slarghi, oltre a molti resti delle fortificazioni.
Anzitutto il bellissimo torrione accanto alla porta d'accesso, che era forse l'unica; esso, che ha subito recentemente un restauro integrativo, è costruito in accurato filarotto di alberese e presenta a ciascun piano, sui tre lati esterni, belle finestre ad arco, nelle quali conci di arenaria scura sono alternati con altri di alberese; sul lato interno, oltre ad una finestrina ad arco simile a quelle degli altri lati, ed altre due finestrine, una ad arco ribassato, l'altra rettangolare, ma svasata verso l'esterno, conserva una bella porta con stipiti in arenaria, in cui gli ultimi due conci, foggiati a mensola concava, sorreggono un architrave in alberese, sulla quale poi si appoggia un arco acuto ancora in arenaria.

Delle mura restano poi altri tratti: verso Nord-Ovest, dove in parte è stata ricostruita una fila di case e rimane anche una torre semicircolare, con una feritoia ed archibugiera alla base, e verso Sud-Est, dove, al di sotto delle case più esterne, se ne vede ancora un lungo tratto a scarpa, estremamente mal ridotto.