La straordinaria continuità insediativa di questa emergenza architettonica, stratificata, riedificata e riutilizzata continuamente nel corso di due millenni compendia, praticamente, tutta la storia dell'Alta Brianza concentrata in un solo luogo.
Luogo di culto alla Triade Capitolina tra il I e II secolo d.C., divenne chiesa paleocristiana e poi castello dei Conti di Lecco, attestato in un documento del 960.
Passato ai Vescovi di Bergamo, nel XII e XIII secolo era abitato da esponenti della famiglia feudale dei Capitanei di Vimercate.
Distrutto dai guelfi di Milano nel 1262 durante le lotte tra il partito del popolo e quello dei nobili fu successivamente riadattato solo in parte, mentre la chiesa interna di San Giovanni Battista rimase in completa rovina.
Nel 1845 Giuseppe Cantù, fratello dello storico Cesare Cantù, lo acquistò dal Comune di Brivio che intendeva demolirlo e lo fece ristrutturare come filanda; l'opificio passò poi agli industriali francesi Gibert che vi ricavarono, nell'ala est, anche l'abitazione dei proprietari.
Chiusa la Filanda nel 1927, il castello è oggi abitazione privata.