Il Castello vero e proprio, già della famiglia Roero di Cortanze nel XIV e da questa ristrutturato alla fine del Seicento, ha purtroppo in gran parte perduto l’originaria fisionomia per assumere le fattezze di un elegante dimora signorile di campagna. Tuttavia sul lato nord la fortezza cinquecentesca, con le sue bocche da fuoco e le feritoie delle casematte è rimasta quasi intatta. Il Castello è caratterizzato dalla massiccia torre cilindrica ornata da archetti pensili e merli guelfi e dal portale tipicamente settecentesco sovrastato dallo stemma dei Roero di Cortanze.
Al castello di Calosso è legata la storia di Sant’ Alessandro Sauli, vescovo di Pavia (Diocesi da cui dipendeva allora Calosso) che nel 1592, durante una sua visita pastorale, venne sorpreso da grave malattia e fu dapprima ospitato dal parroco di Calosso e in secondo momento dal proprietario del Castello, Ercole Roero di Cortanze. Era l’11 ottobre 1592 quando Alessandro Sauli spirava e fu tale l’impressione suscitata dalla sua morte che nel 1683 la Camera del Castello in cui si spense venne convertita, in primo tempo, in pubblico oratorio e successivamente in cappella ed è tradizione ormai da diversi anni che i proprietari ogni 11 ottobre facciano celebrare in suo ricordo la Santa Messa.
Il castello è sempre stato privato ed è passato quasi sempre per via femminile, partendo dai Roero di Cortanze, dai Colli di Felizzano, dai Gavigliani, dai Gloria, dai Ferretti di Castel Ferretto, si è giunti ai Balladore – Pallieri, attuali proprietari.