Nel 1878 il proprietario di borgo castello, l'attuale ubicazione della torre, era la famiglia Tartara. Secondo un documento d'archivio, si apprende che il Tartara, di origine vercellese, aveva preso a lavorare la seta greggia, ma non gli era andata bene. Dal fallimento che ne derivò, fu costretto a vendere tutto. Il nuovo proprietario divenne così il Conte Paolo Ballada di San Robert, torinese amante dell'arte medioevale e appassionato entomologo (da ciò il suo nomignolo, "l cunt di babi"). Per 20.000 lire acquistò il corpo del fabbricato civile e rustico con annessi beni, ivi compresa quella "piccola montagna con terreno coltivo, gelsi e poca vigna", che oggi corrisponde al Parco della Rimembranza. Fatto l'acquisto il conte aveva apportato miglioramenti alla proprietà, costruendo balconi, rimodernando i muri, rinnovando gli interni e, tra l'altro, provvedendo a far erigere "nel centro del terreno boschivo in corrispondenza della montagnola" una torre. Questa è strutturata in un piano terreno, un piano inferiore e un piano superiore. La costruzione comportò una spesa di 9.000 lire. Il progetto prevedeva ancora un piano, ma la popolazione di Borgo Castello si oppose, temendo per la stabilità della torre e per la propria incolumità. In seguito, nel 1883, il conte decise di vendere tutti i suoi beni di zona Castello al Comune di Castagnole, a cui serviva un fabbricato da adibire a scuola.
Nonostante il valore del complesso venne calcolato in circa 30.000 lire, il conte si accontentò di "unannua vitalizia pensione" di 2.900 lire, che gli venne versata dal 1884 al 1888, anno della sua morte. Nonostante venne considerato un personaggio piuttosto eccentrico, bisogna rendergli grazie per l'idea di costruire la torre e per la generosità che dimostrò verso Castagnole.