Mantova era anticamente circondata da quattro laghi formati dal corso del fiume Mincio; poco distante dall'isola su cui sorse la città si trovava un'altra isola denominata sin dal medioevo Teieto (poi abbreviato in Te) collegata con un ponte alle mura meridionali della città. Due sono le ipotesi più attendibili sul significato del termine Teieto: esso potrebbe derivare da tiglieto, località di tigli, oppure essere collegato a tegia, dal latino attegia, che significa capanna.

L'isola, che possiamo immaginare verdeggiante e tranquilla, divenne ben presto luogo di svago per la famiglia Gonzaga; numerosi sono i documenti che attestano già dalla metà del Quattrocento l'uso di questo contesto naturale.

Agli inizi del 1500 Francesco II Gonzaga, marito di Isabella d'Este, vi fece costruire stalle per gli amati cavalli di razza e anche una casa padronale.

Rimangono infatti tracce di un edificio di pregio con pitture murali nei sottotetti dell'attuale palazzo.
Un affresco reca la data 1502 e le iniziali del committente.