L'incontro tra Giulio Romano e Federico II Gonzaga e il successivo incarico di costruire il Palazzo del Te è suggestivamente descritto da Vasari nelle sue Vite.

Quando Giulio giunge a Mantova nell'ottobre del 1524, il marchese gli fornisce una dimora, lo colma di regali e, donatogli uno dei suoi cavalli favoriti, cavalca con lui fino all'isola del Te. Qui Federico incarica Giulio di ristrutturare le scuderie esistenti per "accomodare un poco di luogo da potervi andare e ridurvisi tal volta a desinare, o a cena per ispasso" Il proposito dunque appare piuttosto modesto ma, come riferisce Vasari, alla vista del bellissimo modello predisposto da Giulio, il marchese dà incarico, con entusiasmo, di iniziare immediatamente la costruzione del palazzo. La funzione dell'edificio è anche chiaramente espressa in un'iscrizione che si trova nella sala di Psiche.

E' un palazzo per il tempo libero e lo svago, per l'onesto ozio del principe, che ritempra le forze nella quiete. Palazzo Te viene utilizzato spesso dalla famiglia Gonzaga come luogo atto ad accogliere e onorare gli ospiti illustri, come dimostrano le visite dell'imperatore Carlo V che soggiorna al Te in due occasioni, nel 1530 e nel 1532, mentre Enrico III re di Francia vi è ricevuto nel 1574.