El castillo de Villesavin fue construido para Jean le Breton, secretario financiero de Francisco I. En 1525, fue hecho prisionero durante la batalla de Pavía y se encontró encerrado en la misma fortaleza que Francisco I. Cuando ambos regresaron a Francia, Francisco I nombró a Jean le Breton gobernador de las obras de Chambord.
Tuvo entonces que reiniciar el proyecto, interrumpido durante 27 meses a causa de las guerras italianas, supervisarlo y pagar a los obreros. Francisco I le ofreció también las tierras de Villesavin para construir el castillo. Jean le Breton llamó entonces a varios obreros y artesanos franceses e italianos de Chambord para construirlo (1527-1537). El castillo de Villesavin recibió el sobrenombre de «La Cabane de chantier de Chambord».
Después de Jean le Breton, el castillo fue el hogar de varias familias nobles prominentes, entre ellas Jean Phélippeaux, consejero del rey Enrique IV. También vivieron aquí condes y marqueses, que sufrieron numerosos cambios durante el siglo XIX. Hoy, la tercera generación de la familia de Sparre ha tomado el relevo.