En el siglo X, el conde de Blois, Eudes I, hizo construir una fortaleza para proteger Blois de los ataques del conde de Anjou. En agradecimiento por su apoyo, ofreció Chaumont al caballero normando Gelduin el Joven. Su hijo y sucesor Geoffroy, que no tenía hijos, eligió como heredera a su sobrina Denise de Fougères. En 1054, se casó con Sulpice I d’Amboise, y Chaumont pasó a ser propiedad de la familia d’Amboise durante casi cinco siglos.
Sin embargo, en 1465, Luis XI mandó demoler los edificios y las ampliaciones para castigar a Pierre d’Amboise por rebelarse contra el dominio real. Unos años más tarde, en 1469, el rey indultó a Pierre d’Amboise, le devolvió las tierras y aportó fondos para la reconstrucción de Chaumont.
Entre 1468 y 1510, su hijo Carlos I construyó en estilo gótico el ala norte (hoy desaparecida), el ala oeste y parte del ala sur. El ala sur, el châtelet de entrada, el ala este, la capilla y la gran escalera que da al patio fueron terminados por su nieto Carlos II, en un estilo más influenciado por el Renacimiento.
En 1560, Catalina de Médicis, viuda del rey Enrique II y regente del reino de Francia, compró el castillo de Chaumont y obligó a Diana de Poitiers, antigua favorita del rey, a cederle a cambio el castillo de Chenonceau. Esta última realizó varias obras y colocó sus emblemas sobre las matacanes del paseo parapetado. Entre finales del siglo XVI y mediados del XVIII, el castillo de Chaumont tuvo una sucesión de propietarios.
Fue adquirido en 1750 por Jacques Donatien Le Ray, futuro intendente de los Inválidos bajo Luis XVI. Hizo demoler el ala norte para abrir el patio principal hacia el Loira y fundó cerca del castillo (donde hoy se encuentran los establos) una fábrica de alfarería y cristalería, dirigida por el escultor y grabador Jean-Baptiste Nini, que atrajo a numerosos artistas. Jacques Donatien Le Ray consiguió preservar el castillo de la Revolución Francesa, donde acogió a Benjamin Franklin en 1776. Su hijo, conocido como Le Ray l’Américain, lo vendió al barón d’Etchegoyen en 1823.
En el siglo XIX, el castillo perteneció sucesivamente al conde de Aramon y después al vizconde Joseph Walsh. Ambos llevaron a cabo importantes obras de restauración. En 1875, Marie-Charlotte Constance Say, hija y heredera del acaudalado refinador de azúcar de caña Constant Say, compró la propiedad de Chaumont. Unos meses más tarde se casa con el príncipe Henri-Amédée de Broglie.
Con la ayuda del arquitecto Paul-Ernest Sanson, la pareja siguió ampliando y embelleciendo la finca, restaurando el exterior, modernizando el interior (con electricidad, calefacción central y agua corriente) y construyendo establos. En 1884, el arquitecto paisajista Henri Duchêne diseñó el parque de recreo que rodea el castillo. Sin embargo, en 1938, la princesa vendió la finca al Estado por 1.800.000 francos oro.
Desde 2007, el dominio de Chaumont-sur-Loire pertenece a la Región Centro y en octubre de 2008 se convirtió en Centro Cultural de Encuentro: un establecimiento reconocido por el Ministerio de Cultura y Comunicación por sus misiones de conservación del patrimonio y de desarrollo artístico y cultural.