A finales del siglo XVI, Amboise conservó su papel de plaza fuerte debido a su posición estratégica, pero se convirtió en escala de soberanos franceses que se alojaban allí de vez en cuando en sus desplazamientos por el reino, como Enrique IV (1553- 1589- 1610), Luis XIII (1601- 1610-1643), Luis XIV (1638- 1643-1715) y su nieto Felipe V de España, duque de Anjou (1683- 1700/1724-1746).
Sin embargo, en 1620, Luis XIII ordenó la construcción de nuevas defensas. Sin embargo, debido a la falta de mantenimiento, el castillo se fue deteriorando poco a poco: los principales edificios del recinto oeste del castillo (entre la capilla Saint-Hubert y el Logis Charles VIII) fueron demolidos entre 1627 y 1660. Amboise también se utilizó como prisión. Allí estuvieron prisioneros célebres, como Nicolas Fouquet (1615-1680), superintendente de Finanzas de Luis XIV, caído en desgracia en 1661. Durante esta estancia fue escoltado por el famoso capitán mosquetero d’Artagnan (hacia 1615-1673).
Amboise salió finalmente de su letargo en el siglo XVIII con Étienne-François, duque de Choiseul (1719-1785), poderoso ministro de Luis XV (1710- 1715-1774). Se convirtió en propietario en 1763, junto con la cercana finca de Chanteloup, donde hizo construir un suntuoso castillo al gusto de la época. También prefirió vivir allí antes que en la ciudadela de Amboise, donde instaló fábricas.
A la muerte de Choiseul, su inmensa propiedad fue comprada por la Corona y vendida en 1786 a Louis-Jean-Marie de Bourbon, duque de Penthièvre (1725-1793), nieto legítimo de Luis XIV. A partir de 1789, acondicionó los pisos, derribando las columnas y dividiendo el Gran Salón. Mandó construir un comedor panorámico con vistas a la Tour des Minimes. Ordena realizar obras en los jardines: se plantan tilos en hileras escalonadas en la terraza norte y se acondiciona un parque a la inglesa. En el extremo oeste de la fortaleza, mandó construir una pagoda sobre la torre Garçonnet, de estilo chino.
En 1789, el Logis des Sept-Vertus fue destruido por un incendio.