Le service des Monuments historiques voit le jour en 1830 avec la nomination d’un inspecteur général, Ludovic Vitet, auquel succède Prosper Mérimée ; en 1837 la commission des monuments historiques est créée. La commission prend en 1840 la décision de confier la direction des travaux les plus importants à « des architectes ayant fait de l’architecture du Moyen-Âge une étude toute spéciale ».
Eugène Viollet-Le-Duc, malgré son influence, avait réclamé sans succès la création d’un enseignement de l’architecture médiévale : il ne sera créé qu’en 1887 par Anatole de Baudot, au Trocadéro, suivi ensuite en 1893, du premier concours de recrutement des architectes en chef des monuments historiques.
En 1907, un décret organise le corps des Architectes en Chef des Monuments Historiques. ceux-ci se voient attribuer une circonscription géographique, et sont secondés par des architectes ordinaires qui assurent l’entretien des monuments et le suivi des chantiers de travaux.
Avec la séparation en 1905 des Églises et de l’État, et la suppression du ministère des Cultes, le corps des architectes diocésains, chargé des travaux sur les cathédrales, est rattaché à celui des monuments historiques.
À partir de 1946, une distinction nette entre travaux de restauration et d’entretien est établie, ces derniers sont confiés aux Architectes des Bâtiments de France (ABF) dont le corps vient d’être créé.
En 1991, la mise en extinction du corps des architectes des bâtiments civils et palais nationaux conduit à affecter au corps des architectes en chef des monuments historiques les bâtiments de l’État classés au titre des monuments historiques.
Les missions des Architectes en Chef des Monuments Historiques se sont adaptées à l’extension progressive de la notion de patrimoine et de monument historique à de nouvelles catégories d’immeubles (patrimoine urbain, industriel, maritime, des jardins), à des édifices qui appartiennent à des époques de plus en plus récentes et emploient de nouveaux types de matériaux (constructions en fer, en ciment ou béton armé, en verre …)