Au XVIIIe siècle, le terroir de Château Clerc Milon était inclus dans les vastes domaines de la seigneurie de Lafite. Vendu comme « bien national » à la Révolution, il fut alors acquis par la famille Clerc, qui associa son nom à Milon, hameau de Pauillac où il se trouvait. Le rang de Cinquième Cru, qui lui fut attribué dans le Classement de 1855, atteste de son appartenance à l'élite des Châteaux du Médoc dès cette époque. Le vignoble s'étendait alors sur une trentaine d'hectares.

Le cru conserva longtemps une très bonne réputation. Mais au gré des ventes et des successions, le domaine originel se réduisit et son entretien fut négligé. Dans les années 1960, il ne comptait plus qu'une quinzaine d'hectares en décrépitude, le reste étant dispersé en centaines de parcelles, avec presque autant de titres de propriété.

Convaincu du potentiel qualitatif du cru, le baron Philippe estima que Château Clerc Milon méritait « d'être en bonne place » auprès des deux autres crus familiaux, Château Mouton Rothschild et Château d'Armailhac. Il l'acquit ainsi en 1970, et entreprit un minutieux travail de rénovation du vignoble grâce au remarquable savoir-faire des équipes de Mouton, et de reconstitution du domaine en rachetant peu à peu à leurs innombrables propriétaires les parcelles qui avaient été dispersées au fil des ans.

Pour renouveler l'image et l'identité du cru, il fit successivement illustrer l'étiquette de Château Clerc Milon avec deux objets d'orfèvrerie allemande des XVIIe et XVIIIe siècles, extraits des collections du Musée du Vin dans l'Art de Château Mouton Rothschild : une 'Jungfraubecher', coupe de mariage en vermeil, jusqu'en 1982, puis un couple de danseurs en pierres précieuses.