Créé en 1903 par un grand botaniste français, le célèbre grainetier Philippe de Vilmorin (1872-1917), sur les terres du château d'audour, l'arboretum a toujours eu vocation d'acclimater des plantes du monde entier. Entre 1903 et 1923, plus de 1 100 espèces sont plantées, certaines inadaptées au climat disparaîtront rapidement, tandis que d'autres y prospéreront. A l'origine le domaine est divisé en carrés de 20 mètres sur 20 mètres, dédiés chacun à une espèce. Avec le temps, ces limites ont disparu au profit d'une futaie jardinée composée de bouquets d'essences d'origines diverses. D'après Roger de Vilmorin, fils de Philippe, qui décrit l'arboretum en 1935 dans la revue La Terre et La Vie, 70 000 sujets seront plantés de 200 genres différents. Les espèces très exotiques ne se sont pas toujours acclimatées au climat rude de la région, mais une partie non négligeable de celles-ci ont contribué au succès de l'expérimentation de grande ampleur entreprise ici. Dans son article, il évoque aussi le terrible hiver 1916-1917 qui causa la perte de nombreux spécimens. L'arboretum est ensuite racheté par l'État en 1935. En 1969, il acquiert le statut de forêt domaniale, et il est depuis géré par l'Office national des forêts, lequel a à cœur de l'ouvrir autant que possible au grand public et aux familles.