.
.
L’histoire de l’actuelle propriété située sur la célèbre « Gold Coast » de Long Island a commencé entre 1904 et 1912, lorsque Helen MacGregor Byrne – épouse de l’avocat new-yorkais James Byrne – a acheté six propriétés agricoles qu’elle appelait collectivement « Upper Planting Fields Farm ». Les Byrne ont engagé l’architecte paysagiste James Leal Greenleaf entre 1904 et 1910 pour créer des haies, des bordures de plantes vivaces et des arbres fruitiers en espalier. Bien que les éléments notables de cette période soient l’arbre à roses, la piscine circulaire et la cour du jardin vert, Coe se souvient plus tard que « Mme Byrne avait fait très peu d’aménagements paysagers. Elle avait une petite pelouse autour de la crête de la résidence » et, à côté, un champ de maïs. La plus grande partie de la propriété, se souvient Coe, n’était « qu’une jungle de broussailles, de criquets et d’autres arbres ».
En 1913, William Robertson Coe a acheté la maison et le domaine de 353 acres (143 ha), et a commencé les plantations et l’aménagement paysager d’aujourd’hui sous la direction du cabinet de paysagistes de Boston, Guy Lowell et A. Robeson Sargent, fils de Charles Sargent, fondateur de l’Arnold Arboretum. En 1915, Lowell et Sargent ont supervisé le transport de deux hêtres gigantesques depuis Fairhaven, Massachusetts, la maison d’enfance de Mary « Mai » Huttleston (née Rogers) Coe (qui était la fille de Henry H. Rogers de Standard Oil). Les arbres, dont les racines mesurent 9,1 m de diamètre, sont transportés par ferry à travers Long Island Sound au milieu de l’hiver. Les routes ont été élargies et les fils électriques temporairement retirés pour faire place à l’arbre. Un seul des deux arbres a survécu au voyage. Malheureusement, le second hêtre est mort récemment et a été abattu en février 2006. Cependant, le « hêtre de Fairhaven » vivra : des semis ont été prélevés sur l’arbre de 2000 à 2005.
Des achats massifs de rhododendrons ont été effectués en Angleterre, de pommetiers et de cerisiers japonais, et d’arbres forestiers et spécimens, tilleuls, pins sylvestres et rouges, chênes. Par l’intermédiaire du pépiniériste anglais Glomar Waterer, qui avait vendu les rhododendrons à M. Coe, on lui proposa en 1916 une collection exceptionnellement belle de camélias située à Guernesey, pour laquelle la Camellia House fut construite par « Bobo » Sargent à l’automne 1917, et remplie de plantes cultivées dans des bacs qui furent expédiés au printemps suivant. La plupart d’entre elles étaient des variétés sélectionnées de Camellia japonica, mais il y avait six Camellia reticulata, jamais cultivées aux États-Unis.
Le premier manoir de la propriété a brûlé le 19 mars 1918 ; son remplaçant, l’actuel Coe Hall, a été construit entre 1918 et 1921 dans le style néo-Tudor et revêtu de calcaire de l’Indiana. Il a été conçu par le cabinet de Walker & Gillette et a été achevé en 1921. Les images d’un livre de maisons de campagne anglaises ont inspiré son architecture, notamment celles de Moyns Park, Athelhampton et St. Catherine’s Court.
L’intérêt de William et Mai Coe pour les espèces rares d’arbres et les collections de plantes a fait du domaine une merveille botanique. Mai, qui était chroniquement malade pendant la dernière décennie de sa vie, est décédée le 28 décembre 1924 à l’âge de quarante-neuf ans et est enterrée à proximité. La propriété de 353 acres (1,43 km2) a été cédée à l’État de New York en 1949 (du vivant de M. Coe) pour devenir un parc d’État.