La storia dell’attuale proprietà sulla famosa “Gold Coast” di Long Island inizia tra il 1904 e il 1912, quando Helen MacGregor Byrne – moglie dell’avvocato di New York James Byrne – acquistò sei proprietà agricole che chiamò collettivamente “Upper Planting Fields Farm”. I Byrnes assunsero l’architetto paesaggista James Leal Greenleaf tra il 1904 e il 1910 per creare siepi, bordure perenni e alberi da frutto a spalliera. Anche se le caratteristiche degne di nota di questo periodo sono il Rose Arbor, la piscina circolare e il Green Garden Court, Coe ha ricordato in seguito: “La signora Byrne aveva fatto molto poco in forma di paesaggio. Aveva un piccolo prato intorno al crinale della residenza” e accanto un campo di mais. La maggior parte della proprietà, ricordava Coe, era “solo una giungla di arbusti, robinie e altri alberi”.
Nel 1913, William Robertson Coe acquistò la casa e la tenuta di 353 acri (143 ha), e iniziò le piantagioni e la sistemazione del paesaggio di oggi sotto la guida della società di paesaggistica di Boston di Guy Lowell e A. Robeson Sargent, figlio di Charles Sargent, fondatore dell’Arnold Arboretum. Nel 1915, Lowell e Sargent supervisionarono il trasporto di due giganteschi faggi da Fairhaven, Massachusetts, la casa d’infanzia di Mary “Mai” Huttleston (nata Rogers) Coe (che era la figlia di Henry H. Rogers della Standard Oil). Gli alberi, con radici di 30 piedi (9,1 m) di diametro, furono trasportati attraverso il Long Island Sound in pieno inverno. Le strade furono allargate e i cavi di servizio furono temporaneamente rimossi per fare strada. Solo uno dei due alberi è sopravvissuto al viaggio. Sfortunatamente, il secondo faggio è morto recentemente, ed è stato abbattuto nel febbraio 2006. Tuttavia, il “Fairhaven Beech” continuerà a vivere: piantine sono state raccolte dall’albero dal 2000-2005.
Sono stati fatti acquisti massicci di rododendri in Inghilterra, ananas e ciliegi giapponesi, e alberi forestali e specimen, tigli, pini scozzesi e rossi, querce. Attraverso il vivaista inglese Glomar Waterer, che aveva venduto al signor Coe i rododendri, arrivò un’offerta nel 1916 di una collezione insolitamente bella di camelie situata a Guernsey, per la quale la Camellia House fu costruita da “Bobo” Sargent nell’autunno 1917, e riempita con le piante cresciute in vasche che furono spedite la primavera successiva. La maggior parte erano varietà selezionate di Camellia japonica, ma c’erano sei Camellia reticulata, mai coltivate prima negli Stati Uniti.
Il primo palazzo della proprietà bruciò il 19 marzo 1918; la sua sostituzione, l’attuale Coe Hall, fu costruita tra il 1918 e il 1921 in stile Tudor Revival e rivestita in pietra calcarea dell’Indiana. Fu progettato dallo studio Walker & Gillette e fu completato nel 1921. Le immagini di un libro di case di campagna inglesi hanno ispirato la sua architettura, specialmente quelle di Moyns Park, Athelhampton e St. Catherine’s Court.
L’interesse di William e Mai Coe per le specie rare di alberi e le collezioni di piante ha reso la tenuta una meraviglia botanica. Mai, che fu cronicamente malata nell’ultimo decennio della sua vita, morì il 28 dicembre 1924, all’età di quarantanove anni ed è sepolta nelle vicinanze. La tenuta di 353 acri (1,43 km2) fu ceduta allo stato di New York nel 1949 (durante la vita del signor Coe) per diventare un parco statale.