A história da propriedade actual na famosa “Costa de Ouro” de Long Island começou entre 1904 e 1912, quando Helen MacGregor Byrne – esposa do advogado de Nova Iorque James Byrne – comprou seis propriedades agrícolas a que se referiu colectivamente como “Upper Planting Fields Farm”. A Byrnes contratou o arquitecto paisagista James Leal Greenleaf entre 1904 e 1910 para criar sebes, bordas perenes, e árvores de fruto em espaldeira. Embora as características notáveis deste período sejam o Rose Arbor, o Piscina Circular e o Tribunal do Jardim Verde, Coe recordou em vida posterior, “a Sra. Byrne tinha feito muito pouco em forma de paisagismo. Ela tinha um pequeno relvado à volta do cume da residência” e junto a ele um campo de milho. A maior parte da propriedade, recordou Coe, era “apenas uma selva de mato, gafanhotos, e outras árvores”.
Em 1913, William Robertson Coe comprou a casa e a propriedade de 353 acres (143 ha), e começou as plantações e o paisagismo de hoje sob a orientação da empresa de paisagismo de Boston Guy Lowell e A. Robeson Sargent, filho de Charles Sargent, fundador do Arnold Arboretum. Em 1915, Lowell e Sargent supervisionaram o transporte de duas faias gigantescas de Fairhaven, Massachusetts, a casa de infância de Mary “Mai” Huttleston (de solteira Rogers) Coe (que era a filha de Henry H. Rogers do Standard Oil). As árvores, com bolas de raízes de 9,1 m de diâmetro, foram transportadas através de Long Island Sound em meados do Inverno. As estradas foram alargadas e os cabos utilitários foram temporariamente removidos para abrir caminho. Apenas uma das duas árvores sobreviveu à viagem. Infelizmente, a segunda faia morreu recentemente, e foi derrubada em Fevereiro de 2006. No entanto, a “faia Fairhaven” continuará a viver: as plântulas foram recolhidas da árvore de 2000-2005.
Compras massivas de rododendros foram feitas em Inglaterra, caranguejos e cerejas japonesas, e árvores florestais e espécimes, tílias, pinheiros vermelhos e escoceses, carvalhos. Através do viveirista inglês Glomar Waterer, que tinha vendido os rododendros ao Sr. Coe, surgiu em 1916 uma oferta de uma colecção invulgarmente fina de camélias localizada em Guernsey, para a qual a Casa Camélia foi construída por “Bobo” Sargent no Outono de 1917, e preenchida com as plantas cultivadas em tubos que foram enviados na Primavera seguinte. A maioria delas eram variedades seleccionadas de Camellia japonica mas existiam seis Camellia reticulata, nunca antes cultivadas nos Estados Unidos.
A primeira mansão da propriedade foi incendiada a 19 de Março de 1918; a sua substituição, o actual Coe Hall, foi construída entre 1918 e 1921 no estilo Tudor Revival e enfrentada em pedra calcária Indiana. Foi concebida pela firma de Walker & Gillette e foi concluída em 1921. Imagens de um livro de casas de campo inglesas inspiraram a sua arquitectura, especialmente as de Moyns Park, Athelhampton, e St. Catherine’s Court.
O interesse de William e Mai Coe por espécies raras de árvores e colecções de plantas tornou a propriedade numa maravilha botânica. Mai, que esteve cronicamente doente durante a última década da sua vida, morreu a 28 de Dezembro de 1924, com a idade de quarenta e nove anos, e está enterrada nas proximidades. A propriedade de 353 acres (1,43 km2) foi escriturada ao estado de Nova Iorque em 1949 (durante a vida do Sr. Coe) para se tornar um parque estatal.