La historia de la actual propiedad en la famosa «Costa de Oro» de Long Island comenzó entre 1904 y 1912, cuando Helen MacGregor Byrne -esposa del abogado neoyorquino James Byrne- adquirió seis propiedades agrícolas a las que denominó colectivamente «Upper Planting Fields Farm». Los Byrne contrataron al arquitecto paisajista James Leal Greenleaf entre 1904 y 1910 para crear setos, bordes perennes y árboles frutales en espaldera. Aunque los elementos más notables de este periodo son el cenador de las rosas, el estanque circular y el patio del jardín verde, Coe recordaba en su vida posterior que «la señora Byrne había hecho muy poco en materia de paisajismo. Tenía un pequeño césped alrededor de la cresta de la residencia» y al lado un campo de maíz. La mayor parte de la propiedad, recordaba Coe, era «sólo una jungla de matorrales, langostas y otros árboles».
En 1913, William Robertson Coe compró la casa y la finca de 143 hectáreas, y comenzó las plantaciones y el paisajismo actuales bajo la dirección de la empresa de paisajismo de Boston de Guy Lowell y A. Robeson Sargent, hijo de Charles Sargent, fundador del Arnold Arboretum. En 1915, Lowell y Sargent supervisaron el transporte de dos hayas gigantescas desde Fairhaven, Massachusetts, la casa de la infancia de Mary «Mai» Huttleston (de soltera Rogers) Coe (que era la hija de Henry H. Rogers, de Standard Oil). Los árboles, con cepellones de 9,1 m de diámetro, se transportaron por el estrecho de Long Island en pleno invierno. Se ensancharon las carreteras y se retiraron temporalmente los cables de los servicios públicos para dejar paso. Sólo uno de los dos árboles sobrevivió al viaje. Lamentablemente, la segunda haya ha muerto recientemente, y fue derribada en febrero de 2006. Sin embargo, el «Fairhaven Beech» seguirá vivo: se recogieron plántulas del árbol entre 2000 y 2005.
Se hicieron compras masivas de rododendros en Inglaterra, de cangrejos y cerezos japoneses, y de árboles forestales y ejemplares, tilos, pinos rojos y escoceses, robles. A través del viverista inglés Glomar Waterer, que había vendido al Sr. Coe los rododendros, llegó una oferta en 1916 de una colección inusualmente fina de camelias situada en Guernsey, para la que «Bobo» Sargent construyó la Casa de la Camelia en otoño de 1917, y la llenó con las plantas cultivadas en tinas que se enviaron la primavera siguiente. La mayoría eran variedades seleccionadas de Camellia japonica, pero había seis Camellia reticulata, nunca antes cultivadas en Estados Unidos.
La primera mansión de la propiedad se quemó hasta los cimientos el 19 de marzo de 1918; su reemplazo, el actual Coe Hall, se construyó entre 1918 y 1921 en estilo Tudor Revival y revestido con piedra caliza de Indiana. Fue diseñado por la firma Walker & Gillette y se terminó en 1921. Las imágenes de un libro de casas de campo inglesas inspiraron su arquitectura, especialmente las de Moyns Park, Athelhampton y St. Catherine’s Court.
El interés de William y Mai Coe por las especies raras de árboles y las colecciones de plantas convirtieron la finca en una maravilla botánica. Mai, que padeció una enfermedad crónica durante la última década de su vida, murió el 28 de diciembre de 1924, a la edad de cuarenta y nueve años, y está enterrada en las cercanías. La finca de 353 acres (1,43 km2) fue cedida al estado de Nueva York en 1949 (en vida del Sr. Coe) para que se convirtiera en un parque estatal.