De geschiedenis van het huidige pand aan de beroemde “Gold Coast” van Long Island begon tussen 1904 en 1912, toen Helen MacGregor Byrne – echtgenote van de New York City advocaat James Byrne – zes boerderijen kocht die ze gezamenlijk de “Upper Planting Fields Farm” noemde. De Byrnes huurden tussen 1904 en 1910 landschapsarchitect James Leal Greenleaf in voor de aanleg van heggen, vaste plantenborders en leibomen met fruitbomen. Hoewel het rozenprieel, het cirkelvormige zwembad en de Green Garden Court opmerkelijke elementen uit deze periode zijn, herinnerde Coe zich in zijn latere leven: “Mevrouw Byrne had heel weinig aan landschapsarchitectuur gedaan. Ze had een klein gazon rond de nok van het huis” en daarnaast een maïsveld. Het grootste deel van het landgoed, herinnerde Coe zich, was “gewoon een jungle van struikgewas, sprinkhanen en andere bomen”.
In 1913 kocht William Robertson Coe het huis en het 143 ha grote landgoed, en begon met de huidige beplanting en landschapsarchitectuur onder leiding van het Bostonse landschapsarchitectenbureau van Guy Lowell en A. Robeson Sargent, zoon van Charles Sargent, stichter van het Arnold Arboretum. In 1915 zagen Lowell en Sargent toe op het vervoer van twee reusachtige beuken uit Fairhaven, Massachusetts, het ouderlijk huis van Mary “Mai” Huttleston (geboren Rogers) Coe (die de dochter was van Henry H. Rogers van Standard Oil). De bomen, met wortelkluiten van 9,1 m diameter, werden midden in de winter over de Long Island Sound vervoerd. Wegen werden verbreed en elektriciteitsdraden tijdelijk verwijderd om plaats te maken. Slechts één van de twee bomen heeft de reis overleefd. Helaas is de tweede beuk onlangs gestorven en in februari 2006 omgezaagd. De “Fairhaven Beech” zal echter voortleven: van 2000-2005 werden zaailingen van de boom verzameld.
In Engeland werden massale aankopen gedaan van rododendrons, Japanse krabappels en kersen, en bos- en modelbomen, lindes, Schotse en rode dennen, eiken. Via de Engelse kweker Glomar Waterer, die de heer Coe de rododendrons had verkocht, kwam in 1916 een aanbod van een buitengewoon fraaie collectie camelia’s op Guernsey, waarvoor “Bobo” Sargent in het najaar van 1917 het Cameliahuis bouwde en dat vulde met de planten, gekweekt in kuipen die het volgende voorjaar werden verscheept. De meeste waren geselecteerde variëteiten van Camellia japonica, maar er waren ook zes Camellia reticulata, nog nooit eerder in de Verenigde Staten gekweekt.
Het eerste herenhuis brandde op 19 maart 1918 tot de grond toe af; de vervanging, de huidige Coe Hall, werd tussen 1918 en 1921 gebouwd in de Tudor Revival-stijl en opgetrokken uit Indiana-kalksteen. Het werd ontworpen door de firma Walker & Gillette en werd voltooid in 1921. Afbeeldingen uit een boek over Engelse landhuizen vormden de inspiratie voor de architectuur, vooral die van Moyns Park, Athelhampton en St. Catherine’s Court.
De belangstelling van William en Mai Coe voor zeldzame boomsoorten en plantenverzamelingen maakte het landgoed tot een botanisch wonder. Mai, die het laatste decennium van haar leven chronisch ziek was, stierf op 28 december 1924 op negenenveertigjarige leeftijd en ligt vlakbij begraven. Het landgoed van 1,43 km2 werd in 1949 (tijdens het leven van M. Coe) overgedragen aan de staat New York om een staatspark te worden.