Historia obecnej posiadłości na słynnym „Złotym Wybrzeżu” Long Island rozpoczęła się w latach 1904-1912r, kiedy Helen MacGregor Byrne – żona nowojorskiego prawnika Jamesa Byrne’a – zakupiła sześć nieruchomości rolnych, które wspólnie określała jako „Upper Planting Fields Farm”. Byrne’owie zatrudnili architekta krajobrazu Jamesa Leala Greenleafa w latach 1904-1910, aby stworzył żywopłoty, obwódki z bylin i drzewa owocowe z espaliered. Choć godnymi uwagi elementami z tego okresu są Różana Altana, Okrągły Basen i Zielony Dwór Ogrodowy, Coe wspominał w późniejszym życiu: „Pani Byrne zrobiła bardzo niewiele w kształcie krajobrazu. Miała mały trawnik wokół grzbietu rezydencji”, a obok niego pole kukurydzy. Większość posiadłości, wspominał Coe, była „po prostu dżunglą zarośli, szarańczy i innych drzew”.
W 1913 roku William Robertson Coe kupił dom i posiadłość o powierzchni 353 akrów (143 ha) i rozpoczął dzisiejsze nasadzenia i kształtowanie krajobrazu pod kierunkiem bostońskiej firmy zajmującej się kształtowaniem krajobrazu Guy Lowell i A. Robeson Sargent, syna Charlesa Sargenta, założyciela Arboretum Arnolda. W 1915 roku Lowell i Sargent nadzorowali transport dwóch gigantycznych buków z Fairhaven, Massachusetts, domu dzieciństwa Mary „Mai” Huttleston (z domu Rogers) Coe (która była córką Henry’ego H. Rogersa ze Standard Oil). Drzewa, z bryłami korzeniowymi o średnicy 9,1 m, zostały przetransportowane przez Long Island Sound w środku zimy. Drogi zostały poszerzone, a przewody elektryczne tymczasowo usunięte, aby zrobić drogę. Tylko jedno z tych dwóch drzew przeżyło podróż. Niestety, drugi buk niedawno obumarł i został ścięty w lutym 2006 roku. Jednak „Fairhaven Beech” będzie żył nadal: w latach 2000-2005 zbierano z niego sadzonki.
W Anglii dokonano ogromnych zakupów rododendronów, japońskich krabów i wiśni, drzew leśnych i okazowych, lip, sosen szkockich i czerwonych, dębów. Za pośrednictwem angielskiego szkółkarza Glomara Waterera, który sprzedał rododendrony panu Coe, w 1916 r. pojawiła się oferta niezwykle pięknej kolekcji kamelii z Guernsey, dla której jesienią 1917 r. „Bobo” Sargent zbudował Dom Kameliowy, wypełniony roślinami hodowanymi w kadziach, które zostały przewiezione następnej wiosny. Większość z nich stanowiły wybrane odmiany Camellia japonica, ale było też sześć Camellia reticulata, nigdy wcześniej nie uprawianych w Stanach Zjednoczonych.
Pierwsza rezydencja posiadłości spłonęła doszczętnie 19 marca 1918 roku; jej następca, obecny Coe Hall, został zbudowany w latach 1918-1921 w stylu Tudor Revival i oblicowany wapieniem z Indiany. Został zaprojektowany przez firmę Walker & Gillette i został ukończony w 1921 roku. Obrazy z książki o angielskich domach wiejskich zainspirowały jego architekturę, szczególnie te z Moyns Park, Athelhampton i St. Catherine’s Court.
Zainteresowanie Williama i Mai Coe rzadkimi gatunkami drzew i kolekcjami roślin sprawiło, że posiadłość stała się botanicznym cudem. Mai, która była chronicznie chora przez ostatnią dekadę swojego życia, zmarła 28 grudnia 1924 roku w wieku czterdziestu dziewięciu lat i została pochowana w pobliżu. Posiadłość o powierzchni 353 akrów (1,43 km2) została przekazana stanowi Nowy Jork w 1949 roku (za życia pana Coe) i stała się parkiem stanowym.