legenda głosi, że ta mała wyspa połączona z Milfordem za pomocą piaskownicy została poddana klątwie, nie raz, ale trzy razy-i nadal może być w posiadaniu dawno zaginionego skarbu piratów.
skromna 14-hektarowa Wyspa, obecnie siedziba gniazdujących ptaków, jest przesiąknięta lokalną legendą i legendą, która obwinia o brak stałego osadnictwa na wyspie na starych klątwach, które nadal obowiązują.
pierwsza Klątwa nałożona na ziemię została nałożona przez miejscowego wodza Paugusseta w 1639 roku, kiedy to sprzedał ziemię Europejskim osadnikom, najwyraźniej nie bez złej woli. Inni mówią, że szef był zdenerwowany porwaniem córki lub jakąś inną skargą. Czasami szczegóły przekleństwa są rozmyte.
w 1699 roku najsłynniejszy odwiedzający wyspę zatrzymał się i rzekomo zakopał skarb, a następnie przeklął ziemię, w której siedziała. Szkocki kapitan piratów William Kidd był w ostatniej podróży w swojej karierze, kiedy odwiedził ten obszar, tuż przed zwabieniem w pułapkę prowadzącą do jego procesu i egzekucji. Wiadomo, że zakopał skarb na wyspie Gardiner w Nowym Jorku, ale uważano, że przebiegły pirat mógł pomyśleć o podzieleniu łupu, z częścią ukrytą tutaj.
jeśli pierwsze dwa przekleństwa są nieco naciągane, to trzeci naprawdę rozciąga wyobraźnię: dotyczył również skarbu-tym razem należącego do meksykańskiego cesarza. Skarb ten podobno należał kiedyś do Guatmozina, XVI-wiecznego cesarza Meksyku, który zastąpił Montezumę. Podczas trwającego podboju ziem meksykańskich Guatmozin został schwytany i torturowany przez hiszpańskich konkwistadorów pod Cortezem, którzy domagali się informacji, gdzie ukryte są skarby Azteków. Guatmozin został stracony w 1525 roku, nie zdradzając swoich sekretów.
według opowieści, w 1721 roku grupa marynarzy z Connecticut natknęła się na ten skarb, schowany w jaskini w Meksyku i wróciła z nim do domu. Na ludzi natknęła się seria katastrof, które doprowadziły do śmierci czterech z pięciu odkrywców. W panice ostatni stojący zabrał swój łup na wyspę Karola, gdzie go zakopał i tym samym przeniósł klątwę na wyspę.
pomimo wielu pokoleń poszukiwaczy skarbów próbujących odnaleźć ukryty łup, do tej pory nie odnaleziono żadnego skarbu.
przez lata Wyspa Charles była uważana za miejsce dla klubu jachtowego, parku rozrywki, instalacji wojskowych podczas I wojny światowej i elektrowni jądrowej, ale dziś jest częścią Parku Stanowego Silver Sands i działa jako rezerwat przyrody, gdzie znajdują się największe kolonie lęgowe czapli i czapli w Connecticut. Odwiedzający szukający skarbów są ostrzegani, aby uważać na siłę pływów, które przypływają, aby oddzielić wyspę od lądu.