a legenda szerint ez a kis sziget, amelyet Milfordhoz egy homokpad köt össze, átok alá került, nem egyszer, hanem háromszor — és talán még mindig egy rég elveszett kalóz kincset tart.
az igénytelen 14 hektáros sziget, amely ma fészkelő madaraknak ad otthont, helyi legendákkal és tanokkal van átkozva, amely a szigeten az állandó letelepedés hiányát a még mindig érvényben lévő régi átkokkal vádolja.
az első átkot a helyi Paugusset főnök tette a földre 1639-ben, amikor a földet Európai telepeseknek adta el, nyilvánvalóan nem rosszindulat nélkül. Mások azt mondják, hogy a főnök ideges volt a lánya elrablása vagy más sérelem miatt. Néha az átok részletei homályosak.
1699-ben a sziget leghíresebb látogatója megállt, és állítólag elásta a kincset, majd megátkozta a földet, amelyben ült. William Kidd skót kalózkapitány pályafutása utolsó útján járt, amikor meglátogatta a környéket, mielőtt csapdába csalták volna, ami a tárgyalásához és kivégzéséhez vezetett. Ismeretes, hogy kincset temetett el a New York-i Gardiner-szigeten, de úgy gondolták, hogy a ravasz kalóz gondolhatta, hogy megosztja zsákmányát, itt elrejtve egy részét.
ha az első két átok egy kicsit erőltetett, ez a harmadik, hogy valóban nyúlik a képzelet: ez is részt kincs-ezúttal tartozó mexikói császár. Ez a kincs állítólag egykor Guatmoziné volt, a 16.századi Mexikói császáré, aki Montezuma utódja volt. A Mexikói földek folyamatos hódítása során Guatmozint elfogták és megkínozták a spanyol konkistadorok Cortez alatt,akik azt követelték, hogy tudják, hol vannak az aztékok kincsei. Guatmozint 1525-ben kivégezték anélkül, hogy valaha is feladta volna titkait.
a történet szerint 1721-ben connecticuti tengerészek egy csoportja rábukkant erre a kincsre, elrejtve egy mexikói barlangban, és hazatért vele. Katasztrófák sorozata érte a férfiakat, amelyek az öt felfedező közül négy halálához vezettek. Pánikban az utolsó ember a zsákmányt a Károly-szigetre vitte, ahol eltemette, így átka átkerült a szigetre.
annak ellenére, hogy a kincskeresők generációi megpróbálták megtalálni a rejtett zsákmányt, eddig nem találtak kincset.
az évek során a Charles-szigetet egy jachtklubnak, egy vidámparknak, az első világháború katonai létesítményeinek és egy atomerőműnek tekintették, de ma a Silver Sands State Park része, és természeti területként működik, Connecticut legnagyobb tenyészkolóniáinak és kócsagjainak otthona. A kincset kereső látogatókat arra figyelmeztetik, hogy legyenek óvatosak az árapályok erejével, amelyek a szigetet a szárazföldtől elválasztják.