legendan mukaan tämä pieni saari, joka on yhdistetty milfordiin hiekkaharjulla, on kirottu, ei kerran, vaan kolmesti — ja saattaa yhä pitää hallussaan kauan kadoksissa ollutta merirosvoaarretta.
vaatimaton 14 hehtaarin saari, jossa nykyään elää pesiviä lintuja, on täynnä paikallisia taruja ja taruja, joiden mukaan pysyvän asutuksen puute saarella johtuu vanhoista kirouksista, jotka ovat yhä voimassa.
ensimmäisen kirouksen maahan langetti paikallinen Paugusset-päällikkö vuonna 1639, jolloin hän kauppasi maata eurooppalaisille uudisasukkaille, ilmeisesti ei ilman pahaa tahtoa. Toisten mukaan päällikkö oli järkyttynyt tyttärensä sieppauksesta tai jostain muusta epäkohdasta. Joskus kirouksen yksityiskohdat ovat epäselviä.
vuonna 1699 saaren kuuluisin vierailija piipahti ja väitetysti hautasi aarteen ja kirosi sitten maahan, jossa se istui. Skotlantilainen merirosvokapteeni William Kidd oli uransa viimeisellä matkalla vieraillessaan alueella juuri ennen kuin hänet houkuteltiin ansaan, joka johti hänen oikeudenkäyntiinsä ja teloitukseensa. Tiedetään, että hän hautasi aarteen Gardiner Islandille New Yorkiin, mutta arveltiin, että ovela merirosvo saattoi ajatella jakavansa ryöstösaaliinsa, jonka osa oli kätketty tänne.
jos kaksi ensimmäistä kirousta on vähän kaukaa haettu, niin kolmas todella venyttää mielikuvitusta: mukana oli myös aarre — tällä kertaa Meksikon keisarille kuuluva. Tämä aarre oli oletettavasti kuulunut Guatmozinille, 1500-luvun Meksikon keisarille, joka seurasi Montezumaa. Meksikon Maiden valloituksen aikana Guatmozin joutui Cortezin johtamien espanjalaisten konkistadorien vangiksi ja kiduttamaksi, jotka vaativat saada tietää, minne asteekkien aarteet oli piilotettu. Guatmozin teloitettiin vuonna 1525 paljastamatta koskaan salaisuuksiaan.
tarinan mukaan vuonna 1721 joukko Connecticutilaisia merimiehiä törmäsi tähän aarteeseen, piiloutui luolaan Meksikossa ja palasi sen kanssa kotiin. Miehiä kohtasi sarja onnettomuuksia, jotka johtivat neljän ihmisen kuolemaan viidestä löytäjästä. Paniikissa viimeinen pystyssä oleva mies vei saaliinsa Charlesinsaarelle, jonne hän hautasi sen ja siirsi siten sen kirouksen saarelle.
huolimatta sukupolvien ajan jatkuneista aarteenetsijöistä, jotka yrittivät löytää kätkettyä saalista, toistaiseksi aarretta ei ole löydetty.
vuosien varrella Charles Islandia on pidetty pursiseuran, huvipuiston, toisessa maailmansodassa sotilaslaitosten ja ydinvoimalan sijaintipaikkana, mutta nykyään se on osa Silver Sands State Parkia ja toimii Luonnonalueena, jossa sijaitsevat Connecticutin suurimmat haikaroiden ja haikaroiden pesimäyhdyskunnat. Aarretta etsiviä vierailijoita kehotetaan varomaan vuoroveden voimaa, joka syöksyy sisään erottaakseen saaren mantereesta.