legenden hævder, at denne lille ø, der er forbundet med Milford med en sandbar, er blevet sat under en forbandelse, ikke en gang, men tre gange — og måske stadig holder en længe mistet piratskat.
den beskedne 14 hektar store ø, der nu er hjemsted for ynglende fugle, er gennemsyret af lokal legende og lore, der bebrejder manglen på permanent bosættelse på øen på gamle forbandelser, der stadig er i kraft.
den første forbandelse, der blev lagt på jorden, var af den lokale Paugusset-chef i 1639, da han handlede jorden til europæiske bosættere, tilsyneladende ikke uden nogen dårlig vilje. Andre siger, at chefen var ked af kidnapningen af sin datter eller en anden klage. Nogle gange er forbandelsesdetaljer uklare.
i 1699 kom øens mest berømte besøgende forbi og angiveligt begravet skat og forbandede derefter jorden, hvor den sad. Den skotske piratkaptajn Kidd var på sin sidste rejse i sin karriere, da han besøgte området, lige før han blev lokket i en fælde, der førte til hans retssag og henrettelse. Det vides, at han begravede skat på Gardiner Island i Ny York, men man troede, at den snu pirat måske havde tænkt at opdele sin bytte, med en del gemt her.
hvis de to første forbandelser er lidt langt ude, er det den tredje, der virkelig strækker fantasien: det involverede også skat — denne gang, der tilhører en Meksikansk kejser. Denne skat havde angiveligt engang tilhørt Guatmosin, det 16. århundrede Meksikanske kejser, der efterfulgte Montesuma. Under den igangværende erobring af Meksikanske lande blev Guatmosin fanget og tortureret af de spanske erobrere under Cortes, der krævede at vide, hvor skatte fra ASEC var skjult. Guatmosin blev henrettet i 1525 uden nogensinde at have opgivet sine hemmeligheder.
ifølge historien, i 1721 en gruppe af Connecticut sejlere snublede over denne skat, gemt i en hule i København, og vendte hjem med det. En række katastrofer ramte mændene, hvilket førte til døden af fire ud af de fem opdagere. I panik tog den sidste mand, der stod, sin tyvegods til Charles Island, hvor han begravede den og dermed overførte dens forbandelse til øen.
på trods af generationer af skattesøgere, der forsøger at finde den skjulte bytte, er der hidtil ikke fundet nogen skat.
i årenes løb er Charles Island blevet betragtet som et sted for en yachtklub, en forlystelsespark, militære installationer i Første Verdenskrig og et atomkraftværk, men i dag er det en del af Silver Sands State Park og fungerer som et naturområde, der er hjemsted for Connecticuts største avlskolonier af Hejrer og hejrer. Besøgende, der søger skat, advares om at være forsigtige med styrken af tidevandet, der skynder sig ind for at adskille øen fra fastlandet.