Legenda susține că această mică insulă conectată la Milford printr-o bară de nisip a fost plasată sub un blestem, nu o dată, ci de trei ori-și poate deține încă o comoară de pirați pierdută de mult.
Insula modestă de 14 acri, care găzduiește acum păsări cuibăritoare, este plină de legende și tradiții locale, care acuză lipsa așezării permanente pe insulă de blesteme vechi încă în vigoare.
primul blestem pus pe pământ a fost de către șeful local Paugusset în 1639, când a tranzacționat pământul coloniștilor europeni, aparent nu fără o rea voință. Alții spun că șeful a fost supărat de răpirea fiicei sale sau de o altă nemulțumire. Uneori, detaliile blestemului sunt neclare.
în 1699, cel mai faimos vizitator al insulei s-a oprit și se presupune că a îngropat comoara și apoi a blestemat pământul în care stătea. Căpitanul pirat scoțian William Kidd se afla în ultima sa călătorie din carieră când a vizitat zona, chiar înainte de a fi ademenit într-o capcană care duce la procesul și execuția sa. Se știe că a îngropat comoara pe insula Gardiner din New York, dar s-a crezut că piratul viclean s-ar fi gândit să-și împartă prada, cu o porțiune ascunsă aici.
dacă primele două blesteme sunt un pic exagerate, este a treia care întinde cu adevărat imaginația: a implicat și comoara-de data aceasta, aparținând unui împărat Mexican. Această comoară ar fi aparținut cândva lui Guatmozin, împăratul Mexican din secolul al 16-lea care a succedat lui Montezuma. În timpul cuceririi continue a terenurilor mexicane, Guatmozin a fost capturat și torturat de conchistadorii spanioli sub Cortez, care au cerut să știe unde erau ascunse comorile aztecilor. Guatmozin a fost executat în 1525 fără să fi renunțat vreodată la secretele sale.
conform povestirii, în 1721 un grup de marinari din Connecticut au dat peste această comoară, s-au ascuns într-o peșteră din Mexic și s-au întors acasă cu ea. O serie de dezastre s-au abătut asupra bărbaților, ducând la moartea a patru din cei cinci descoperitori. Într-o panică, ultimul om în picioare și-a dus prada pe insula Charles, unde a îngropat-o și astfel și-a transferat blestemul pe insulă.
în ciuda generațiilor de căutători de comori care încearcă să găsească prada ascunsă, până acum nu a fost găsită nicio comoară.
de-a lungul anilor, Insula Charles a fost considerată un loc pentru un club de iahturi, un parc de distracții, instalații militare în primul război mondial și o centrală nucleară, dar astăzi, face parte din Silver Sands State Park și acționează ca o rezervație naturală, acasă la cele mai mari colonii de reproducere din Connecticut de stârci și egrete. Vizitatorii care caută comori sunt avertizați să fie atenți la puterea mareelor care se grăbesc să separe insula de continent.