Die Legende besagt, dass diese kleine Insel, die durch eine Sandbank mit Milford verbunden ist, nicht nur einmal, sondern dreimal unter einen Fluch geraten ist — und möglicherweise immer noch einen lange verlorenen Piratenschatz enthält.
Die bescheidene 14 Hektar große Insel, auf der heute nistende Vögel leben, ist von lokalen Legenden und Überlieferungen durchdrungen, die den Mangel an dauerhafter Besiedlung der Insel auf alte Flüche zurückführen, die immer noch in Kraft sind.
Der erste Fluch, der auf das Land gelegt wurde, kam 1639 vom örtlichen Paugusset-Häuptling, als er das Land anscheinend nicht ohne bösen Willen an europäische Siedler verkaufte. Andere sagen, dass der Chef über die Entführung seiner Tochter oder eine andere Beschwerde verärgert war. Manchmal sind die Details unscharf.
Im Jahr 1699 kam der berühmteste Besucher der Insel vorbei und begrub angeblich einen Schatz und verfluchte dann den Boden, auf dem er saß. Der schottische Piratenkapitän William Kidd war auf seiner letzten Reise seiner Karriere, als er die Gegend besuchte, kurz bevor er in eine Falle gelockt wurde, die zu seinem Prozess und seiner Hinrichtung führte. Es ist bekannt, dass er einen Schatz auf Gardiner Island in New York vergraben hat, aber es wurde angenommen, dass der schlaue Pirat gedacht haben könnte, seine Beute zu teilen, wobei ein Teil hier versteckt war.
Wenn die ersten beiden Flüche etwas weit hergeholt sind, ist es der dritte, der die Fantasie wirklich anregt: Es ging auch um einen Schatz – diesmal um einen mexikanischen Kaiser. Dieser Schatz gehörte angeblich einst Guatmozin, dem mexikanischen Kaiser aus dem 16.Jahrhundert, der Montezuma nachfolgte. Während der anhaltenden Eroberung mexikanischer Länder wurde Guatmozin von den spanischen Eroberern unter Cortez gefangen genommen und gefoltert, die wissen wollten, wo die Schätze der Azteken versteckt waren. Guatmozin wurde 1525 hingerichtet, ohne jemals seine Geheimnisse preisgegeben zu haben.
Der Geschichte zufolge stolperte 1721 eine Gruppe von Matrosen aus Connecticut über diesen Schatz, der in einer Höhle in Mexiko versteckt war, und kehrte damit nach Hause zurück. Eine Reihe von Katastrophen ereilte die Männer und führte zum Tod von vier der fünf Entdecker. In Panik brachte der letzte Stehende seine Beute nach Karlsinsel, wo er sie begrub und damit ihren Fluch auf die Insel übertrug.
Trotz Generationen von Schatzsuchern, die versuchen, die verborgene Beute zu finden, wurde bisher kein Schatz gefunden.
Im Laufe der Jahre wurde Charles Island als Standort für einen Yachtclub, einen Vergnügungspark, militärische Einrichtungen im Ersten Weltkrieg und ein Kernkraftwerk betrachtet, aber heute ist es Teil des Silver Sands State Park und fungiert als Naturschutzgebiet, Heimat von Connecticuts größten Brutkolonien von Reihern und Reihern. Besucher, die nach Schätzen suchen, werden gewarnt, sich vor der Stärke der Gezeiten zu hüten, die die Insel vom Festland trennen.