La leyenda sostiene que esta pequeña isla conectada a Milford por un banco de arena ha sido puesta bajo una maldición, no una, sino tres veces, y puede que todavía tenga un tesoro pirata perdido hace mucho tiempo.
La sencilla isla de 14 acres, ahora hogar de aves que anidan, está llena de leyendas y tradiciones locales que culpan a la falta de asentamiento permanente en la isla de viejas maldiciones que aún están en vigor.
La primera maldición impuesta sobre la tierra fue por el jefe local de Paguusset en 1639, cuando intercambió la tierra a colonos europeos, aparentemente no sin cierta mala voluntad. Otros dicen que el jefe estaba molesto por el secuestro de su hija o alguna otra queja. A veces los detalles de las maldiciones son confusos.
En 1699, el visitante más famoso de la isla se detuvo y supuestamente enterró un tesoro y luego maldijo el suelo en el que se encontraba. El capitán pirata escocés William Kidd estaba en su último viaje de su carrera cuando visitó la zona, justo antes de ser atraído a una trampa que lo llevaría a su juicio y ejecución. Se sabe que enterró un tesoro en la Isla Gardiner en Nueva York, pero se pensó que el pirata astuto pudo haber pensado en dividir su botín, con una porción escondida aquí.
Si las dos primeras maldiciones son un poco inverosímiles, es la tercera la que realmente estira la imaginación: también involucró un tesoro, esta vez, perteneciente a un emperador mexicano. Este tesoro supuestamente perteneció a Guatmozin, el emperador mexicano del siglo XVI que sucedió a Montezuma. Durante la continua conquista de tierras mexicanas, Guatmozin fue capturado y torturado por los conquistadores españoles bajo Cortez, quienes exigieron saber dónde se escondían los tesoros de los aztecas. Guatmozin fue ejecutado en 1525 sin haber revelado nunca sus secretos.
Según la historia, en 1721 un grupo de marineros de Connecticut se toparon con este tesoro, escondido en una cueva en México, y regresaron a casa con él. Una serie de desastres sucedieron a los hombres, causando la muerte de cuatro de los cinco descubridores. En pánico, el último hombre en pie llevó su botín a la Isla Charles, donde lo enterró y, por lo tanto, transfirió su maldición a la isla.
A pesar de que generaciones de buscadores de tesoros intentan encontrar el botín oculto, hasta ahora no se ha encontrado ningún tesoro.
A lo largo de los años, Charles Island ha sido considerada como un sitio para un club náutico, un parque de atracciones, instalaciones militares en la Primera Guerra Mundial y una planta de energía nuclear, pero hoy en día, es parte del Parque Estatal Silver Sands y actúa como una Reserva Natural, hogar de las colonias de cría de garzas y garzas más grandes de Connecticut. Se advierte a los visitantes que buscan tesoros que desconfíen de la fuerza de las mareas que se precipitan para separar la isla del continente.