Charles Follen McKim nació en Isabella Furnace, Pensilvania., en agosto. 24, 1847. Su padre era un ferviente abolicionista y su madre era cuáquera. Después de asistir a la Escuela Weld en las escuelas públicas de Nueva Jersey y Filadelfia durante 3 años, McKim ingresó en la Escuela Científica de Harvard en 1866. Encontrando sus estudios difíciles y desagradables, intentó en cambio el curso de arquitectura en París en la École des Beaux-Arts y pasó 3 años felices allí (1867-1870).
A su regreso a Estados Unidos, McKim comenzó a trabajar en la oficina de arquitectura de Gambrill y Richardson en la ciudad de Nueva York. Aquí McKim aprendió de Henry Hobson Richardson que la arquitectura era un «arte fino» y que debía practicarse como tal. En 1872 McKim abrió su propia oficina en Nueva York. Su amigo William Rutherford Mead pronto se unió a él, y luego se formó una sociedad en 1878 con William B. Bigelow. Bigelow renunció y fue reemplazado por el extravagante Stanford White en 1879.
En 1874 McKim se había casado con Annie Bigelow, la hermana de William; se divorciaron en 1878. Tuvieron una hija. En 1885 se casó con Julia Amory Appleton, quien le había encargado construir su casa de verano en Stockbridge, Massachusetts. Murió en 1887.
Para McKim, la primera comprensión de que las formas arquitectónicas clásicas y los ornamentos eran más finos que cualquier otro vino durante un viaje de bocetos a través de Nueva Inglaterra en 1877 con Bigelow y White. Visitaron Salem, Marblehead y Newburyport e hicieron dibujos medidos de las mejores casas coloniales.
Como residente de verano de Newport, R. I., McKim estaba bien familiarizado con la alta sociedad, y muchos encargos provenían de estos amigos. El Casino de Newport (1881) fue uno de sus primeros edificios en la comunidad turística. El diseño era apropiadamente informal, alegre y pintoresco; sus amplias terrazas se adaptaban fácilmente a las multitudes.
McKim y sus socios diseñaron las casas Villard (1882), que se unieron para formar un patio de tres lados, en Madison Avenue en la ciudad de Nueva York, en un estilo adaptado del Renacimiento italiano. Este verdadero palacio impresionó favorablemente a los amigos de su cliente y los llevó a elegir la firma de McKim para diseñar muchos otros edificios.
La complicada Biblioteca Pública de Boston (1887-1898), aunque generalmente en italiano, deriva en parte de la Bibliothèque Ste-Geneviève de Henri Labrouste en París, en particular las altas ventanas arqueadas que iluminan la sala de lectura. Muchos de los amigos artistas de McKim, como Augustus Saint-Gaudens, John LaFarge y James McNeill Whistler, contribuyeron con su trabajo para hacer de la biblioteca un espléndido museo de arte contemporáneo.
La influencia rectora de McKim es visible en las proporciones correctas de Johnson Gate (1889) en la Universidad de Harvard; el Algonquin Club (1889) y el Symphony Hall (1892) en Boston; la importante Biblioteca de la Universidad de Columbia (1893-1896); la Academia Americana (1895-1904) en Roma; y el Club Universitario (1896-1899), la Biblioteca Pierpont Morgan (1902), Estación de Pensilvania (1902-1910; demolida) en la ciudad de Nueva York. McKim también representó a la firma en la comisión de construcción de la Exposición Universal de Chicago (1890-1893) y diseñó el Edificio Agrícola clásico.
McKim era una personalidad muy persuasiva. Sabía con confianza lo que era estéticamente correcto; sabía cómo complacer a los clientes adinerados; y diseñaba con dignidad y obradez, sin ceder nunca a los lujos y la elegancia por su propio bien. Recibió muchos honores, incluyendo la codiciada Medalla del Rey del Instituto Real de Arquitectos Británicos (1903), y títulos honoríficos de la Universidad de Harvard, el Bowdoin College, la Universidad de Columbia y la Universidad de Pensilvania. Fue elegido académico de la Academia Nacional de Diseño en 1907 y recibió la Medalla de Oro del Instituto Americano de Arquitectos en 1909. Murió en Santiago, Long Island, N. Y., en Septiembre. 14, 1909.