El padre de King, James Rivers King, tenía una empresa de comercio exterior, especialmente con China, pero murió ya en 1848, y su madre, Florence Little King, se metió temporalmente en dificultades financieras cuando la empresa familiar de su difunto esposo, que continuó manteniéndose, se disolvió. King asistió por primera vez a la escuela en Hartford, Connecticut, y luego fue a la Universidad de Yale (Sheffield Scientific School) con la graduación en 1860. Estudió ciencias naturales allí, especialmente física, química y geología con James Dwight Dana, pero su verdadero interés en la geología solo despertó después de sus estudios, alimentado por su entusiasmo por las estancias en el desierto y en las montañas. Se unió a círculos artísticos prerrafaelitas en la ciudad de Nueva York y vivió allí con James Terry Gardiner.
en 1863 se fue a California para trabajar en el precursor Servicio Geológico de California como asistente no remunerado bajo Josiah D. Whitney y William H. Brewer. Sus experiencias como alpinista se incorporaron más tarde en su libro Montañismo en Sierra Nevada (1872) y escaló varios picos montañosos en Sierra Nevada, como el Monte Tyndall, el Monte Shasta y el Monte Whitney. Trabajó allí con su amigo Gardiner, que se había unido a él, y fue parte de la expedición en septiembre de 1864, que exploró los límites del Valle de Yosemite, que en el mismo año fue nombrado el primer parque nacional en los Estados Unidos por Abraham Lincoln. En el camino de regreso al mar a través de Nicaragua, cayó enfermo de malaria. en 1865, en nombre del ejército de los Estados Unidos, exploró el desierto de Mojave y Arizona con Gardiner, y en 1866 de nuevo Yosemite.
De particular importancia en 1867 fue una expedición a lo largo del paralelo 40 a través de las Cordilleras americanas, que se llevó a cabo por orden del Ministro de Guerra y dirigida por BERGANTÍN y murciélago. El General de División A. A. Humphreys se puso de pie. Además de King, el equipo incluía: Hague, Arnold, 1840-1917; Emmons, Samuel Franklin, 1841-1911; Hague, James Duncan, 1836-1908; Meek, Fielding Bradford, 1817-1876; Hall, James, 1811-1898; Whitfield, Robert Parr, 1828-1910; Ridgway, Robert, 1850-1929; Watson, Sereno, 1826-1892; Eaton, Daniel Cady, 1834-1895; Bien, Julius, 1826-1909. Dirigió a lo largo de la ruta de una línea de ferrocarril transcontinental planificada, cuyo geólogo jefe era, en la que los geólogos Samuel F. Emmons y Arnold Hague (un compañero de estudios de Yale) eran sus asistentes, y Gardiner también estuvo involucrado. King se convirtió en el primer director del recién formado Servicio Geológico de los Estados Unidos en 1879, una tarea que asumió solo para construir el estudio. En 1881, entregó el liderazgo al sucesor que había elegido, John Wesley Powell.
Después de eso, volvió a dedicarse a su vida social y fue amigo de estadistas como Henry Adams y John Hay, entre otros. Sus actividades privadas en la industria minera no fueron suficientes para financiar su lujoso estilo de vida, y estaba muy endeudado.
en 1872 se hizo conocido cuando expuso un engaño relacionado con minas de diamantes en Arizona. Los estafadores habían ofrecido las minas a inversores en San Francisco y Nueva York (incluidos nombres conocidos como Tiffanys y el barón Rothschild) y llevaron a sus expertos a una montaña remota, a la que habían vacunado con diamantes industriales. King y su asistente Samuel F. Emmons controlaron esto de forma independiente y dieron a conocer el engaño. Fue miembro de la Academia Nacional de Ciencias, la Sociedad Filosófica Americana y la Academia Americana de Artes y Ciencias. King Peak en la Antártida lleva su nombre.
King llevó una doble vida en sus últimos años. Se casó en 1888 en Nueva York con la ex esclava y enfermera afroamericana Ada Copeland, con quien tuvo cinco hijos. Hasta poco antes de su muerte, la acusó de ser una empleada de ferrocarril negra llamada James Todd, a pesar de su apariencia, ya que los matrimonios interraciales también tenían fuertes reservas sociales en Nueva York en ese momento.