Kings Vater, James Rivers King hatte eine Firma für Außenhandel besonders mit China, starb aber schon 1848 und seine Mutter, Florence Little King kam danach zeitweise in finanzielle Schwierigkeiten, als die Familienfirma ihres verstorbenen Ehemanns, die sich weiter unterstützte, aufgelöst wurde. King besuchte zunächst die Schule in Hartford, Connecticut und ging dann zur Yale University (Sheffield Scientific School) mit dem Abschluss 1860. Er studierte dort Naturwissenschaften, besonders Physik, Chemie und auch Geologie bei James Dwight Dana, sein eigentliches Interesse an Geologie erwachte aber erst nach dem Studium, genährt durch seine Begeisterung für Aufenthalte in der Wildnis und in den Bergen. Er schloss sich präraffaelitischen Künstlerkreisen in New York City an und wohnte dort zusammen mit James Terry Gardiner.
1863 ging er nach Kalifornien, um beim Vorläufer California Geological Survey als unbezahlte Hilfskraft unter Josiah D. Whitney und William H. Brewer zu arbeiten. Seine Erfahrungen, die er dabei als Bergsteiger machte, flossen später in sein Buch Mountaineering in the Sierra Nevada (1872) ein und er erstieg mehrere Berggipfel in der Sierra Nevada wie den Mount Tyndall, Mount Shasta und Mount Whitney. Er arbeitete dort mit seinem Freund Gardiner, der sich ihm angeschlossen hatte, und war Teil der Expedition im September 1864, die die Grenzen des Yosemite-Tals erkundete, das im gleichen Jahr durch Abraham Lincoln zum ersten Nationalpark der USA ernannt wurde. Auf dem Rückweg auf See über Nicaragua erkrankte er an Malaria. 1865 erkundete er im Auftrag des US-Militärs mit Gardiner die Mojave-Wüste und Arizona und 1866 wieder Yosemite.
Von besonderer Bedeutung war 1867 eine Expedition entlang des 40. Breitengrades quer durch die amerikanischen Kordilleren, die im Auftrag des Kriegsministers durchgeführt wurde und unter der Leitung von BRIG. und BVT. Generalmajor A. A. Humphreys stand. Zum Team gehörten neben King: Hague, Arnold, 1840–1917; Emmons, Samuel Franklin, 1841–1911; Hague, James Duncan, 1836–1908; Meek, Fielding Bradford, 1817–1876; Hall, James, 1811–1898; Whitfield, Robert Parr, 1828–1910; Ridgway, Robert, 1850–1929; Watson, Sereno, 1826–1892; Eaton, Daniel Cady, 1834–1895; Bien, Julius, 1826–1909. Sie führte entlang der Route einer geplanten transkontinentalen Eisenbahnlinie, deren Chef-Geologe er war, wobei die Geologen Samuel F. Emmons und Arnold Hague (ein Studienkollege aus Yale) seine Assistenten waren und Gardiner ebenfalls beteiligt war. King wurde 1879 erster Direktor des neu gegründeten United States Geological Survey, eine Aufgabe, die er nur annahm, um den Survey aufzubauen. 1881 gab er die Leitung an den von ihm ausgewählten Nachfolger John Wesley Powell ab.
Danach widmete er sich wieder seinem gesellschaftlichen Leben und war unter anderem mit Staatsmännern wie Henry Adams und John Hay befreundet. Seine private Tätigkeit in der Bergbau-Branche reichten nicht, seinen aufwändigen Lebensstil zu finanzieren, und er war stark verschuldet.
1872 wurde er bekannt, als er einen Schwindel mit Diamanten-Minen in Arizona entlarvte. Die Betrüger hatten die Minen Investoren in San Francisco und New York angeboten (darunter bekannte Namen wie Tiffany´s und Baron Rothschild) und deren Experten dafür an einen entlegenen Berg geführt, den sie mit Industriediamanten geimpft hatten. King und sein Assistent Samuel F. Emmons kontrollierten dies unabhängig und machten den Schwindel bekannt. Er war Mitglied der National Academy of Sciences, der American Philosophical Society und der American Academy of Arts and Sciences. Nach ihm benannt ist der King Peak in der Antarktis.
King führte in seinen letzten Jahren ein Doppelleben. Er war seit 1888 in New York mit der ehemaligen Sklavin und afroamerikanischen Krankenschwester Ada Copeland verheiratet, mit der er fünf Kinder hatte. Bis kurz vor seinem Tod machte er ihr vor, trotz seines Aussehens selbst ein schwarzer Eisenbahn-Angestellter namens James Todd zu sein, da gemischtrassigen Ehen damals auch in New York mit starken gesellschaftlichen Vorbehalten begegnet wurde.