Kingin isällä James Rivers Kingillä oli ulkomaankauppayhtiö varsinkin Kiinan kanssa, mutta hän kuoli jo vuonna 1848, ja hänen äitinsä Florence Little King joutui sitten hetkellisesti taloudellisiin vaikeuksiin, kun hänen edesmenneen miehensä edelleen elättänyt perheyhtiö lakkautettiin. King kävi ensin koulua Hartfordissa, Connecticutissa, ja meni sitten Yalen yliopistoon (Sheffield Scientific School) valmistuttuaan vuonna 1860. Hän opiskeli siellä luonnontieteitä, erityisesti fysiikkaa, kemiaa ja geologiaa James Dwight Danan johdolla, mutta hänen todellinen kiinnostuksensa geologiaan heräsi vasta opintojen jälkeen, kun hän innostui oleskelemaan erämaassa ja vuoristossa. Hän liittyi New Yorkin prerafaeliittisiin taiteilijapiireihin ja asui siellä James Terry Gardinerin kanssa.
vuonna 1863 hän lähti Kaliforniaan työskentelemään forerunner California Geological Surveyssa palkattomana apulaisena Josiah D. Whitneyn ja William H. Brewerin alaisuudessa. Hänen kokemuksensa vuorikiipeilijänä sisällytettiin myöhemmin hänen kirjaansa Mountaineering in the Sierra Nevada (1872), ja hän kiipesi useille Sierra Nevadan vuorenhuipuille, kuten Mount Tyndallille, Mount Shastalle ja Mount Whitneylle. Hän työskenteli siellä ystävänsä Gardinerin kanssa ja oli mukana syyskuussa 1864 retkikunnassa, joka tutki Yosemiten laakson rajoja, jonka Abraham Lincoln nimesi samana vuonna Yhdysvaltain ensimmäiseksi kansallispuistoksi. Paluumatkalla merellä Nicaraguan kautta hän sairastui malariaan. vuonna 1865 hän tutki Yhdysvaltain armeijan toimeksiannosta Mojaven autiomaata ja Arizonaa Gardinerin kanssa ja vuonna 1866 jälleen Yosemiten.
erityisen tärkeä vuonna 1867 oli sotaministerin määräyksestä tehty tutkimusretki 40. leveyspiiriä pitkin Amerikan Kordilleroiden halki. Kenraalimajuri A. A. Humphreys seisoi. Kingin lisäksi joukkueeseen kuuluivat: Hague, Arnold, 1840-1917; Emmons, Samuel Franklin, 1841-1911; Hague, James Duncan, 1836-1908; Meek, Fielding Bradford, 1817-1876; Hall, James, 1811-1898; Whitfield, Robert Parr, 1828-1910; Ridgway, Robert, 1850-1929; Watson, Sereno, 1826-1892; Eaton, Daniel Cady, 1834-1895; Bien, Julius, 1826-1909. Hän johti suunniteltua mannertenvälistä rautatietä, jonka päägeologi hän oli, jossa geologit Samuel F. Emmons ja Arnold Hague (eräs opiskelutoveri Yalesta) olivat hänen avustajiaan, ja Gardiner oli myös mukana. Kingistä tuli vastaperustetun Yhdysvaltain geologisen tutkimuslaitoksen ensimmäinen johtaja vuonna 1879, minkä tehtävän hän otti vain kartoituksen perustamiseksi. Vuonna 1881 hän luovutti johtajuuden valitsemalleen seuraajalle John Wesley Powellille.
tämän jälkeen hän omistautui jälleen seuraelämälleen ja ystävystyi muun muassa Henry Adamsin ja John Hayn kaltaisten valtiomiesten kanssa. Hänen yksityinen toimintansa kaivosteollisuudessa ei riittänyt rahoittamaan hänen ylenpalttista elämäntyyliään, ja hän velkaantui pahasti.
vuonna 1872 hän tuli tunnetuksi paljastettuaan timanttikaivoksiin liittyvän huijauksen Arizonassa. Huijarit olivat tarjonneet kaivoksia sijoittajille San Franciscossa ja New Yorkissa (mukaan lukien tunnetut nimet kuten Tiffanys ja paroni Rothschild) ja johdattaneet asiantuntijansa syrjäiselle vuorelle, jonka he olivat rokottaneet teollisuustimanteilla. King ja hänen apulaisensa Samuel F. Emmons valvoivat tätä itsenäisesti ja tekivät huijauksen tunnetuksi. Hän oli jäsenenä National Academy of Sciences, American Philosophical Society ja American Academy of Arts and Sciences. Kuningashuippu Etelämantereella on nimetty hänen mukaansa.
King vietti viimeisinä vuosinaan kaksoiselämää. Hänet vihittiin 1888 New Yorkissa entisen orjan ja afroamerikkalaisen sairaanhoitajan Ada Copelandin kanssa, jonka kanssa hän sai viisi lasta. Vielä vähän ennen kuolemaansa hän syytti naista ulkonäöstään huolimatta mustaksi rautatieläiseksi James Toddiksi, sillä rotujen välisiin avioliittoihin suhtauduttiin New Yorkissa tuohon aikaan myös hyvin varauksellisesti.