Urodził się 4 czerwca 1823 roku albo w Poznaniu, albo w małym majątku ziemskim pod Opalenicą, którym administrował jego ojciec. Jako dziecko mieszkał już jednak z całą pewnością w Poznaniu, w którym to mieście ukończył również gimnazjum, a w roku 1840 - liceum.
Już w dzieciństwie bardzo uzdolniony do języków, bo swobodnie władający nie tylko polskim i niemieckim, ale i francuskim oraz angielskim - właśnie naukę języków obcych i wiedzę o literaturach wybiera za przedmiot swoich studiów najpierw w Berlinie, a potem we Wrocławiu.
W trakcie jego pobytu w tym ostatnim mieście docierają do niego wieści, że jego rodzinna Wielkopolska szykuje się do powstania. W lutym 1846 roku Józef Karge pospieszył więc do Poznania, ale kiedy dotarł do tego miasta - większość powstańczego kierownictwa siedziała już w pruskich więzieniach. Co gorsza, pruskie władze rozpoczęły pospieszny pobór do wojska tych wszystkich młodych Polaków, którzy mogli być zaangażowani w przygotowania do powstania.
Józef Karge przypuszczał nie bez racji, że i on zostanie wkrótce wcielony do pruskiej armii. Postanowił na to nie czekać, lecz zgłosić się na ochotnika do szkoły oficerskiej. Został do niej przyjęty, a już w ostatnich dniach 1847 roku miał w kieszeni patent oficerski i skierowanie do służby w Poznaniu.
W pruskiej armii Józef Karge był jednak zaledwie pięć miesięcy, bo już w kwietniu 1848 roku udał się pod Wrześnię i tam przystąpił do polskich wojsk powstańczych dowodzonych przez Ludwika Mierosławskiego. Potem bił się dzielnie pod Miłosławiem, ale pod Sokołowem został ciężko ranny i dostał się do pruskiej niewoli. Nie uznano go jednak za jeńca, lecz za dezertera z pruskiej armii - toteż osadzono w więzieniu w Berlinie i szykowano proces, w którym możliwy był tylko jeden wyrok: kara śmierci.
To, co stało się potem - przypomina już bardziej powieść przygodową. Oto bowiem Karge wykopał ze współwięźniami tunel, uciekł nim na wolność, dostał się do Hamburga, a stamtąd holenderskim statkiem popłynął - jako pasażer „na gapę” - do Amsterdamu.
Na początku 1850 roku Józef Karge studiował już na Sorbonie w Paryżu literaturę narodów europejskich, ale bojąc się wydania go Prusakom - udał się do Londynu, w którym to mieście przebiedował kilka miesięcy. Pozbawiony całkowicie środków do życia - decyduje się teraz na desperacki krok: w 1851 roku zaciąga się w charakterze marynarza na angielski statek handlowy, płynie do Nowego Jorku i tam schodzi na ląd, postanawiając osiedlić się w USA na stałe.
Początki przybysza były ponoć w Ameryce wyjątkowo trudne: często głodował, załamał się psychicznie, bliski był nawet popełnienia samobójstwa.
Poprawę swojej sytuacji odczuł Józef Karge pod koniec 1851 roku, kiedy poznał pewną młodą wdowę po pastorze i rychło się z nią ożenił. Poprawę swojej sytuacji materialnej zawdzięczał jednak Karge nie tyle żonie, która do bogatych nie należała, co jej bratu - nowojorskiemu adwokatowi, z którym utworzył w tym mieście szkołę języków obcych. Placówka cieszyła się ogromnym powodzeniem i przynosiła spore dochody, których dużą część Karge przeznaczał odtąd na rzecz samopomocowego Komitetu Polskiego w Nowym Jorku, który zresztą powstał przy jego wydatnym udziale.
Wiosną 1861 roku, kiedy ze Stanów Zjednoczonych Ameryki wystąpiło 11 stanów południowych, które utworzyły odrębne państwo - Skonfederowane Stany Ameryki, zwane potocznie Konfederacją, co stało się powodem wybuchu krwawej wojny domowej - porucznik pruskiej armii zgłasza się na ochotnika do wojski Unii (Północy), zwanych wtedy potocznie wojskiem prezydenta Lincolna.
Pierwszy swój przydział otrzymał Józef Karge do tzw. frontu wschodniego, którym dowodził generał George McClellan, zresztą wcześniej sławny amerykański podróżnik, badacz m.in. Gór Skalistych, a poza tym założyciel Partii Republikańskiej i pierwszy jej kandydat w wyborach prezydenckich w USA w 1856 roku (ostatecznie na prezydenta USA został wtedy wybrany demokrata James Buchanan).
Józef Karge został przyjęty w sztabie generała McClellana entuzjastycznie, gdyż pruskie patenty oficerskie ceniono wysoko. Dostał natychmiast awans do stopnia podpułkownika armii Unii i przydział na zastępcę dowódcy pułku jazdy stanu New Jersey. Tak błyskawiczny awans w czasach wojny jest zresztą zawsze czymś normalnym. W przypadku ochotnika rodem z Wielkopolski było to tym bardziej uzasadnione, że front wschodni pozbawiony był prawie całkowicie kadry oficerskiej, która gremialnie opowiedziała się raczej po stronie Konfederacji. To właśnie również z powodu braków kadrowych Unia ponosiła początkowo porażki na froncie. Zaczęło się to zmieniać dopiero od jesieni 1862 roku, kiedy to pod Antietam dowodzone przez generała Roberta Edwarda Lee wojska Konfederacji poniosły pierwszą większą klęskę. To właśnie od tej pory Unia (Północ) zaczęła coraz wyraźniej przeważać nie tylko liczebnością swej armii i potencjałem technicznym, ale i opanowaniem rzemiosła wojennego przez dowódców.
Miał w tym swój udział także Józef Karge, awansowany wiosną 1862 roku do stopnia pułkownika i dowódcy kawalerii, który uczynił ze swego oddziału doborowe wprost wojsko. Ocenił to należycie generał Ulysses Simpson Grant, już wtedy faktycznie głównodowodzący wojskami Unii, który w czerwcu 1863 roku awansował wojaka rodem z Wielkopolski do funkcji dowódcy jazdy stanu New Jersey. Oddział ten, liczebnością zbliżony do brygady, operował odtąd głównie wzdłuż rzeki Missisipi, w stanach: Kentucky, Tennesse, Arkansas, Missisipi i Luizjana.
Dzielny w walce i bardzo roztropny w dowodzeniu Józef Karge awansował w lipcu 1864 roku do stopnia generała brygady wojsk Unii (Kongres USA nominację tę zatwierdził 13 marca 1865 roku), ale nadal dowodził kawalerią stanu New Jersey, która urosła już do dywizji. Pod koniec wojny (kwiecień 1865 roku) dywizja ta znalazła się pod miastem Jackson w stanie Missisipi, toteż zapewne dlatego Józef Karge został wojskowym gubernatorem tego stanu.
W armii Stanów Zjednoczonych Ameryki pozostał Józef Karge jeszcze przez pięć lat po zakończeniu wojny secesyjnej. Mając stopień generała - ochotniczo przyjął nawet wtedy kontrakt porucznika i dowódcy małego garnizonu wojskowego w stanie Nevada, gdzie toczyła się krwawa wojna z Indianami. Karge zdobył sobie rychło w Nevadzie nie tylko opinię dzielnego żołnierza, ale i mądrego negocjatora, który z uporem układał pokojowe współżycie ciągnących w te strony coraz liczniej osadników z Indianami - co w armii USA było wtedy raczej zjawiskiem wyjątkowym.
W stan spoczynku generał Józef Karge odszedł dopiero 1 stycznia 1871 roku, a więc po objęciu katedry literatury i języków obcych w Princeton - miałym miasteczku nad rzeką Stony Brook, wsławionym jeszcze w 1777 roku zwycięstwem wojsk Jerzego Waszyngtona nad Anglikami, którzy nie mogli się pogodzić z niepodległościowymi aspiracjami swoich dotychczasowych kolonii w Ameryce.
Na uczelni w Princeton, która jeszcze przed końcem XIX stulecia otrzymała pełne prawa uniwersyteckie i jest odtąd jedną z najbardziej renomowanych w USA szkół wyższych, pozostał Józef Karge do końca życia - ciesząc się zresztą zasłużoną sławą naukowca dysponującego gruntowną wiedzą i dużą umiejętnością przekazywania tej wiedzy.
Zmarł w Princeton 27 grudnia 1892 roku i został pochowany na miejscowym cmentarzu. W roku 1938, z inicjatywy rządu USA i na jego koszt, na mogile profesora wzniesiono okazałą tablicę, co w Ameryce zwykło się czynić tylko w stosunku do ludzi wyjątkowo zasłużonych, cieszących się dobrą pamięcią i szacunkiem potomnych.