Rocker se narodil v Mainzu v Německu do dělnické rodiny. Otec zemřel, když bylo chlapci pět let. Byl to strýc, kdo mladého Rockera seznámil s německým sociálně demokratickým hnutím. Ten byl ale záhy silně zklamaný rigidním německým socialismem. Jako knihař střídal zaměstnání a získával tak nové přátele, díky nimž se začal zajímat o anarchismus. Roku 1892 unikl uvěznění za práci na ilegální propagandě anarchismu, a to do Paříže a následně do Londýna. Ačkoli byl z křesťanské rodiny, identifikoval se s židovskými a slovanskými emigranty, kteří bydleli ve východní části Londýna. Rocker vydával jidiš noviny "Der Arbeiter Fraint" (Dělnický přítel) a jidiš literární měsíčník "Germinal". V Anglii se také pokusil vytvořit židovské dělnické odbory. V roce 1914 byl v Anglii internován jako nepřátelský vetřelec, po propuštění Anglii se svou ženou opouští. V roce 1919 se tak vrací do Německa, kde se připojuje k syndikalistům S nástupem nacismu však prchá do Francie a odtud do Spojených států.
Je autorem biografie Johanna Mosta a některých dalších významných anarchistů. Jeho nečtenější kniha, vydaná v roce 1937, nesla název "Nacionalismus a kultura".
Rocker je považován za jednoho z předních teoretiků syndikalismu, mj. se přímo podílel na zakládání anarchosyndikalistické internacionály (IWA).