Grumach vyrůstal v liberální východopruské židovské rodině a navzdory brzké smrti svého otce získal všestranné vzdělání. Studoval na různých univerzitách, mimo jiné v Královci (Königsberg), Lipsku, Berlíně, Heidelbergu a Marburgu. Zde ho ovlivnili učenci jako Martin Heidegger a Paul Friedländer. Promoval v Královci a v roce 1930 také začal působit na univerzitě v Královci. Poté, co byl v roce 1933 propuštěn kvůli zákonu o obnovení úřednického stavu, otevřel si v Královci knihkupectví, aby sebe a svou rodinu uživil.
V roce 1937 se Grumach s manželkou a tříměsíční dcerou přestěhoval do Berlína, kde vyučoval na Vysoké škole vědy o židovství. Čtyři roky, které tam strávil, pro něj byly mimořádnou zkušeností. Škola byla již v té době v úpadku, mnoho jejích studentů a členů profesorského sboru emigrovalo nebo hledalo cesty ze země. Pro Grumacha však přestěhování znamenalo zlepšení pracovních a životních podmínek. V Berlíně se ocitl uprostřed akademické obce, která měla podobné zkušenosti, a znovu začal přednášet, vést semináře a psát články.
V roce 1941 byl Grumach spolu s dalšími židy odveden na nucené práce na Hlavní říšský bezpečnostní úřad (RSHA). Nuceně nasazení měli za úkol evidovat a katalogizovat knihy uloupené nacisty z celé Evropy. Krátce po zahájení prací byl Grumach jmenován vedoucím skupiny, proto je dnes známa jako „Grumachova skupina“. Nucená práce poskytla jemu i ostatním židovským nuceně nasazeným a jejich rodinám dočasnou ochranu před deportací. Grumach využil každé příležitosti, aby pracovní skupinu rozšířil a ochránil tak více lidí.
Kontroverze o zachráněných knihách
Grumach přežil válečná léta v Berlíně navzdory všem nesnázím. Po skončení války se aktivně podílel na záchraně ukradených knih a obnově německého židovství. Účast Ernsta Grumacha na záchraně knih uloupených nacisty po druhé světové válce a diskuse o jejich dalším využití byla kontroverzní, zejména kvůli jeho rozhodnutí přidělit tyto knihy Říšskému sdružení Židů v Německu. Říšské sdružení bylo organizací vytvořenou nacisty pro správu židovské komunity v Německu během války a bylo zrušeno v roce 1943. Tato volba byla kontroverzní, protože o uloupené kulturní statky měly zájem i jiné organizace, včetně mezinárodních židovských pomocných organizací, a Říšské sdružení vlastně již neexistovalo.
Jeho rozhodnutí bylo považováno za problematické, protože vyvolalo otázky ohledně vhodné reprezentace přeživších německých židů a rozdělení zachráněného židovského dědictví po období holocaustu. Kromě toho byl Grumach zklamán nedostatečnou podporou zničeného německého židovství ze strany zahraničních židovských organizací. Tyto faktory vedly ke kontroverznímu vnímání jeho role při správě zachráněných knih ve složité poválečné situaci.
„Byli jsme malá, spiklenecká komunita. Věděli jsme, že každý z nás má v rukou osud všech ostatních […], byli jsme také posedlí jedinečným úkolem, který nám osud hodil do klína, totiž sami zachovat a udržovat vyrabované židovské knihovny a obnovit a stmelit je tak, abychom je jednoho dne mohli převzít jako ústřední židovskou knihovnu, a spojoval nás nespočet společných zážitků, dobrodružství, zájmů a uvědomění si odpovědnosti.“