Grumach wuchs in einer liberalen ostpreußischen jüdischen Familie auf und erhielt trotz des frühen Todes seines Vaters eine umfassende Bildung. Er studierte an verschiedenen Universitäten, darunter Königsberg, Leipzig, Berlin, Heidelberg und Marburg. Hier wurde er von Gelehrten wie Martin Heidegger und Paul Friedländer beeinflusst. Er promovierte in Königsberg und begann 1930 auch an der Universität Königsberg zu arbeiten. Nachdem er 1933 aufgrund des Gesetzes zur Wiederherstellung des Berufsbeamtentums entlassen worden war, eröffnete er eine Buchhandlung in Königsberg, um sich und seine Familie zu ernähren.
1937 zog Grumach mit seiner Frau und der dreimonatigen Tochter nach Berlin, um an der Hochschule für die Wissenschaft des Judentums zu lehren. Die vier Jahre, die er dort verbrachte, waren eine besondere Erfahrung. Die Hochschule war damals bereits im Niedergang begriffen, da viele ihrer Studenten und Fakultätsmitglieder emigrierten oder nach Auswegen aus dem Land suchten. Für Grumach bot dieser Umzug jedoch eine Verbesserung seiner Arbeits- und Lebensbedingungen. In Berlin fand er sich inmitten einer akademischen Gemeinschaft wieder, die ähnliche Erfahrungen gemacht hatte, und begann erneut Vorträge zu halten, Seminare zu geben und Artikel zu schreiben.
1941 wurde Grumach zusammen mit anderen jüdischen Menschen zur Zwangsarbeit im Reichssicherheitshauptamt (RSHA) herangezogen. Die Zwangsarbeiter waren verantwortlich für die Erfassung und Katalogisierung der von den Nazis aus ganz Europa geraubten Bücher. Kurz nach Beginn der Arbeiten wurde Grumach zum Leiter der Gruppe ernannt, daher ist sie heute unter dem Namen “Grumach-Gruppe” bekannt. Die Zwangsarbeit bot ihm und den anderen jüdischen Zwangsarbeitern sowie ihren Familien einen temporären Schutz vor Deportationen. Grumach nutzte jede Gelegenheit, die Arbeitsgruppe zu vergrößern und so mehr Menschen zu schützen.
Kontroverse um geborgene Bücher
Grumach überlebte die Kriegsjahre in Berlin gegen alle Widrigkeiten. Nach dem Ende des Krieges engagierte er sich aktiv bei der Bergung der gestohlenen Bücher und beim Wiederaufbau des deutschen Judentums. Ernst Grumachs Beteiligung an der Bergung der von den Nazis geraubten Bücher nach dem Zweiten Weltkrieg und der Diskussion über ihre weitere Verwendung war kontrovers, insbesondere wegen seiner Entscheidung, diese Bücher der Reichsvereinigung der Juden in Deutschland zuzuweisen. Die Reichsvereinigung war eine von den Nazis geschaffene Organisation, die die jüdische Gemeinschaft in Deutschland während des Krieges verwaltete und 1943 aufgelöst wurde. Diese Wahl war umstritten, da andere Organisationen, darunter internationale jüdische Hilfsorganisationen, ebenfalls Interesse an den geraubten Kulturgütern hatten, und es die Reichsvereinigung ja gar nicht mehr gab.
Seine Entscheidung wurde als problematisch angesehen, da sie Fragen über die angemessene Repräsentation der überlebenden deutschen Juden und die Verteilung des geborgenen jüdischen Erbes nach dem Holocaust aufwarf. Zudem war Grumach von der geringen Unterstützung ausländischer jüdischer Organisationen für das zerstörte deutsche Judentum enttäuscht. Diese Faktoren führten zu einer kontroversen Wahrnehmung seiner Rolle bei der Verwaltung der geretteten Bücher in der komplexen Nachkriegssituation.
„Wir waren eine kleine verschworene Gemeinschaft. Wir wussten, dass jeder das Schicksal aller anderen in der Hand hatte […], außerdem besessen von der einzigartigen Aufgabe, die uns das Schicksal in den Schoß geworfen hatte, die geraubten jüdischen Bibliotheken selbst zu bewahren, zu erhalten und so neu aufzubauen und zusammenzuschweißen, dass sie einmal als eine jüdische Zentralbibliothek von uns übernommen werden könnten, und dazu durch ungezählte gemeinsame Erlebnisse, Abenteuer, Interessen und durch das Bewusstsein der Verantwortung verbunden.“