גרומך גדל במשפחה יהודית ליברלית במזרח פרוסיה וזכה להשכלה רחבה אף על פי שאביו מת עליו בגיל צעיר. הוא למד באוניברסיטאות בקניגסברג, לייפציג, ברלין, היידלברג ומרבורג. במהלך לימודיו הושפע מאנשי רוח כמרטין היידגר ופאול פרידלנדר. הוא קיבל את הדוקטורט שלו בקניגסברג וגם החל לעבוד שם בשנת 1930. לאחר שפוטר ב-1933 עקב "החוק בדבר השבת הפקידות המקצועית על כנה", פתח גרומך חנות ספרים בקניגסברג כדי לפרנס את משפחתו.
בשנת 1937 עבר גרומך לברלין עם אשתו ובתו בת השלושה חודשים כדי ללמד בבית המדרש. ארבע שנות עבודתו שם היו התנסות מיוחדת עבורו. באותה תקופה כבר דעכה הפעילות בבית המדרש, שכן רבים מן הסטודנטים וחברי הסגל כבר היגרו. אולם עבור גרומך, המעבר הזה לברלין וההוראה בבית המדרש היוו שיפור בתנאי החיים והעבודה. בברלין הוא מצא עצמו בלב קהילה אקדמית שחבריה עברו התנסויות דומות לשלו. בבית המדרש, חזר גרומך לשאת הרצאות, להעביר סמינרים ולכתוב מאמרים.
בשנת 1941 גויס גרומך לעבודה בכפייה ברישום וקִטלוּג הספרים שנגנבו על ידי הנאצים בכל רחבי אירופה. זמן קצר לאחר תחילת העבודה, מונה גרומך לראש הקבוצה, ולכן היא ידועה כיום כ"קבוצת גרומך". עבודה זו הקנתה לו ולשאר עובדי הכפייה היהודים ומשפחותיהם הגנה זמנית מפני המשלוחים למזרח. גרומך ניצל אפוא כל הזדמנות להגדלת הקבוצה.
המחלוקת שהתעוררה סביב הספרים שנמצאו לאחר המלחמה ועמדתו של גרומך
גרומך שרד את שנות המלחמה בברלין על אף כל הסכנות. לאחר תום המלחמה התגייס למאמץ למצוא את הספרים ששדדו הנאצים ולאתגר של שיקום יהדות גרמניה. מחלוקת עזה פרצה סביב שאלת גורלם של הספרים שנמצאו, ובמיוחד סביב החלטתו של גרומך להשיב את הספרים לידי ההתאחדות הארצית של היהודים בגרמניה, ארגון שהוקם בכפייה בידי הנאצים כדי לנהל את כלל הקהילות היהודיות בגרמניה מבחינה אדמיניסטרטיבית בשנות המלחמה הראשונות, עד שפורק בשנת 1943. החלטה זו הייתה שנויה במחלוקת מפני שלאחר המלחמה היו ארגונים נוספים, כולל ארגוני סיוע יהודיים בינלאומיים, שגילו עניין בנכסי התרבות, בעוד שלמעשה אותה התאחדות כבר לא היתה קיימת. החלטתו של גרומך נחשבה בעייתית משום שהעלתה התלבטויות בנוגע לייצוג הראוי של יהודי גרמניה שניצלו וכן בנוגע לחלוקת המורשת היהודית ששרדה את השואה. בנוסף לכך, חש גרומך אכזבה מכך שארגונים יהודיים מחוץ לגרמניה העניקו תמיכה מועטה בלבד ליהדות גרמניה שהוחרבה עד היסוד.
"היינו קהילה קטנה ומלוכדת. ידענו שההתנהגות של כל אחד מאיתנו תִקבע את גורלם של כל האחרים […]. חוץ מזה, הייתה לנו מעין אובססיה למשימה הייחודית שהטיל עלינו הגורל: המשימה לשמר את הספריות היהודיות עצמן, שנבזזו, ובכך לבנות אותן מחדש וללכד אותן יחדיו. וזאת כדי שביום מן הימים נוכל לקחת את כל הספריות הללו לידינו ולהפוך אותן לספרייה מרכזית יהודית אחת. וכך נהיה קשורים איש אל חברו באמצעות אינספור תחומי עניין, חוויות והרפתקאות משותפות, ובאמצעות המודעות לאחריות המוטלת על כתפינו"