שטראוס נולד בווירצבורג למשפחת סוחרים. כבר בצעירותו גילה עניין רב בתרבות יהודית. הוא למד בבית הספר היסודי היהודי ובתיכון החדש בווירצבורג עד שהושעה מן הלימודים בשנת 1935 והחל בהכשרה מקצועית שנועדה לאפשר לו להתפרנס ממסחר. בשנת 1936 עבר שטראוס להתגורר בברלין, שם עבד בעיתון הציוני "החלוץ" ועמד בראש תנועת הנוער היהודית בעיר. במקביל לעיסוקיו אלה, למד בבית המדרש.
לאחר שתוכניותיו להגר לאנגליה נכשלו עקב פרוץ המלחמה בשנת 1939, עבד שטראוס כעוזר רב בברלין מסתיו 1940, והמשיך ללמוד לצד עבודתו. בינואר 1942 אולץ לעבוד כעובד כפייה. כדי לחמוק מגירוש למחנות הריכוז וההשמדה, ירד שטראוס למחתרת עם ארוסתו לוטה קאלה, ובשנת 1943 נמלט לשווייץ.
לאחר המלחמה המשיך שטראוס את לימודיו באוניברסיטת ברן וקיבל את הדוקטורט בשנת 1946. באותה שנה היגר לארה"ב, שם המשיך בקריירה האקדמית שלו. משנת 1948 לימד בסיטי קולג' בניו יורק ועבד על מחקר שעסק בחוויות ממחנות הריכוז. בשנת 1952 קיבל אזרחות אמריקאית. בהמשך עבר ללמד בג'וליארד, ואז שב אל סגל ההוראה של סיטי קולג' בשנת 1960, במעמד של פרופסור עוזר. בשנת 1971 התמנה שם לפרופסור מן המניין להיסטוריה.
בשנת 1982 מונה שטראוס למייסד ולמנהל של המרכז לחקר אנטישמיות באוניברסיטה הטכנית של ברלין. הוא בנה את המרכז עד לפרישתו בשנת 1990 ותרם תרומה חשובה לחקר האנטישמיות. עבודות המחקר של שטראוס עסקו בין השאר באמנציפציה, בתולדות המדע וההגירה ובפוליטיקה של רדיפות. בשנת 1997 פרסם שטראוס את זיכרונותיו: "על פי תהום: שנות הנערות של יהודי בגרמניה 1918-1943". לספר זכרונות זה (שגם תורגם לאנגלית) היה תפקיד חשוב בהכנת הפרויקט "ספריית הספרים האבודים". הרברט א. שטראוס הלך לעולמו ב-11 במרץ 2005 בניו יורק.
"אף אם לא הייתה זו הסיטואציה האנושית הקשה ביותר שנחוותה אי פעם, היו נחרתים בזיכרוני הגברים והנשים הללו, שיצרו נווה מדבר של יציבות בסמינרים, בהרצאות ובכיתות התִרגול, בעוד שמסביב הכול חרב, מוכה סכנה ואסון"