Po absolvování akademického vzdělání ve vratislavském rabínském semináři pod vedením Israela Lewyho, renomovaného badatele Talmudu, získal v roce 1898 doktorát na vratislavské univerzitě a v roce 1899 byl vysvěcen na rabína.
Elbogenova kariéra začala pedagogickou činností v oblasti biblické exegeze a židovských dějin na Collegio Rabbinico Italiano ve Florencii. V roce 1902 byl pak jmenován soukromým docentem na Vysoké škole vědy o židovství v Berlíně. Zde vyučoval v různých odborných oblastech a po mnoho let zastával vedoucí pozici. Elbogen se mezi studenty těšil velké oblibě, a to i proto, že jako jediný z docentů pořádal exkurze. Udržoval také blízké přátelství se svou kolegyní Jenny Wilde.
Jeho hlavním vědeckým zájmem byly židovské dějiny a dějiny židovské liturgie. Jeho nejvýznamnější dílo „Židovská bohoslužba ve svém historickém vývoji“, které poprvé vyšlo v roce 1913, je obsáhlou studií o židovské liturgii a je považováno za nejdůkladnější akademické pojednání na toto téma.
Protest Ismara Elbogena
Po nástupu nacistů k moci v roce 1933 začalo systematické pronásledování osob klasifikovaných jako židé. Německých židovských historiků se to dotklo dvojnásob. Nejenže trpěli přímým pronásledováním, ale museli čelit i další výzvě: němečtí nežidovští historikové se stále častěji snažili uzurpovat si svrchovanost při výkladu židovské historiografie. Ismar Elbogen nebyl výjimkou. V roce 1934 vydal Wilhelm Grau, přední „badatel židů“ v nacistickém Německu, knihu „Antisemitismus v pozdním středověku: Konec židovské obce v Regensburgu 1450–1519). Toto dílo, které kolísalo mezi věcným popisem a antisemitským hanobením, bylo Elbogenem a dalšími židovskými historiky ostře kritizováno. Elbogen napsal v roce 1935 na Grauovu knihu recenzi, v níž kritizoval skutečnost, že Grau líčí židy v Regensburgu jako cizí a hrozivé a že kniha postrádá jakoukoli vědeckou objektivitu. Následující rok Grau reagoval negativním hodnocením jedné z Elbogenových prací, což napětí mezi oběma vědci ještě prohloubilo.
Tento spor ilustruje nejen odpor židovských historiků vůči nacistickému bádání o židech, ale také Elbogenovu odvahu, s níž se postavil proti předním nacistickým badatelům židů a jejich nevědeckým pracím. V době, kdy rovnocenná vědecká debata již nebyla možná, prokázal Elbogen pozoruhodnou odvahu, když veřejně vystoupil proti Grauovi. V roce 1938 byl Elbogen nucen opustit Německo, což znamenalo konec jeho přímých sporů s Grauem.
Elbogen emigroval do New Yorku a snažil se tam pokračovat ve svém výzkumu. Ismar Elbogen zemřel v roce 1943.
„Ještě stále žijeme ve světě nenávisti a destrukce; co zavinilo násilí, napraví duše. Především vědeckou prací dochází ke zmírnění protikladů uvnitř národů, budou se stavět mosty od národu k národu. Naše univerzita se může a měla by se aktivně podílet na tomto mesiášském úkolu, pokud bude reprezentovat židovský duchovní život minulých tisíciletí a důstojně v něm pokračovat. Od uskutečnění tohoto ideálu nás dělí ještě obrovská vzdálenost, ale cíl je jasně definován již od počátků naší alma mater.“
