Navštěvoval protestantské gymnázium v Magdeburku. Později studoval historii a orientální jazyky na berlínské univerzitě a navštěvoval také přednášky na Vysoké škole vědy o židovství. Jako židovský student v Berlíně, centru židovského života, hledal způsoby, jak čelit nárůstu moderního antisemitismu a krizím spojeným s asimilací a akulturací.
V roce 1892 Loewe založil „Jung Israel“, první sionistickou skupinu v Německu, a byl spoluzakladatelem „Sdružení židovských studentů“, z něhož se v roce 1914 stal „Kartel židovských spojení“, zastřešující organizace sionistických studentů v Německu. V letech 1893 až 1894 vydával v Berlíně časopis „Jüdische Volkszeitung“ a v letech 1895 až 1896 měsíčník „Zion“. V roce 1895 poprvé navštívil Izrael a seznámil se s Theodorem Herzlem, a to ještě předtím, než tento vydal „Židovský stát“. Do Evropy se Loewe vrátil v roce 1897 jako delegát Palestiny na Prvním sionistickém kongresu. Po kongresu zůstal v Německu a založil „Sionistický spolek“. V letech 1902 až 1908 byl prvním redaktorem „Jüdische Rundschau“, nejdůležitějšího listu německých sionistů.
Knihovník Loewe
Souběžně se svou novinářskou prací a angažovaností pro sionismus se Loewe vypracoval i ve světě knihoven. V roce 1899 začal Loewe pracovat jako asistent na berlínské univerzitě a v roce 1909 povýšil na knihovníka. V této době se Loewe seznámil s Jenny Wilde. Byl to právě Loewe, kdo budoucí vedoucí univerzitní knihovny pomohl získat její první práci v soukromé knihovně Salomona Neumanna. Loewe byl Wildeové i nadále k dispozici jako mentor, jak psal. Především se však oba stali přáteli.
Po celou dobu své kariéry se Loewe zasazoval o Židovskou národní knihovnu v Jeruzalémě. Loewe byl hnací silou Sdružení přátel Jeruzalémské knihovny. Jeho návrh na založení židovské národní knihovny v Jeruzalémě byl jednomyslně přijat na Sedmém sionistickém kongresu v roce 1905.
V roce 1933 byl Loewe v důsledku národně socialistického „zákona o obnovení úřednického stavu“ nucen jako knihovník berlínské univerzitní knihovny odejít do důchodu. V červenci téhož roku přijal nabídku stát se ředitelem Městské knihovny Ša’ar Sion v Tel Avivu a s rodinou emigroval do Palestiny. Ve svém novém působišti v Palestině Loewe pokračoval ve své práci, pokračoval v publikování prací z oblasti židovských dějin a zasloužil se o vytvoření knihovního systému v Palestině a později v Izraeli. Loewe zemřel v Haifě v roce 1951.
„I když nemůžeme shromáždit všechen rozptýlený izraelský lid v zemi otců, jsme schopni shromáždit rozptýlené knihy Izraele, tyto do všech stran rozšířené myšlenky hebrejského ducha.“