Er besuchte ein protestantisches Gymnasium in Magdeburg. Später studierte er Geschichte und Orientalische Sprachen an der Universität Berlin und besuchte zugleich auch Vorlesungen an der Hochschule für die Wissenschaft des Judentums. In Berlin, einem Zentrum des jüdischen Lebens, suchte er als jüdischer Student nach Wegen, dem aufkommenden modernen Antisemitismus entgegenzutreten und den Krisen um Assimilation bzw. Akkulturation zu begegnen.
1892 gründete Loewe “Jung Israel”, die erste zionistische Gruppe Deutschlands, und war Mitbegründer der “Vereinigung Jüdischer Studierender”, die 1914 zum “Kartell Jüdischer Verbindungen”, einer Dachorganisation für zionistische Studenten in Deutschland, wurde. Er redigierte von 1893 bis 1894 die “Jüdische Volkszeitung” in Berlin und von 1895 bis 1896 das Monatsblatt “Zion”. 1895 besuchte er erstmals Israel und wurde bekannt mit Theodor Herzl, noch bevor dieser „Der Judenstaat“ veröffentlichte. Loewe kehrte 1897 als Delegierter aus Palästina zum Ersten Zionistischen Kongress nach Europa zurück. Nach dem Kongress blieb er in Deutschland und gründete den “Zionistischen Verband”. Von 1902 bis 1908 war er der erste Redakteur der “Jüdischen Rundschau”, der wichtigsten Zeitung der deutschen Zionisten.
Loewe der Bibliothekar
Parallel zu seiner journalistischen Arbeit und seinem Engagement für den Zionismus arbeitete Loewe sich in der Welt der Bibliotheken hoch. 1899 begann Loewe als Hilfsarbeiter an der Universität Berlin, 1909 stieg er zum Bibliothekar auf. In dieser Zeit lernte Loewe Jenny Wilde kennen. Es war Loewe, der der späteren Leiterin der Hochschule-Bibliothek zu ihrer ersten Anstellung in der privaten Bibliothek von Salomon Neumann verhalf. Loewe stand Wilde auch weiterhin als Mentor, wie er schrieb, zur Verfügung. Vor allem aber wurden die beiden Freunde.
Während seiner gesamten Karriere setzte Loewe sich für die jüdische Nationalbibliothek in Jerusalem ein. Loewe war die treibende Kraft hinter dem Verein der Freunde der Jerusalemer Bibliothek. Sein Vorschlag, eine jüdische Nationalbibliothek in Jerusalem zu gründen, war 1905 vom Siebten Zionistischen Kongress einstimmig angenommen worden.
1933, infolge des nationalsozialistischen „Gesetzes zur Wiederherstellung des Berufsbeamtentums“, wurde Loewe als Bibliothekar der Berliner Universitätsbibliothek zwangspensioniert. Im Juli desselben Jahres folgte er dem Ruf, Direktor der Stadtbibliothek Sha’ar Zion in Tel Aviv zu werden, und emigrierte mit seiner Familie nach Palästina. In seiner neuen Rolle in Palästina setzte Loewe seine Arbeit fort, veröffentlichte weiterhin Werke im Bereich der jüdischen Geschichte und war maßgeblich am Aufbau des Bibliothekssystems in Palästina und später in Israel beteiligt. Loewe starb 1951 in Haifa.
„Können wir auch nicht alle Zerstreuten Israels im Lande der Väter sammeln, aber die zerstreuten Bücher Israels, die überall herumgetragenen Gedanken des hebräischen Geistes zu sammeln, dazu sind wir imstande.“