בשפרעם חייתה בתקופת בית שני קהילה יהודית והיא אף מוזכרת כאחד המקומות אליהם גלתה הסנהדרין. הקהילה ידעה עליות ומורדות במהלך השנים ובמאה ה-17 בנתה בית כנסת במקום שבו, על פי המסורת, היה מושב הסנהדרין.

במאה ה18 השתלט דאהר אל-עומר על אזור הגליל ושפרעם בתוכו, והזמין את היהודים לבוא ולחדש את הקהילה בשפרעם. לשפרעם הגיעו הרב חיים אבולעפיה(השני) ותלמידיו ושיפצו את בית הכנסת.

יהודי שפרעם עזבו את העיר בעשורים הראשונים של המאה ה-20 בשל קשיי פרנסה והתגברות המתח הלאומי בין יהודים לערבים בארץ ישראל. כאשר היהודי האחרון עזב את העיר בשנת 1920 , הוא השאיר את מפתחות בית הכנסת בידי משפחה ערבית מקומית שאחראית על בית הכנסת עד היום.

בית הכנסת לאחר הקמת המדינה

בשנת 1988  בוצע שיפוץ בבית הכנסת על ידי משרד הדתות ומשרד הבינוי והשיכון ונקבעה טבלת שיש גדולה המספרת על כך.

בשנת 2006 שופץ בית הכנסת על ידי חניכי המרכז ללימודי משטרה  הנמצא בשפרעם. בטקס שבוצע לרגל סיום השיפוץ הובעה תקווה על ידי השוטרים וראש העירייה שיהודים ישובו להתגורר בשפרעם.

ביוני 2014  שיפצו כמאה בני נוער תלמידי חטיבות הביניים והתיכונים בעיר את בית הכנסת. לדבריהם, השיפוץ נעשה כתגובה למעשי "תג מחיר" והם קראו "לאותם משחיתים לבוא לשפרעם ולראות את בית הכנסת העתיק שנשאר קיים ועומד". בחודש נובמבר באותה שנה נזרק בקבוק תבערה על בית הכנסת וגרם לו לנזק קל.