על פי המסורת מקומו של בית הכנסת, הוא "חקל תפוחין קדישין" (שדה התפוחים הקדושים) – מקום השדה הפתוח שבו האר"י ותלמידיו היו יוצאים לקבל את השבת.
זמן בנייתו של בית הכנסת אינו מבורר כל צרכו. מעל הכניסה לבית הכנסת מונח שלט אבן ובו כתוב "חקל תפוחין קדישין, מה נורא המקום הזה, בית המדרש הגדול מרבינו האר"י הקדוש זיע"א, הוקם ש' שלח, תוקן ש' תרצ"ז". לפי שלט זה הוקם בית הכנסת בשנת של"ח (1578) שש שנים אחרי פטירת האר"י. אבל הכתובת הושמה במקום לאחר השיפוץ של שנת תרצ"ז (1937) , ואין בה שום הוכחה אמיתית על זמן ייסוד בית הכנסת.
יש המשערים שיסוד בית הכנסת נבנה על יסוד בית הכנסת "גריגוס" של עולי יוון. העדות הראשונה על קיום המקום היא ממכתב שכתב רבי ישראל מפלוצק, ממנהיגי שיירת העולים החסידית לצפת: "ועוד בונים לנו בית הכנסת חדש, והתפילה היא במקום שיסד הארי ז"ל". זוהי העדות הראשונה לבניית בית כנסת לחסידים שנבנה על גבי או בסמוך למקום ש"יסד" האר"י. במאה ה-19 נמשכה עליית החסידים ובהם אדמו"רים ידועי שם כרבי דוד שלמה אייבשיץ ורבי חיים טירר. על פי המסורת שני אישים אלו התפללו בבית הכנסת. עד שנות השלושים במאה ה-19, היה בית הכנסת הזה, מרכז התפילה של הקהילה החסידית בעיר.
ברעידת האדמה הגדולה של שנת 1837, בה נספתה מחצית הקהילה, נחרבו כמעט כל בתי הכנסת בצפת, כולל בית כנסת האר"י. ישנם מסורות שארבעת העמודים המרכזיים שרדו, או שהכותל הדרומי שרד. באגרת שנשלחה על ידי מזכירו של משה מונטיפיורי, ד"ר אליעזר הלוי, שנה וחצי אחר הרעש, מתברר שבית הכנסת כבר עמד שוב על תילו באותו זמן. בשנת 1857
נבנה הבניין מחדש כפי שמעידה כתובת אבן בחזית בית הכנסת בה נחקק: "מה נורא המקום הזה \ זה ביהכנ מרן הארי זל \ בשנת ומקדשי תיראו" ("תיראו" שווה בגימטריה לתרי"ז, היא שנת 1857. שינוי האותיות נעשה כדי להתחבר לביטוי "[את שבתתי תשמרו ומקדשי] תיראו", ויקרא יט 30). מאז לא חלו שינויים משמעותיים בבניין. מאז שימש בית הכנסת כמקום תפילה המרכזי של העדה החסידית בצפת ללא שיוך לחצר חסידית מסוימת.
.