נולד בטבריה ביום י”א אלול תרל”ט (1878). בנעוריו קנה חכמה בישיבותיה של טבריה, עיר הולדתו.
לצד ההתמדה בלימוד תורה – גילה פעילות רבה בתחום התורני-ציבורי בטבריה: יסד גן ילדים ובית מקרא לנוער, היה חבר ועד העיר ועמד בראש תנועת המזרחי במקום. בהתעורר הצורך לפעול לגאולת קרקעות ולחיזוק הישוב היהודי בגליל, העתיק הרב יעקב משה את מקום מגוריו לפקיעין.
“בגינות פקיעין היפות נחה עלי הרוח”, כתב הרב טולידאנו, ואכן רבים מכתביו ומחקריו נכתבו בפקיעין.
ארבע שנים עשה בפקיעין, ייסד שם בית ספר יהודי ודאג לתחזק את בית הכנסת העתיק. מששב לטבריה ופעל לגאולת קרקעות ולביסוס הישוב היהודי בעיר – קפץ עליו רוגזם של השלטונות התורכיים, שגרשוהו בשנת תרע”ו (1916) לאי קורסיקא בצרפת. שם שהה כארבע שנים וטיפל בבעיותיהם של שבע מאות גולים, מיהודי ארץ ישראל, שאף הם גורשו מארץ הקודש על ידי התורכים. בשנת תר”פ (1920) הורשה לשוב ארצה. פעמים רבות עשה בשליחות קודש בקהילות ישראל בתפוצות. בשנת תר”צ (1930) הוזמן לשמש ראב”ד וסגן הרב הראשי לעדה היהודית בקהיר. כעבור ארבע שנים, משנחל הצלחה רבה בתפקידו זה והתחבב על בני הקהילה והשלטונות – נקרא לשמש כרבה הראשי וראב”ד של אלכסנדריה, במשך שמונה שנים נוספות.
בשנת תש”ב (1942) נבחר לרבה הראשי הספרדי של תל אביב. נפטר בכ”ד תשרי תשכ”א.