בראשית המאה העשרים נמנו בקרמנצ'וג כ-30,000 יהודים – כמחצית אוכלוסייתה. ב-1919, בימי מלחמת האזרחים ברוסיה, נרצחו כ-150 מיהודי העיר בפוגרום של כנופיה אוקראינית.
בתקופת השלטון הסובייטי היו בעיר מחלקה של בית המשפט ותחנת משטרה שעבודתן התנהלה ביידיש, היו בה בתי ספר ביידיש, וראו בה אור עיתונים ביידיש. בשל תהליכי העיור והתיעוש שהתחוללו בברית-המועצות בין שתי מלחמות העולם קטן מספר היהודים בעיר, וערב פלישת גרמניה לברית-המועצות נמנו בקרמנצ'וג כ-20,000 יהודים – יותר מ-20 אחוזים מאוכלוסייתה באותה העת.
בשבועות שלאחר הפלישה הצליחו מרבית יהודי העיר להימלט או להתפנות מזרחה עם הצבא הסובייטי הנסוג. הגרמנים כבשו את קרמנצ'וג ב-9 בספטמבר 1941, ומיד עם כניסתם לעיר החלו בגזל רכושם של היהודים ובגיוסם לעבודת כפייה. היהודים נצטוו לשאת טלאי עם מגן דוד בצבעים כחול ולבן. עד 26 בספטמבר 1941 נרצחו 125 יהודים בידי אנשי יחידת זונדרקומנדו 4b. בעקבות התפשטות השמועה שהגרמנים לא יפגעו ביהודים שהתנצרו, רכשו כמה יהודים מראש העיר תעודות טבילה.
על-פי רישום של האוכלוסייה היהודית שנשארה בעיר שנערך ב-26 בספטמבר 1941, נמצאו בה כ- 3,500 יהודים וכ-100 משפחות מעורבות. ב-27 בספטמבר 1941 נצטוו היהודים לעבור לפאתי העיר, לאתר מגודר בתיל ששימש מעין גטו. כ-1,100 יהודים בלבד עברו לשם כנדרש. מיד עם בואם לגטו נלקחו מהם כל המסמכים וכל דברי הערך, דירותיהם בעיר הוחרמו לטובת גרמנים ושוטרים אוקראינים, והרכוש שהיה בהן נבזז. ככל הנראה לאחר מכן נתפסו במצודים עוד מאות יהודים והובאו לגטו.
ב-28 באוקטובר 1941, אחרי חודש של עבודות מפרכות בתנאים בלתי נסבלים, רצחו חיילי זונדרקומנדו 4b כ-1,600 יהודים. הרציחות נמשכו בין נובמבר 1941 לינואר 1942, ונהרגו בהן מאות מיהודי העיר וכן שבויי מלחמה יהודים שרוכזו בעיר.