בשלהי שנות השלושים חיו בגומל כ-41,000 יהודים – כשליש מכלל תושביה. ב-1903 היה בגומל פוגרום, ובפעם הראשונה בתולדותיהם של יהודי רוסיה התארגנה שם הגנה עצמית יהודית. בימי השלטון הסובייטי הפכה גומל למרכז תעשייתי חשוב ורבים מתושביה היהודים היו לפקידים ופועלים במפעלים ממשלתיים. אחרים המשיכו לעסוק במלאכה, וקצתם התארגנו בקואופרטיבים. בעיר פעלו בתי ספר ביידיש ומחלקה של בית משפט שעבודתה התנהלה ביידיש. עד 1929 הייתה בעיר גם מכללה פדגוגית שלשון הלימודים בה הייתה יידיש.
לאחר ספטמבר 1939 התיישבו בעיר פליטים רבים מפולין.
ב-19 אוגוסט 1941, לאחר שבוע של קרבות קשים, הושלם כיבוש גומל בידי הגרמנים. העיכוב היחסי בכיבוש אפשר למרבית יהודי העיר להתפנות מזרחה לתוך ברית-המועצות. יהודים רבים, בייחוד עובדים במפעלים הממשלתיים ובמוסדות סובייטיים ובני משפחותיהם, פונו במאורגן, וגברים רבים גויסו לצבא האדום.
עם כניסת הגרמנים לעיר הם הורו ליהודים לשאת סרט צהוב. כחודש לאחר מכן ריכזו אותם בארבעה גטאות שהוקמו ברחבי העיר. הגטו המרכזי הוקם בשכונת העוני מונסטירק (Monastyrek) שבמרכז העיר, באזור שתושביו הלא-יהודים פונו ממנו. הגטו הוקף בתיל דוקרני ורוכזו בו כ-800 יהודים. גטו שני הוקם בקסרקטינים סובייטיים שגודרו, ושוכנו בו כ-600 יהודים, ובהם כ-100 מגורשים מהעיירה לויב (Loyev). גטו שלישי אורגן ברחוב ביחובסקיה (Bykhovskaya) שבפאתי העיר. בגטו הרביעי, שהוקם מעברו השני של הנהר סוז' (Sozh), רוכזו בתחילה כ-200 יהודים, אך כבר בספטמבר 1941 הועברו כולם לגטו המרכזי.
על התושבים הלא-יהודים נאסר באיסור חמור לדבר עם תושבי הגטאות ולהעביר להם מזון. היהודים חויבו לצאת לעבודת כפייה והוטל עליהם תשלום כופר. תושבי הגטאות סבלו גם ממעשי שוד של שוטרים גרמנים ובלרוסים. התזונה הדלה ותנאי התברואה הירודים גרמו שיעורי תמותה גבוהים בגטאות.
מספטמבר 1941 החלו הגרמנים לרצוח קבוצות של יהודים. ידוע על כ-60 יהודים שנרצחו בהאשמה שהיו סוכנים סובייטים או בתואנה שניסו להסתיר את מוצאם.
כל שלושת הגטאות הנותרים חוסלו ב-3 או ב-4 בנובמבר 1941 ותושביהם, 2,365 יהודים, נרצחו ביער ליד הכפר לשצ'ינץ (Leshchinets) – "גמול על תמיכתם בפרטיזנים". מקצת היהודים נספו בבית הסוהר העירוני וכן במחנה העבודה בקבּנובקה (Kabanovka), לא הרחק מהעיר.
ככל הידוע נרצחו בגומל בסך הכל כ-4,000 יהודים. כמה מיהודי גומל הצטרפו לפרטיזנים שפעלו באזור.
