ערב פלישת הגרמנים לברית-המועצות נמנו בחרסון כ-16,000 יהודים. בימי השלטון הסובייטי הוסיפו יהודים לעסוק במלאכה, אך רבים הפכו לפועלים בבתי חרושת ולפקידים במפעלים ובמוסדות ממשלתיים. בבית המשפט המקומי ובמכללה הטכנולוגית האוקראינית היו מחלקות יהודיות שפעלו ביידיש. כמו כן היו בעיר כמה בתי ספר ביידיש.
הגרמנים כבשו את חרסון ב-19 באוגוסט 1941. ככל הנראה פונו או נמלטו ממנה אלפי יהודים לפני הכיבוש. הגרמנים מינו יודנרט, וזה נצטווה לערוך רישום של היהודים. באותו צו מטעם המושל הצבאי נדרשו היהודים לשאת טלאי צהוב בצורת מגן דוד על צד שמאל של החזה ועל הגב ולמסור ליודנרט את כל דברי הערך והכסף. מדי יום ביומו נשלחו עד 1,000 איש לעבודות כפייה שונות. ב-29 באוגוסט 1941 נורו בעיר כ-100 יהודים וקומוניסטים, וב-6 בספטמבר נורו עוד 110 יהודים שהואשמו בפעילות מחתרתית. עד 10 בספטמבר 1941 רצחו הגרמנים 410 יהודים.
ב-7 בספטמבר 1941 רוכזו יהודי חרסון בגטו ברובע אחד בעיר. הגטו גודר בתיל דוקרני והופקדו עליו שומרים מלוּוים בכלבים. בקרב היהודים נפוצו שמועות שמרכזים אותם לקראת שילוח לארץ-ישראל. בגטו רוכזו גם יהודים ממשפחות מעורבות ויהודים מומרים וילדיהם, ובתחילה הותר להם להתראות עם בני משפחה לא-יהודים. עם חברי היודנרט נמנו שני רופאים, ד"ר באומגולץ (Baumgolts) וד"ר חסין, ועורך הדין פינקלשטיין, שהתנצר לפני מהפכת 1917. בגטו פעל גם שירות סדר יהודי. מקצת היהודים נשלחו לעבודות כפייה, אך בעלי מקצוע, ובהם רופאים ואחיות, הוסיפו לעבוד במקצועותיהם במוסדות בעיר.
ב-23 בספטמבר 1941 רוכזו כ-8,500 יהודים (המומרים ובני המשפחות המעורבות לא נמנו עמם) במתחם בית הסוהר. לבקשת הרופאים הלא-יהודים הורשה הרופא באומגולץ לעזוב את המקום בלי בני משפחתו, אך הוא סירב לעשות כן. ב-25-24 בספטמבר 1941 הובלו היהודים לאזור הכפר זלנובקה (Zelenovka) הסמוך לעיר ונרצחו שם בידי זונדרקומנדו a11. כ-400 בני משפחות מעורבות שהתגוררו בעיר נרצחו בינואר 1942.
