בראשית המאה העשרים התגוררו בחרקוב, שהייתה אז מחוץ לתחום המושב ברוסיה, כ-11,000 יהודים. בתקופת השלטון הסובייטי גדל מספר היהודים בחרקוב במהירות, והגיע בשלהי שנות השלושים לכ-130,000. יהודים רבים עבדו במפעלים ובבתי חרושת, אחרים התפרנסו ממלאכות למיניהן, ועד סוף שנות העשרים פעלו בעיר גם סוחרים יהודים. מחלקה יהודית בבית המשפט וכמה מדורים במיפקדת המשטרה המקומית ניהלו את ענייניהם ביידיש; פעלו גם בתי ספר ומכללה למורים ביידיש וכן מכללה טכנולוגית יהודית ללימוד מכונאות. בחרקוב פעל גם תאטרון יהודי ויצאו בה לאור עיתונים וספרים ביידיש.
בעקבות פלישת הגרמנים לברית-המועצות עזבו יותר מ-100,000 מיהודי העיר מזרחה – את קצתם פינו השלטונות, אחרים נמלטו ביזמתם. חרקוב נפלה בידי הגרמנים ב-23 באוקטובר 1941. מימי הכיבוש הראשונים נמנו יהודים עם בני הערובה שהוצאו להורג על כל הפרה של פקודה מפקודות הגרמנים. לפי מיפקד שנעשה במצוות הגרמנים נמנו עם תושבי העיר 10,271 יהודים, אך יש לשער שלא כל היהודים התפקדו. לאוכלוסייה הוקצבו מנות מזון מצומצמות, וליהודים הקציבו רק 40 אחוזים מהנורמה. ב-3 בנובמבר הורה המינהל העירוני ליהודים לבחור יודנרט, ובראשו הועמד פרופסור לרפואה ששמו גורביץ'.
באמצע נובמבר 1941 פוצצו אנשי מחתרת אנטי-גרמנית חמישה בניינים ששכנו בהם מטות ומוסדות של הגרמנים. בתגובה רצחו הגרמנים כ-1,000 בני ערובה, רובם יהודים. ב-22 בנובמבר 1941 אסר השלטון המקומי האוקראיני על יהודים לעבוד במוסדות ציבור, חייב אותם לשאת סרט שרוול מיוחד וריכז אותם ברובע אחד. השלטונות האוקראיניים גם הפנו את תשומת לב הגרמנים לכך שהתושבים מבקשים לנקוט אמצעים נגד היהודים. באותו זמן הגיע לעיר זונדרקומנדו a4 בפיקודו של פאול בלובל (Paul Blobel). בתיאום עם העירייה הוחלט לרכז את היהודים בצריפי העובדים של בית החרושת למכונות ומפעל הטרקטורים. ב-14 בדצמבר 1941 הצטוו היהודים לעבור לשם בתוך יומיים. השוטרים שליוו את מעבר היהודים לצריפים התעללו בהם ושדדו את רכושם ואת מזונם. בזמן המעבר נאלצו היהודים ללון תחת כיפת השמים. רבים מהם קפאו למוות ו-305 יהודים נרצחו.
הגטו כלל 26 צריפים ללא חלונות ודלתות, בלי מים זורמים וביוב ובלי חימום. הגטו הוקף בגדר תיל דוקרני, הוצבה סביבו שמירה, היציאה ממנו נאסרה, וְלִמְפֵרֵי האיסור היה צפוי עונש מוות. לא ניתן שום מזון, ונאסרה קניית דברי מזון. שאיבת מים מהבאר הותרה רק לנשים, שעה אחת בלבד בצהריים, ויהודים רבים נאלצו לשתות מי שלג מומס. בכל אחד מהצריפים הצטופפו יהודים רבים, ונאסר עליהם לפנות את גופות המתים הרבים מרעב וממחלות. במקביל נמשך שוד היהודים: הם נדרשו לספק לשוטרים בגדים חמים ואפילו כסף לקניית יי"ש לחג המולד.
ב-24 בדצמבר 1941 רצחו הגרמנים כ-200 יהודים חולי נפש. ב-26 בדצמבר 1941 נערך רישום של יהודים שהתנדבו בלית ברֵרה לצאת לעבודה בפולטבה (Poltava), רומני (Romny) וקרמנצ'וג (Kremenchug). למחרת הגיעו לגטו משאיות, כ-500 המתנדבים נדחסו אליהן, הובלו אל מחוץ לעיר ונרצחו. עד סוף דצמבר 1941 נרצחו עוד כ-500 יהודים.
הגטו חוסל בין 2 ל-8 בינואר 1942. החולים והנכים הובלו במשאיות והאחרים הוצעדו ברגל, תחת שמירה של אנשי ואפן-ס"ס וס"ד, לאתר הרצח – שתי תעלות גדולות שהוכנו בדרוביצקי יאר (Drobitskii Yar) סמוך לעיר – ושם רצחו אותם אנשי שופ"ו. עד סוף 1942 נתפסו ונרצחו בחרקוב עוד 64 יהודים.
