בפרוץ מלחמת העולם השנייה חיו באושמיאנה כ-3,300 יהודים – כמחצית מאוכלוסייתה. רובם היו בעלי מלאכה וקצתם עסקו במסחר ובחקלאות. בעיירה התקיימה פעילות פוליטית יהודית ערה של מפלגות שונות – מפלגות ציוניות, אגודת ישראל והבונד. בקהילה פעלו מוסדות חינוך, דת ותרבות יהודיים, ובהם בית ספר "תרבות" ובית ספר יידישאי, בתי מדרש וישיבה.
עם כניסת הסובייטים לעיירה ב-18 בספטמבר 1939 הונהג בה משטר סובייטי בתחומי הכלכלה, החברה והחינוך. חנויות פרטיות הולאמו או נסגרו והוקמו קואופרטיבים.
הגרמנים כבשו את אושמיאנה ב-25 ביוני 1941 ובתוך ימים מספר החלה החרמת רכוש מהיהודים והוטלו עליהם הגבלות תנועה. הרב הלר (Heller) נצטווה להקים יודנרט של שמונה חברים ולעמוד בראשו. תפקידו של היודנרט היה לספק לגרמנים פריטי רכוש וציוד. ביולי 1941 פשטו חיילים גרמנים על בתי היהודים והוליכו את הגברים לכיכר השוק. לאחר סלקציה נלקחו כמה מאות צעירים יהודים והובלו לכיוון לידה (Lida), ומאז לא נראו עוד. ב-25 ביולי 1941 עצרו אנשי ס"ס בסיוע מקומיים יותר מ-700 גברים, נערים וקשישים יהודים ובהם הרב הלר, הובילו אותם לכפר ברטל (Bartel), ושם ירו בהם למוות. לאחר אקציה זו נותרו בעיירה בעיקר אלמנות ויתומים וכמה עשרות גברים שהצליחו להימלט או להסתתר. לאחר חיסול הגברים והיודנרט, לפי דרישת השלטונות, קיבלה עליה היהודייה הינדה דאול (Deul) להסדיר את הספקת עובדי הכפייה היהודים.
ב-2 באוקטובר 1941 הצטוו היהודים לעבור לגטו ברחוב אחד מגודר שרוכזו בו גם יהודים מיישובים סמוכים. הגטו הוקף גדר ובה שער אחד. עם כינון הגטו החליט סקשוט (Skszot), מפקד המשטרה הפולנית המקומית, למנות באושמיאנה יודנרט חדש. היודנרט הקים שירות סדר יהודי ויצר קשר עם האוכלוסייה המקומית, בעיקר לצורכי הברחה. בגטו שררו צפיפות ורעב, ושיעורי התחלואה והתמותה בו היו גבוהים. לגטו הגיעו גם פליטים יהודים שנמלטו מהרציחות בליטא ויהודים מעיירות הסביבה, ובדצמבר 1941 היו בו כ-1,800 תושבים.
בנובמבר 1941 הגיעה לאושמיאנה יחידה של הוורמכט. כעבור זמן מה התמנה ראש הז'נדרמריה המקומית קראוזה (Krause) לממונה על הגטו. קראוזה הקפיד מאוד על רישום שיטתי של היהודים, והורה להוציא להורג עשרות פליטים יהודים שלא נכללו ברשימותיו, ובהם יהודים שהגיעו לאושמיאנה מהולשני (Holszany).
באביב 1942 שינו הגרמנים את החלוקה המינהלית של האזור וצירפו את אושמיאנה לממשל של אזור וילנה. בהוראתו של המפקד החדש הועברו 130 בעלי מקצוע יהודים ובני משפחותיהם מאושמיאנה למולודצ'נו (Molodeczno), שרוכזו בה יהודים בעלי מקצוע. שלושה ימים אחרי צאת העובדים היהודים הגיעו לאושמיאנה שוטרים ליטאים והחליפו את הז'נדרמים הגרמנים. ב-16 ביוני 1942 שולחו כ-350 צעירים יהודים מגטו אושמיאנה למחנה עבודה.
ניצולים מגטאות בבלרוס שהחלו להגיע לגטו אושמיאנה בסוף קיץ 1942 סיפרו על רציחות המוניות, ולכן הכינו יושבי הגטו מקומות מסתור ונערכו לבריחה. באוגוסט 1942 גורשו מאות מתושבי הגטו למחנה עבודה של ארגון טוט. אוכלוסיית הגטו גדלה עם הגעתם של יהודי העיירות הולשני, סמורגוניה (Smorgonie) וקרבו (Krewo).
באוקטובר 1942 הודיעו הגרמנים שבכוונתם לצמצם את אוכלוסיית הגטו ולהוציא להורג 1,500 מיושביו. המשימה לבחור את האנשים הוטלה על שירות הסדר היהודי בווילנה. לאחר משא ומתן עם הגרמנים הצליח ראש היודנרט בווילנה, יעקב גנס (Gens), להקטין את מספר הקרבנות הנדרשים ל-400. ב-21 באוקטובר 1942 נכנסו לאושמיאנה כעשרים שוטרים יהודים מווילנה בראשותו של סָלק דסלר (Salek Dessler) ומסרו לידי הגרמנים כ-406 יהודים, רובם קשישים וחולים. הללו נלקחו לאוגליובו (Uglyowo) הסמוכה ונרצחו שם בידי ליטאים. גנס קיבל עליו את האחריות למעשה בטענה שבגטו אושמיאנה מתגוררים 4,000 יהודים, והקרבת המעטים אפשרה את הצלתם של יהודים רבים אחרים.
לאחר הטבח הזה ידע הגטו כחמישה חודשים של רגיעה שבמהלכם הפעיל בו היודנרט בתי מלאכה שונים.
באביב 1943 החליטו הגרמנים לחסל את גטו אושמיאנה – חלק מתכניתם "לטהר" מיהודים רצועה של 50 קילומטרים בגבול שבין ליטא לבלרוס. המושל הורסט וולף (Horst Wulff) הטיל על ראש היודנרט ועל שירות הסדר היהודי בווילנה לבחור מיהודי אושמיאנה וגטאות אחרים את מי שיועברו לגטו וילנה ולגטו קובנה. בין 26 במרס ל-12 באפריל 1943 הועברו לגטו וילנה כ-700 מיהודי אושמיאנה (בעיקר "מיוחסים" ובעלי מקצועות נדרשים). כ- 1,500 יהודים נשלחו למחנות לעבודת כפייה באזור ובווילייקה (Wilejka), ורק מעטים שרדו בהם. אחרוני היהודים מגטו אושמיאנה, כ-700 איש שהובטח להם שיועברו לגטו קובנה, הועברו בסופו של דבר לפונר (Paneriai, Ponary) ונרצחו שם.
בגטו אושמיאנה הוקם ארגון מחתרתי, "הארגון הפרטיזני המאוחד" שמו. עם חיסול הגטו נמלטו כ-100 מחבריו ליערות נרוץ' (Narocz) ורודניקי (Rudniki) והוסיפו להילחם שם בשורות הפרטיזנים.
