ערב מלחמת העולם השנייה התגוררו בפוניבז' כ-6,000 יהודים – יותר מ-20 אחוזים מתושביה. פוניבז' הייתה מרכז חשוב של היהדות החרדית בליטא ופעלו בה כמה ישיבות ובהן אחת הישיבות הגדולות בליטא. יהודי העיר עסקו במסחר, מלאכה ותעשייה קלה והיו בהם גם בעלי מקצועות חופשיים. בעיר פעלו שלוש מערכות חינוך יהודיות: עברית-ציונית, חרדית ויידישאית, וכן פעלו בה סניפים ותנועות נוער של מפלגות ציוניות, אגודת ישראל והבונד. ב-1940, עם סיפוח ליטא לברית-המועצות, הולאמו עסקים פרטיים בפוניבז' ובתי מגורים מרווחים. כמה ממוסדות החינוך היהודי נסגרו ואחרים עברו ללמד ביידיש, ונפסקה פעילותן של המפלגות היהודיות.
הגרמנים כבשו את פוניבז' ב-26 ביוני 1941. עוד לפני כניסתם לעיר החלו הלאומנים הליטאים במעשי התעללות ביהודיה: כמה מהם נעצרו, אחרים נלקחו לעבודת כפייה, ויהודים לא מעטים אף נרצחו.
בתחילת יולי 1941 נצטוו היהודים להתרכז בגטו שהוקצו לו כמה רחובות וב-11 בחודש הושלמה העברתם אליו. בגטו רוכזו גם יהודים מעיירות סמוכות. הגטו הוקף גדר תיל ושמירה של ליטאים.
עם העברת יהודי העיר לגטו נלקחו 70 מנכבדי הקהילה בני ערובה כדי להבטיח כביכול שהיהודים לא יברחו מהגטו; זמן קצר אחרי שנאסרו הם הועברו לפיוסט (Pajuoste) ונרצחו שם.
בראש הגטו עמדו אברהם ריקלס (Rikels) ומשה לויט. הליטאים התעללו בתושבי הגטו, שדדו את רכושם והרגו בהם.
בתחילת אוגוסט 1941 הציע קצין הגסטפו הממונה על הגטו לנציגי היהודים לעבור לקסרקטינים בקרבת פיוסט, בהבטחה ששם יהיו ליהודים תנאים טובים יותר. נציגי הקהילה יצאו לקסרקטינים ומצאו שאינם ראויים למגורים, אך למרות התנגדותם, באמצע אוגוסט פונתה מהגטו קבוצת יהודים גדולה, כביכול למקום מגוריהם החדש. יהודים אלו הובאו בקבוצות לבורות שהוכנו מראש ליד פיוסט ונרצחו שם בידי ליטאים חמושים. יתר יהודי הגטו פונו ממנו בין 24 ל-26 באוגוסט 1941, הועברו בקבוצות לאותו אתר הרג ונרצחו שם. עם קבוצת המגורשים האחרונה נמנו חולים מבית החולים היהודי "ביקור חולים" וכל אנשי הסגל שלו, לבושים בחלוקים לבנים. אחד הרופאים, ד"ר ט' גוטמן, פנה אל החולים ואל הסגל, ניסה לעודד את רוחם וקרא להם למות בראש מורם. על-פי מקורות גרמניים וסובייטיים נרצחו באתר הרג זה יותר מ-8,000 בני אדם.
