ב-5 בנובמבר 1943 החלה "אקציית הילדים". אנשי אס-אס ואוקראינים הקיפו את הגטו, חטפו 574 ילדים ולמעלה מ-200 יהודים אחרים, רובם זקנים, שנורו מחוץ לגטו. הילדים נשלחו לאושוויץ ונרצחו שם. בזמן האקציה הובטח ליהודים שילדיהם מועברים לבתי ילדים בגרמניה אך רבים לא האמינו להבטחה ולכן התלוו לילדים שני חברי הנציגות, בר קרטון ואהרן כץ, כדי לבדוק מה יעלה בגורלם. אקציה דומה בוצעה במחנות העבודה ועשרות ילדים, נשים וזקנים גורשו ונרצחו. בגטו נשארו 227 ילדים עד גיל 12 ובמחנות העבודה נשארו עשרות ילדים שהוריהם הצליחו להסתירם מהגרמנים ומהאוקראינים.
עם התקרבות החזית באביב 1944 נעשו הכנות לפינוי הגטו. בתחילת יולי הוחזרו לגטו כל היהודים ממחנות העבודה, הופסקה עבודת היהודים מחוץ לגטו ובוטלו אישורי היציאה מהגטו. מפקד האס-אס הודיע שכל המנסה לברוח יירצח עם משפחתו. בהפצצות חיל האוויר הסובייטי על העיר נהרגו חלק מיושבי הגטו, בהם ראש "הנציגות" לשעבר, מנדל לייבוביץ.
באמצע יולי גורשו כל יהודי גטו שאוולי ברכבות למחנה הריכוז שטוטהוף (Stutthof), למחנות עבודה אחרים בפולין ולמחנות ריכוז באזור מחנה דכאו שבגרמניה. קבוצה אחת הועברה למחנה ריכוז בריגה. עשרות מתושבי הגטו הצליחו לצאת מהגטו וממחנות העבודה עוד לפני הגירוש ובמהלכו, ולהסתתר או להצטרף לפרטיזנים. מכ-3,000 יהודים שהועברו מגטו שאוולי למחנות העבודה שרדו עד השחרור 500 בלבד. מספר יהודים משאוולי שהצליחו לברוח לברית המועצות ערב הכיבוש הנאצי נלחמו בשורות הדיוויזיה הליטאית (ה-16) שבצבא האדום. הגטו הריק נשרף בהפצצות שקדמו לשחרור שאוולי.
עם שחרור שאוולי מהכיבוש הגרמני ב-27 ביולי 1944 שבו אליה עשרות ניצולים יהודיים וכן יהודים ששהו עד אז בתוככי ברית המועצות.
בשנות השבעים חיו בשאוולי כ-800 יהודים, רובם דוברי יידיש, שהיו פחות מאחוז אחד מאוכלוסיית העיר. ב-1994 חיו בעיר כ-470 יהודים.
ב-1991 הוקמה בבית הקברות בחולון אנדרטה לזכר יהודי שאוולי והסביבה שנספו בשואה. בליטא הוקמה אנדרטה לזכר יהודי הגטו במקום שבו ניצב שער הכניסה לרובע טרקו שבגטו.
