בפרוץ מלחמת העולם השנייה חיו בדרויה כ-3,000 יהודים – כ-60 אחוזים מתושביה. הם עסקו בעיקר במסחר, בחקלאות ובמלאכה, ונעזרו במוסדות יהודיים. בדרויה הייתה פעילות ציבורית יהודית ערה של מפלגות ותנועות נוער יהודיות ציוניות ואורתודוקסיות, וגם הבונד היה פעיל בה. כמו כן פעלו בה מוסדות דת, חינוך ותרבות יהודיים, ובהם בית ספר יידישאי של ציש"א וישיבה. בעקבות כיבוש דרויה בידי הצבא האדום במחצית השנייה של ספטמבר 1939 נאסרה פעילותן של המפלגות היהודיות, חנויות פרטיות נסגרו או הולאמו, והוקמו קואופרטיבים. בבתי הספר למדו ביידיש על-פי תכנית הלימודים הסובייטית.
בסוף יוני 1941, לאחר הפצצות כבדות מן האוויר, נפלה דרויה בידי הגרמנים. יהודי דרויה הצטוו לשאת טלאי צהוב, בני 12 ומעלה חויבו בעבודת כפייה, הם נדרשו לשלם דמי כופר, ורכושם נגזל. יהודי דרויה נדרשו להקים יודנרט, ובראשו הועמד יהודי ששמו רוזנמן. מפעם לפעם ביצעו הגרמנים בעיירה הוצאות להורג של יהודים.
בחורף 1941/42 החרימו הגרמנים מתושבי דרויה בגדים חמים, פרוות וכדומה. כמו כן הם לקחו בני ערובה ותמורת שחרורם דרשו מהיהודים כמויות גדולות של מצרכי יסוד, ולאחר מכן גם כסף מזומן וזהב.
באפריל 1942 הקימו הגרמנים שני גטאות: בגטו אחד, סמוך לבית המרחץ, רוכזו יהודים שהוגדרו בעלי מקצוע ו"כשירים לעבודה"; בגטו אחר, קטן יותר, רוכזו הנותרים. בשני הגטאות החלו יהודים לחפש ולהכין מקומות מסתור. ב-3 ביוני 1942 הגיעו לגטאות דרויה כמה ניצולים מן הטבח בגטו מיורי (Miory).
בסוף יוני או ב-2 ביולי 1942 נעשתה בגטאות של דרויה אקציה בידי יחידת ס"ד בפיקודו של היינץ טנגרמן (Heinz Tangermann). בזמן האקציה נערכו התושבים להתנגדות – הם הציתו את הבתים, ובעת כיבוי השרֵפה, שהתפשטה גם מחוץ לגטאות, פתחו באש על הגרמנים. בסופו של דבר חוסלו שני הגטאות וכ-1,100 תושביהם נרצחו סמוך לבית העלמין היהודי, הם ואִתם גם 125 יהודים שהובאו לשם מהעיירה הסמוכה לאונופול (Leonopol). כמאתיים בני אדם נמלטו בזמן חיסול הגטאות וקצתם הצטרפו במרוצת הזמן לפרטיזנים.
