בינואר 1941, במיפקד האוכלוסין הארצי האחרון שנעשה בהונגריה לפני הכיבוש הגרמני, נמנו בעיר אגר 1,787 תושבים יהודים, ושיעורם בכלל אוכלוסייתה היה כחמישה אחוזים. רובם היו סוחרים ובעלי מלאכה. בעיר היו שתי קהילות יהודיות, אחת אורתודוקסית ואחת של זרם הסטטוס קוו אנטה, וכל אחת מהן קיימה אגודות חברתיות ודתיות. הילדים למדו בבית ספר יסודי יהודי. בין שתי מלחמות העולם הייתה אגר לאחד ממעוזי הציונות בהונגריה.
באוגוסט 1941 גירשו השלטונות ההונגריים משפחה יהודית שלא הייתה לה אזרחות הונגרית (אף שהתגוררה באגר עשרות שנים) לאוקראינה שהייתה נתונה לכיבוש גרמני. בשנת 1942 גויסו גברים יהודים בני 18 עד 42 לעבודת כפייה במסגרת הצבא ההונגרי. רובם הוצבו בחזית המזרחית באוקראינה ורבים מהם נספו שם.
ביולי 1942 אסר סגן הממונה על המחוז, ג'ולה סבו (Gyula Szabo), על יהודי המחוז לקנות מזון לפני השעה תשע בבוקר – שאחריה כבר לא הייתה נשארת בדרך כלל סחורה בשווקים.
הצבא הגרמני כבש את הונגריה ב-19 במרס 1944. על-פי מיפקד שנעשה בשבוע השני של אפריל 1944 מנתה קהילת הסטטוס קוו באגר 748 נפשות, והקהילה האורתודוקסית – 519 נפשות.
המנגנון המינהלי ההונגרי נותר על כנו גם אחרי הכיבוש, והיהודים רוכזו בגטאות וגורשו על סמך תקנות וצווים של רשויות השלטון ההונגרי, המרכזי והמקומי. ב-6 במאי 1944 פורסם הצו בדבר כינון מועצות יהודיות וריכוז היהודים בגטאות, וב-14 במאי נדרשו יהודי אגר לעבור לאזורי הגטו שנקבעו בעיר. כל יהודי הורשה להביא עמו מטען של חמישים קילוגרם, שכלל מזון ל-15 יום, בגדים וכלי מיטה.
כ-2,000 יהודים רוכזו בגטו אגר, בני המקום ויהודים מהישובים הסמוכים. הגטו כלל שני חלקים – "הגטו הגדול" בשני רחובות וסביבתם, ו"הגטו הקטן" שהוקם בתוך מחסן עץ בעבור כעשרים איש שהיו בעיקר יהודים מומרים ויהודים שהיו נשואים בנישואי תערובת. המועצה היהודית, בראשותו של בלה לאו (Bela Low), קיימה קשרים הדוקים עם הרשויות וארגנה את הספקת המזון והתרופות לגטו. המשטרה ההונגרית שמרה על הגטו, ושוטרים יהודים שמרו על הסדר הפנימי. הרשויות ההונגריות פשטו על הגטו כמה פעמים במאמץ למצוא חפצי ערך, ותושבי הגטו, ובהם גם הרב סימון שרייבר (Schreiber), הרב האורתודוקסי בן ה-93, נאלצו לעמוד יום שלם בחצר הגטו.
בשלהי מאי 1944 הציל סרן קלמן הורבט (Kalman Horvath), קצין במטה הגיוס במישקולץ (Miskolc), מאתיים מתושבי הגטו מגירוש על-ידי גיוסם לשירות בלי להתחשב בגילם. לאחר המלחמה הוכר הורבט חסיד אומות העולם. ההגמון של אגר, ג'ולה צפיק (Gyula Czapik), התערב מפעם לפעם אצל השלטונות למען תושבי הגטו. שמונה נשים יהודיות הועסקו במטבחו של ההגמון, וניצלו כך מגירוש.
גטו נוסף, גטו בגויוק (Bagólyuk), הוקם במגורי הפועלים של מכרה נטוש מצפון-מערב לאגר, בפיקודו של קלמן קלוסר (Kalman Klosszer). יותר מאלף יהודים משלוש נפות (אגר, הווש ופטרוושר [Petervasar]) נצטוו לעקור אליו, וב-10 במאי 1944 ננעלו שעריו. היהודים, תושביו החדשים של גטו בגויוק, אמנם שיפצו ותיקנו את הבניינים, אך לא היה שם די מקום לינה לכולם, והם סבלו גם ממחסור חמור במזון. בגטו הוקמה מרפאה ובה שני רופאים שטיפלו בחולים. לגטו בגויוק הייתה מועצה יהודית משלו וכן היה בו שירות סדר יהודי..
בסוף מאי או בראשית יוני 1944 הוצעדו תושבי שני הגטאות 16 קילומטרים ברגל למרכז שילוח בבית החרושת ללבנים קרצ'נד (Kerecsend). חסידי הרב הישיש שרייבר ובני משפחתו נשאו אותו על כיסא כל הדרך. המפקד על מחנה קרצ'נד היה הממונה על נפת אגר, ד"ר פל פולגרי (Pal Polgary). הז'נדרמים ההונגרים ששמרו על המחנה ירו למוות בכמה יהודים ביער הסמוך.
ב-8 ביוני 1944 גורשו כ-3,600 יהודים ממחנה קרצ'נד לאושוויץ.
