A principios de marzo de 1944 se realizó un censo en la ciudad, después del cual los alemanes encarcelaron a cuatro líderes de la comunidad judía. Los arrestados consiguieron filtrar una carta desde la prisión en la que instaban a los judíos a escapar de la ciudad. Sin embargo, el vicepresidente Shabetai Kabuli argumentó que los alemanes no causarían daños a los judíos, siempre que estos les suministrasen dinero y provisiones. También se dirigió a padres cuyos hijos habían huido de la ciudad para unirse a los partisanos y los convenció de que persuadiesen a sus hijos a volver. Argumentaba que estos estaban colaborando con la resistencia comunista, y que de dicha forma ponían en peligro a toda la comunidad. Sólo muy pocos judíos escaparon de la ciudad a las montañas, entre ellos los cuatro miembros de la familia Matsa. Otros obtuvieron documentos falsos, gracias a la ayuda de griegos, como el padre Anastasius, y lograron unirse a los partisanos o llegar a Atenas. Algunos habitantes cristianos de Ioánina escondieron a judíos en sus casas. Algunos líderes de la comunidad judía excavaron túneles por debajo de la sinagoga antigua en el antiguo barrio judío en el que enterraron todos los rollos de la Torá, las cortinas ornamentales y los objetos del culto.
El viernes 24 de marzo, por la noche, unidades alemanas rodearon el barrio judío, marcaron casas de cristianos con un crucifijo y obligaron a los judíos a permanecer en sus casas. Esta operación se llevó a cabo con la asistencia de la policía griega local. Judíos que vivían dentro del área de la fortaleza fueron concentrados en un hospital militar cercano y posteriormente obligados a subir por la fuerza a camiones militares. Los judíos que vivían fuera de la fortaleza fueron concentrados en la plaza de Maravilis del otro lado del lago: allí los alemanes separaron a los hombres de las mujeres y los niños. Alrededor de 1.870 judíos fueron amontonados en camiones y llevados a Trikala. Aquella noche durmieron en el cementerio judío de la localidad envueltos en mantas que habían traído. Al día siguiente el convoy llegó a Larissa: en el camino habían muerto dos ancianos.
Los deportados fueron obligados a bajar en un garaje militar donde estaban esperando otros judíos de Larissa y Trikala que habían sido deportados el día anterior. Los de Ioánina esperaron en aquel lugar cerca de una semana. Bajo amenazas de muerte les obligaron a entregar sus objetos de valor. Algunos consiguieron huir sobornando a los conductores de los camiones de basura o saltando las vallas. Los que escaparon se unieron a los partisanos y combatieron con ellos hasta el fin de la guerra.
Desde Larissa, los judíos de Ioánina fueron deportados a Polonia en tren. El viaje duró ocho o nueve días. Muchos murieron en camino. En Auschwitz se realizó una selección y algunos fueron enviados a trabajar. La mayoría, incluidos Kabeli, su mujer y sus hermanas fueron enviados a las cámaras de gas.
Las posesiones de los judíos de Ioánina fueron confiscadas por el ejército alemán y distribuidas entre los residentes locales griegos, algunos de ellos colaboracionistas con los alemanes, así como entre las autoridades griegas. Los ciudadanos griegos recibieron autorización para apropiarse de casas y tiendas de los judíos deportados. La unidades de la resistencia griega recuperaron más tarde algunos restos de las posesiones de los judíos y las devolvieron a sobrevivientes después de la guerra. Al fin de la guerra solamente la sinagoga Kahal Kadosh Yashán estaba en condiciones para el culto. La sinagoga Kahal Kadosh Hadash fue empleada como establo durante la ocupación y estaba gravemente dañada.
El 91% de los judíos que vivían en Ioánina en vísperas de la ocupación nazi en 1943 fueron asesinados en los campos de exterminio. De 2.000 personas sólo unos 164 regresaron a la ciudad después de la guerra. La mayoría abandonó el lugar durante la primera década posterior a la guerra, debido a las difíciles condiciones que reinaban. En la actualidad viven en Ioánina unas decenas de judíos.
