Durante los siglos siguientes, invasiones militares y guerras paralizaron el desarrollo de la ciudad. En una serie de pogromos contra los residentes judíos de la ciudad durante el siglo XVII, entre ellos el pogromo de Jmelnitsky, la comunidad judía sufrió daños severos. Sin embargo sus miembros consiguieron recuperarse. Regresaron a la actividad financiera por completo y representantes de Chełm tomaron parte activa en el Consejo de los Cuatro Países: la organización representativa de los judíos polacos en aquella época.
Al producirse la partición de Polonia a fines del siglo XVIII Chełm pasó a formar parte de Austria por algunos años. Sin embargo, durante la mayor parte del siglo XIX perteneció al Imperio Ruso. La ciudad continuó desarrollándose, pero debido a las rebeliones polacas, las autoridades zaristas emplearon medidas represivas que desestabilizaron la economía del lugar. Durante aquel periodo se produjo un aumento del antisemitismo.
Después de la Primera Guerra Mundial, en paralelo a la creación de un estado polaco independiente, Chełm fue incluida dentro de las fronteras de Polonia. Durante los primeros años de entreguerras la ciudad gozó de un rápido desarrollo, notablemente en construcción e industria. Pero dicha tendencia se vio interrumpida por la crisis financiera internacional de los años treinta.
Los judíos de Chełm trabajaban en la industria y el comercio. Muchos compraban y vendían animales de granja, otros comerciaban en pieles y cueros y otros trabajaban como curtidores. Además la ciudad era sede de algunas imprentas propiedad de judíos.
En Chełm había tres bancos judíos, aunque uno solo fue activo durante un breve periodo antes de cerrar sus puertas. Un banco de comercio servía mayormente a los judíos pudientes. El Folks Bank (Banco del pueblo) funcionaba como cooperativa hasta la Segunda Guerra Mundial: suministraba préstamos a intereses bajos a pequeños comerciantes e industriales y al hacerlo les ayudaba a superar la gran crisis financiera de la década de los treina.
En vísperas de la Segunda Guerra Mundial las autoridades municipales de Chełm emprendieron la renovación de las calles de la ciudad, especialmente la vía principal. Esta disponía de muchos negocios propiedad de judíos y era utilizada como lugar de reunión por la juventud judía y por los antisemitas locales. La municipalidad comenzó a implementar el plan de renovación y al hacerlo, los negocios judíos comenzaron a acusar pérdidas al perder clientela. También las instituciones judías cuyas oficinas estaban ubicadas en la vía principal se vieron afectadas, entre ellas las oficinas de la comunidad judía, las de algunos periódicos, la Casa de Cultura Judía, el sindicato de trabajadores y algunas filiales de partidos judíos. Las obras fueron interrumpidas por causa del comienzo de la guerra.
En 1939 Chełm tenía alrededor de 15.000 habitantes judíos, que comprendían cerca de la mitad de la población.