En 1953 la Knéset promulgó la Ley Yad Vashem que determinó que una de las misiones de éste es "recolectar, examinar y publicar testimonios de la catástrofe y del heroísmo al que dio lugar…". En realidad los esfuerzos para documentar el Holocausto habían comenzado mucho antes de que la ley fuese aprobada. Desde la asunción al poder de los nazis en Alemania y durante la Segunda Guerra Mundial hubo quienes documentaron los eventos a medida que se desarrollaban, a menudo bajo condiciones sumamente duras. Inmediatamente después de la guerra fueron establecidos centros de documentación y recolección de documentos en muchos lugares, notablemente en Múnich, Varsovia, Lodz, Lublin, París, Bratislava, Budapest, etc.
La información sobre lo que acontecía en Europa comenzó a llegar a la comunidad judía de la tierra de Israel durante la guerra. Aún antes de que la enormidad del desastre se volviese evidente Mordejai Shenhavi inició un Proyecto Conmemorativo de los Judíos de Europa que incluiría un archivo. Los archivos de Yad Vashem comenzaron sus actividades oficiales en 1946, bajo la dirección de la Dra. Sarah Friedlander, una nativa de Budapest que se había salvado gracias al "tren de Kasztner."
Los primeros documentos llegaron a Yad Vashem de las "Comisiones históricas" y otros centros de documentación, así como de instituciones públicas, investigadores y particulares. A los materiales reunidos en Israel se agregaron materiales recolectados por judíos durante la guerra en guetos, campos y lugares de escondite.
Desde su establecimiento el Archivo ha iniciado actividades destinadas a recolectar y copiar documentos relacionados con el Holocausto que se encuentran en diversos archivos de Europa y el resto del mundo. Con la caída de la "Cortina de hierro" y la apertura de archivos en Europa Oriental a fines de la década de los años 1980 el proyecto de reproducción se ha extendido notablemente.
Con el fin de preservar los documentos para las generaciones futuras y permitir un fácil acceso a los Archivos Yad Vashem emplea un equipo profesional experimentado que incluye archivistas, historiadores y expertos en conservación. Los materiales pasan por un proceso de recepción y organización, son catalogados de forma profesional en etapas y preservados bajo óptimas condiciones de conservación. Documentos que requieren una preservación individual son tratados en el laboratorio de restauración.
Como parte del proceso de renovación del campus de Yad Vashem los Archivos se mudaron a un edificio ultramoderno inaugurado en el año 2000.
