Erste Vorschläge zur Gründung einer Holocaust-Gedenkstätte wurden bereits während des Krieges aufgebracht, als die ersten Nachrichten über die systematische Ermordung des europäischen Judentums durchzusickern begannen. Als der Krieg vorüber war, begannen die Institutionen des Yischuv (der jüdischen Bevölkerung vor der Staatsgründung Israels) und der Jüdische Weltkongress darüber zu diskutieren, wie das Gedenken des Holocaust gestaltet werden sollte. Mordechai Shenhavi, Mitglied des Kibbuz Mishmar HaEmek, war einer der zentralen Initiatoren, er schlug auch den Namen der Gedenkstätte, Yad Vashem, vor - nach dem Vers aus dem Buch Jesaja 56;5: „Und denen will ich ... ein Denkmal (Yad) und einen Namen (Shem) geben; einen ewigen Namen, der nicht vergehen soll.“ Shenhavis Vorschlag zur Errichtung einer zentralen Gedenkstätte für das vernichtete europäische Judentum wurde angenommen. In seinen eigenen Worten: „Die Macht des Heldentums unserer gemarterten Brüder und Schwestern erhebt sich und bricht aus Verbrechen und Vernichtung hervor. Das Heldentum der jüdischen Mutter, die Standfestigkeit der Ghettokämpfer, der Anteil unseres Volkes in den Untergrundarmeen in allen besetzten Ländern – sollte es möglich sein, dass sie alle nur mündliche Legende bleiben? Oder sollen wir dem jüdischen Heldentum ein Monument errichten, eines, das den Willen unseres Volkes symbolisiert, zu leben und zu kämpfen, eines, das seine Fähigkeit betont, die schwersten und bittersten Proben durchzustehen, die die menschliche Geschichte je einem Volk auferlegt hat?“
Im Sommer 1947 legte die Leitung von Yad Vashem einen Plan für die Konstruktion der Gedenkstätte am Berg des Gedenkens vor. Unter Initiative eines Sonderkomitees von Yad Vashem fand in Jerusalem daraufhin der erste Kongress zur Erforschung des Holocaust statt. Militärische Auseinandersetzungen und der Ausbruch des Unabhängigkeitskrieges unterbrachen jedoch die Beschäftigung mit dem Thema. Im März 1948 schrieb Chaim Weizman an den Vorstand von Yad Vashem:
„Ich erinnere mich an die alte Legende, die besagt, dass in den schrecklichen Zeiten, in den Tagen, in denen die Zukunft des [jüdischen] Volkes entschieden wird, auch dessen Toten in die Synagoge kommen, um ihren Brüdern und Schwestern zu helfen. Und so glaube ich, dass der Geist unserer sechs Millionen Brüder und Schwestern uns in diesen Tagen zur Seite stehen und uns stärken wird, in einer Zeit, in der die Zukunft der jüdischen Gemeinde in Israel entschieden wird. Ich glaube, dass die Wahl „Yad Vashem“ als Name für dieses Vorhaben in den Herzen aller unserer Brüder und Schwestern widerhallen wird, in unserem Land und an allen Orten in der Diaspora, und dass jeder Jude einen Anteil haben wird an diesem nationalen Unternehmen, denn es ist nicht einer unter uns, der nicht von dem furchtbaren Feind getroffen worden wäre.“
Nach der Staatsgründung begannen die Vorbereitungen zur Einrichtung einer zentralen staatlichen Institution, die mit der Aufgabe betraut werden sollte, das Gedenken an den Holocaust zu bewahren. Im Jahr 1953 brachte der damalige Erziehungsminister, der Historiker Professor Ben Zion Dinur, in der Knesset die Gesetzesvorlage für Yad Vashem als Staatliche Holocaust-Gedenkstätte ein, und stellte fest:
„Das Yad Vashem-Gesetz von 5713/1953 ist ein außergewöhnliches Gesetz, das bisher in keinem Staat ein Vorbild findet, denn auch die Umstände, auf Grund welcher dieses Gesetz erlassen wird, sind außergewöhnlich und ohne Parallele in der menschlichen Geschichte. Yad Vashem vermittelt die Bedeutung eines Ortes – eines Ortes und eines Namens, eines Namens und eines Ortes... Dieser Name besagt auch, dass Israel, unser Land, und Jerusalem, unsere Stadt, der Ort für sie und für ihr Angedenken ist.“
