הרעיון להקים אתר הנצחה בארץ ישראל ליהודים אשר נפלו קורבן בשואה, גובש במהלך מלחמת העולם השנייה,כאשר דיווחים ראשונים על הרצח ההמוני בשטחי הכיבוש הגרמני החלו להגיע ארצה. ההצעה הועלתה לראשונה בישיבת מועצת המנהלים של הקרן הקיימת לישראל, בספטמבר 1942, על ידי מרדכי שנהבי, חבר קיבוץ משמר העמק. שנהבי הציע "להנציח את שואת הגולה ואת לחימתם של היהודים בצבאות בני הברית". הוא גם הציע את השם "יד ושם"( "יד" בתור מצבת זיכרון). הביטוי לקוח מתוך ישעיהו, פרק נו', ה':
" ונתתי להם בביתי ובחומתי יד ושׁם טוב מבנים ומבנות שׁם עולם אתן-לו אשׁר לא יכרת."
לאחר שהסתיימה המלחמה והתגלו ממדי הקטסטרופה, הצעתו של שנהבי החלה לקבל תאוצה. בשני למאי, 1945, הוא העלה את הרעיון בפני הסוכנות היהודית בירושלים, תחת הכותרת "מוסד יד ושם לזכר הקהילות היהודיות שאבדו באירופה – תוכנית אב להנצחת הגולה." ההצעה פורסמה ברבים כעבור שלושה שבועות. המהלך הוביל לפגישה בנושא בין הועד הלאומי והסוכנות היהודית ברביעי ליוני. בפגישה נדונו הצעותיהם של שנהבי ואחרים. הישיבה המליצה לאמץ את הצעתו של שנהבי שכללה: הקמת המוסד בירושלים כסמל לנצחיות זכרם של הקורבנות, רישום שמותיהם של הקורבנות, הקמת מצבת זיכרון לקהילות היהודיות שנכרתו, הקמת פסל לזכרם של לוחמי הגטאות וכן גלעד נישא לכבודם של כל היהודים אשר לחמו בנאצים, תערוכה קבועה בנושא מחנות הריכוז וההשמדה, ומחווה ל"חסידי אומות העולם". ההצעה כללה גם שתילת יערות מסביב לאתר ובניית מוסד חינוכי לצאצאי הניצולים.
התוכנית נדונה בכנס ציוני שנערך בלונדון ב 15 לאוגוסט, 1945, והוחלט להקים מועצת מנהלים זמנית שבה יכהנו המנהיגים הציוניים דוד רמז (יושב ראש), שלמה זלמן שרגאי, ברוך צוקרמן ומרדכי שנהבי. במשך כשנה התדיינו המוסדות הלאומיים, האוניברסיטה העברית והנציב העליון בארץ ישראל לגבי הצדדים הכספיים והאופרטיביים של התוכנית.
בפברואר 1946, פתח יד ושם משרד בירושלים ושלוחה נוספת בתל אביב. בראשון ליוני 1947, התקיימה הישיבה המלאה הראשונה ולמחרת פורסמה בציבור תוכנית "יד ושם למען הגולה". ב 13 ו 14 ביולי 1947, נערך הכנס הראשון לחקר השואה באוניברסיטה העברית בירושלים. בכנס הוחלט שארכיון התיעוד של השואה ימוקם בירושלים וכן על הקמתם של מועצה בת 31 חברים וועדת מלומדים. פרוץ הקרבות של מלחמת העצמאות, במאי 1948, עכבה כמעט לחלוטין את המשך פעילותו של יד ושם.
בשנת 1950, לאחר חתימת הסכמי שביתת הנשק, חידש שנהבי את פעולותיו בשם ארגון יד ושם, הפעם בפני מוסדותיה של מדינת ישראל.הוא בקש שהמדינה תקנה חשיבות עליונה לעניין תיעוד קורבנות השואה, שהחל כבר קודם, ושיחוקק חוק שיקנה אזרחות כבוד לקורבנות. הממשלה מינתה לשם כך ועדה מיוחדת והנושא נידון גם בקונגרס הציוני העשרים ושלוש, שהתכנס בירושלים בקיץ 1951. בנושא אזרחות הכבוד, לא הצליחו המשתתפים להגיע להסכמה רחבה ועל כן הממשלה החליטה להמשיך בהכנותיה להקמת רשות זיכרון לשואה ולגבורה שתדון גם בנושא אזרחות הכבוד. ב 1952, הציג שר החינוך, בן ציון דינור, בכנסת את הצעת החוק להקמת רשות הזיכרון. ב 18 למאי, 1953, הכנסת אישרה פה אחד את הקמת יד ושם וכל חברי המליאה עמדו דקת דומיה לזכר קורבנות השואה. החוק עבר בקריאה אחרונה ב 19 לאוגוסט ופורסם ב 28 לאוגוסט, 1953.
חוק "יד ושם" קובע שהרשות נוסדה על מנת להנציח את ששת מיליון היהודים שנרצחו על ידי הנאצים ועוזריהם, את הקהילות והמוסדות היהודים שאבדו ואת אומץ לבם ותעוזתם של החיילים, לוחמי המחתרת ואסירי הגטאות. להנציח את אלו שנלחמו ונאבקו על כבודם האנושי ואת "חסידי אומות העולם" אשר סיכנו את חייהם ואת חיי משפחתם למען הצלתם של יהודים. החוק מייעד ליד ושם את התפקיד להקים אתרי הנצחה, לאסוף, לחקור ולפרסם עדויות על השואה והגבורה ולהנחיל את הלקחים הנובעים ממנה. כמו כן החוק מסמיך את יד ושם להעניק אזרחות כבוד לקרבנות ולייצג את ישראל בפרוייקטים בינלאומיים העוסקים בהנצחת השואה ומלחמת העולם השנייה.
הרשות הוקמה בתור רשות ציבורית-ממלכתית המנוהלת על ידי מועצה ודירקטוריון. על פי החוק, התחייבה הממשלה להשתתף בעלויות הקמת המוסד ותחזוקו, אולם ליד ושם הותר גם לאסוף תרומות, תקציבים וסיוע ממקורות נוספים. החוק גם משאיר בידיו של שר החינוך את הסמכות לתקן תקנות שיסדירו את אופן פעולתו של המוסד
