Hermann Friedrich Graebe urodził się w 1900 r., w Gräfrath, małym mieście w niemieckiej Nadrenii. Pochodził z ubogiej rodziny – ojciec był tkaczem, a matka pracowała jako pomoc domowa. Poza trudnościami ekonomicznymi, Graebowie byli protestantami na terenie zdominowanym przez katolików. W 1924 r. Hermann Friedrich Graebe ożenił się i wkrótce zakończył swoją edukację jako inżynier.
Graebe wstąpił do partii nazistowskiej w 1931 r., ale szybko rozczarował się tym ruchem. Na zebraniu partyjnym w 1934 r., a więc rok po dojściu Hitlera do władzy, otwarcie skrytykował nazistowską kampanię przeciw żydowskim przedsiębiorstwom. Nie musiał długo czekać na nauczkę. Aresztowany przez Gestapo trafił do więzienia w Essen, gdzie spędził kilka miesięcy. Na szczęście dla niego został zwolniony bez procesu.
Graebe pracował dla firmy budowlanej Josef Jung w Solingen. W latach 1938-1941 firma wysłała go do nadzorowania budowy umocnień na granicy zachodniej Niemiec, a w lecie 1941 r. tuż po inwazji na Związek Radziecki, Graebe został skierowany przez kwaterę główną Organizacji Todt do biura Zarządu Kolei Rzeszy we Lwowie. Jego zadanie miało polegać na zatrudnianiu ekip do budowy i utrzymania infrastruktury kolejowej na Ukrainie. Po przybyciu na Wołyń we wrześniu 1941 r. Graebe założył biuro w Zdołbunowie i przystąpił do zakładania swoich filii na terenie Wołynia byłej ukraińskiej republiki radzieckiej. Firma Graebego zatrudniała w tym czasie ok. 5000 żydowskich mężczyzn i kobiet jako siłę roboczą.
Graebe stał się świadkiem mordów popełnianych przez Niemców i ich ukraińskich pomocników na ludności żydowskiej. Podczas jednego z takich zajść, 5 października 1942 r. był obecny na miejscu masowej zbrodni – lotnisku pod Dubnem - i widział jak nad uprzednio wykopanym dołem zgromadzono 5000 nagich żydowskich mężczyzn, kobiet i dzieci, które następnie zostały rozstrzelane z zimną krwią przez SS i Ukraińców. Po wojnie jego przejmujące zeznania o straszliwych scenach, jakich był świadkiem w Dubnie i innych miejscach na Ukrainie, zostały włączone w dokumentację dowodową podczas procesów norymberskich, gdzie zeznawał po stronie oskarżenia.
Graebe nie chciał zostać niezaangażowanym obserwatorem tych niesłychanych zbrodni. Silnie wstrząśnięty postanowił ocalić tak wielu Żydów ile się dało. Wykorzystując argumentację o wykonywaniu pracy kluczowej dla niemieckich działań wojennych, celowo przyjmował więcej zleceń niż mógł obsłużyć. W rezultacie rosło zapotrzebowanie jego firmy na żydowską siłę roboczą. Graebe nie ustawał w wysiłkach aby chronić swoich żydowskich pracowników i ich rodziny. Nie wahał się zaryzykować swojej pozycji zawodowej, a z czasem nawet życia.
W lipcu 1942 roku Graebe dowiedział się od Wehrmachtu o planowanej akcji likwidacji Żydów w Równie. W mieście tym pracowało „jego” 112 Żydów z Ostrogu, Mizochu i Zdołbunowa. Graebe zdobył dla nich „list żelazny” od zastępcy komisarza dystryktu i osobiście udał się do Równa z pistoletem w dłoni, w ostatniej chwili zdołając zapewnić zwolnienie 150 Żydów. W tamtym momencie policja ukraińska właśnie gromadziła więźniów w miejscu, z którego mieli zostać zabrani na śmierć. Tymczasem Graebe przeszedł pieszo z uratowanymi przez siebie ludźmi do Zdołbunowa, z dala od niebezpieczeństwa.
Niemcy kontynuowali likwidację Żydów na Wołyniu. Kilka miesięcy później Żydzi w Zdołbunowie zostali zamknięci w getcie. Graebe dostarczył 25 pracownikom sfałszowane papiery „aryjskie”. Następnie stopniowo przeniósł ich do oddalonej filii firmy w Połtawie, setki kilometrów na wschód, gdzie było bezpieczniej.
Filia w Połtawie była czystą fikcją: Graebe założył ją na własny koszt tylko po to, aby dać schronienie swoim żydowskim robotnikom. Z nadejściem Armii Czerwonej grupa zdołała uciec na stronę rosyjską.
Wśród ocalonych w ten sposób był Tadeusz Glass z żoną i synem, Albina Wolf z córką Lucią, Barbara Faust, Kitty Grodetski i inny. Podróż do Połtawy była wielkim niebezpieczeństwem dla wszystkich. Gdyby samochód Graebego zatrzymano na chociaż jednej z wielu niemieckich blokad drogowych, zarówno ratujący jak i ratowani zostaliby zgładzeni.
Z czasem nieopłacalne i niezwykłe postępowanie Graebego zaczęło wzbudzać podejrzenia u szefostwa firmy w Solingen. Planowano jego odwołanie i postawienie przed sądem za niegospodarność, ale w końcu do tego nie doszło. Po utracie niemieckich pozycji w Polsce wschodniej, Graebe przeprowadził się ze swoimi żydowskimi pracownikami biurowymi do Warszawy, a następnie Nadrenii. We wrześniu 1944 r. uciekł z ok. 20 podwładnymi do Amerykanów, którym następnie dostarczał cennych informacji o niemieckich umocnieniach granicznych na zachodzie III Rzeszy.
Od lutego 1945 do jesieni 1946 roku Graebe współpracował ściśle z Wydziałem Zbrodni Wojennych Armii USA przy przygotowaniach do procesów norymberskich. Był jedynym Niemcem zeznającym po stronie oskarżenia w tych procesach. Grożono mu śmiercią i w 1948 roku zdecydował się wyjechać do USA. Wkrótce po zamieszkaniu w San Francisco powrócił do swoich wysiłków na rzecz wymierzenia sprawiedliwości niemieckim zbrodniarzom wojennym mieszkającym w RFN. Ciągłe zajmowanie się nazistowską przeszłością było sprzeczne z dominującymi trendami w powojennych Niemczech i sprawiło, że stał się w pewnym sensie osobą niepożądaną we własnym kraju.
Instytut Yad Vashem postanowił uznać Hermanna Friedricha Graebe za Sprawiedliwego Wśród Narodów Świata 23 marca 1965 roku.
