Когда летом 1940 года Литва была аннексирована Советским Союзом, все иностранные дипломаты должны были покинуть Каунас до конца августа. Сугихара уже собирал чемоданы, когда ему сообщили о еврейской делегации, которая находилась на входе в консульство и просила аудиенции у него. Делегацию возглавлял Зерах Вархафтиг – еврейский беженец, который через много лет станет министром в правительстве государства Израиль. Сугихара согласился встретиться с делегацией для короткого разговора. Еврейская делегация просила у него невыполнимого.
Еврейские беженцы в Литве находились в тяжелом положении, когда границы всех стран мира закрылись перед ними. Стало практически невозможно получить эмиграционные визы хоть куда-нибудь. В отчаянной попытке найти страну, которая разрешит им въезд, они выяснили, что голландская колония Курасао не требует въездных виз. Это позволяло выехать из Литвы, но поскольку в связи с войной путешествия на запад стали невозможны, делегация обратилась к японскому консулу с просьбой выдать им транзитные визы. С такими визами можно было получить разрешение пересечь СССР.
Японский консул попросил дать ему время запросить свое руководство. Ничто не говорило о том, что МИД Японии согласится выполнить эту необычную просьбу. И тем не менее Сугихара, чрезвычайно обеспокоенный положением беженцев, начал выдачу виз по собственной инициативе, не дожидаясь ответа из министерства. Ответ из Токио пришел спустя девять дней. Прошение было отвергнуто, в разрешении на выдачу виз отказано. Но Сугихара все-таки продолжать выдавать визы. Впоследствии его жена описывала, как положение отчаявшихся еврейских беженцев подействовало на ее мужа. После встречи с делегацией он был взволнован и задумчив, пока не принял решение не повиноваться предписаниям. За короткое время, остававшееся до закрытия консульства и своего отъезда, Сугихара выдал около 3 500 транзитных виз. Благодаря японскому консулу, еврейские беженцы смогли выехать из Европы и избежать уничтожения, начавшегося год спустя. Среди получивших визы было немало раввинов и студентов ешив (талмудических школ). Бегство, ставшее возможным в последнюю минуту, позволило им на новых местах основать еврейские традиционные школы и продолжать образование.
Непосредственно перед отъездом и уже простившись с небольшим штатом своих сотрудников, Сугихара сам ставил печати в паспорта беженцев. Рассказывают, что то же самое он продолжал делать на железнодорожной станции, уже уезжая из Литвы. Чтобы ускорить процесс, он попросил помощи у нескольких евреев. И они, не зная японского, иногда ставили печать вверх ногами. Все это время Сугихара продолжал получать депеши из Токио, предупреждающие его о невозможности выдачи виз без процессуальных гарантий.
Из Каунаса Сугихару отправили открывать консульство в Кёнигсберге (сегодняшнем Калининграде), а затем перевели в Бухарест. В 1946 году после возвращения в свою страну, Сугихара был уволен из состава дипломатической службы Японии. По его мнению, это стало следствием его неподчинения приказам во время работы консулом в Каунасе. С этого времени он зарабатывал на жизнь случайными заработками.
Выданные Сугихарой визы спасли евреев от нацистов, захвативших Литву в июне 1941 года.
4 октября 1984 года Яд Вашем удостоил Чиуне Семпо Сугихару званием Праведник народов мира.
Два года спустя Чиуне Семпо Сугихара скончался в Японии. В настоящее время в Японии его считают героем.
