Als Litauen im Sommer 1940 von der Sowjetunion annektiert wurde, forderte man sämtliche ausländischen Diplomaten auf, Kowno bis Ende August zu verlassen. Während Sugihara bereits mit dem Packen seiner Sachen beschäftigt war, teilte man ihm mit, eine jüdische Delegation warte vor dem Konsulat und bitte darum, zu ihm vorgelassen zu werden. Die Delegation wurde von Zerach Wahrhaftig angeführt, einem jüdischen Flüchtling, der Jahre später Minister in der Regierung des Staates Israel wurde. Sugihara willigte ein, sich zu einem kurzen Gespräch mit der Delegation zu treffen. Diese war gekommen, um ihm eine verzweifelte Bitte vorzutragen.
Die jüdischen Flüchtlinge in Litauen waren in einer schweren Notlage und konnten nur zusehen, wie sich die Tore zur Welt vor ihnen verschlossen. Es war praktisch unmöglich geworden, für irgendeinen Ort auf der Welt Einreisevisa zu bekommen. Auf ihrer verzweifelten Suche nach Ländern, die ihnen die Einreise genehmigen würden, hatten sie herausgefunden, dass Curaçao, eine niederländische Kolonie, kein Einreisevisum verlangte. Dies hätte ihnen ermöglicht, Litauen zu verlassen, aber da der Krieg alle Reisemöglichkeiten in den Westen blockiert hatte, war die Delegation zu dem japanischen Konsul gekommen, um ihn zu bitten, Durchreisevisa auszustellen. Mit Hilfe dieser Durchreisevisa würden sie Erlaubnis erhalten, die Sowjetunion zu durchqueren.
Der japanische Konsul bat um Zeit, um von seinen Vorgesetzten Genehmigung einzuholen, die Visa zu bewilligen. Nichts deutete darauf hin, dass das japanische Außenministerium dieser ungewöhnlichen Bitte nachkommen würde. Sugihara war jedoch durch das Los der Flüchtlinge so aufgewühlt, dass er begann, auf eigene initiative und ohne den Rückhalt seines Ministeriums erwirkt zu haben, Visa auszustellen. Neun Tage später kam die Antwort aus Tokyo. Der Antrag war abgelehnt worden und die Befugnis, Durchreisevisa auszustellen, wurde verweigert. Sugihara entschloss sich, dennoch weiterhin Visa zu verteilen. Später beschrieb seine Frau, welch starken Eindruck das Schicksal der verzweifelten jüdischen Flüchtlinge auf ihn gemacht hatte. Nach dem Treffen mit der jüdischen Delegation war er betroffen und nachdenklich, bis er sich dazu entschloss, weiterzumachen und seine Anordnungen zu missachten. Innerhalb kurzer Zeit, bevor das Konsulat geschlossen wurde und Sugihara Kaunas verlassen musste, stellte er etwa 3.500 Durchreisevisa aus. Dank Sugihara konnten die Visainhaber Europa verlassen und dem Morden entkommen, das ein Jahr später begann. Unter den Empfängern der Visa waren viele Rabbiner und Talmudstudenten. Ihr knappes Entkommen ermöglichte ihnen, andernorts traditionelle jüdische Schulen einzurichten.
Da der Tag der Abreise kurz bevorstand und sein Mitarbeiterstab klein war, stempelte Sugihara manche Pässe selbst. Man sagt, er habe bei seiner Abreise aus Litauen noch am Bahnhof Pässe abgestempelt. Auch rekrutierte er einige der Juden, damit sie ihm beim Stempeln der Pässe halfen. Ohne Kenntnisse der japanischen Sprache geschah es, dass manche Pässe verkehrt herum gestempelt wurden. Zur selbenZeit bekam Sugihara Depeschen aus Japan, die ihn warnten, keine Visa ohne ordnungsgemäßes Verfahrenauszustellen.
Von Kaunas wurde Sugihara nach Königsberg (dem heutigen Kaliningrad) geschickt, um dort ein Konsulat zu öffnen, und danach nach Bukarest. In seine Heimat zurückgekehrt,wurde Sugihara aus dem japanischen auswärtigen Dienst entlassen. Er verstand dies als Folge seiner Befehlsverweigerung als Konsul in Kaunas. Von nun an musste er seinen Unterhalt mit Gelegenheitsarbeit verdienen.
Die von Sugihara ausgestellten Visa retteten die Juden vor den Nazis, die im Juni 1941 in Litauen einmarschierten.
1984 wurde Chiune-Sempo Sugihara von Yad Vashem als „Gerechter unter den Völkern“ anerkannt.
Er starb zwei Jahre später in Japan. Heute wird er dort als Held angesehen.
