दसरा विश्वयुद्ध शुरू होने तक पोर्ट ब्लेयर सिर्फ सेल्युलर जेल के कैदियों का यातना स्थल नहीं था। विभिन्न इलाकों के सामान्य नागरिकों का बसेरा भी बन चुका था। गावों और कस्बों का विकास हो चुका था। इसी बीच 1941 में वहां एक भयानक प्राकृतिक आपदा आई जिसके कारण जान-माल का भारी नुकसान हुआ। सेल्यूलर जेल के भी चार विंग धराशायी हो गए। इसी बीच मार्च 1942 में जापानी सेना ने ब्रिटिश सेना को पराजित कर अंडमान के द्वीपों पर कब्जा कर लिया। अंग्रेजों का नौसैनिक केंद्र उनके इस्तेमाल में आने लगा। इन द्वीपों पर तीन वर्षों तक उनका कब्जा बना रहा। हीरोसीमा और नागाशाकी पर अणु बम गिराए जाने के बाद विक्षुब्ध गुट के देश अर्थात इटली, जर्मनी और जापान पराजित हुए। इसके बाद अंडमान निकोबार द्वीप समूह से जापानी सेना का कब्जा हटा। फिर से अंग्रेजों का कब्जा कायम हुआ। लेकिन अपने आधिपत्य के तीन वर्षों में जापानियों ने अमानवीयता और क्रूरता का एक इतिहास रच दिया। उनके जुल्म के शिकार सेल्यूलर जेल के कैदी ही नहीं बल्कि आम नागरिक भी हुए। खासतौर पर पढ़े लिखे लोग। जापानियों की नजर में जितने भी शिक्षित युवक थे वे अंग्रेजों के जासूस थे। इसलिए उनके साथ क्रूरता से पेश आना था।30 जनवरी 1944 को जापानियों ने 44 बंदियों को सेल्यूलर जेल से निकाला और ट्रकों में भरकर हम्फ्रीगंज ले गए। वहां एक खाई पहले से ही खोदकर तैयार की जा चुकी थी। जापानियों ने सभी 44 बंदियों को गोलियों से भून दिया
गया और उनकी लाशों को ठोकर मारकर खाई में फेंक दिया। फिर ऊपर से मिट्टी डाल कर खाई को पाट दिया गया। दूसरे विश्वयुद्ध के दौरान खाद्यान्न संकट गहराया तो जापानियों ने अनाज की खपत कम करने के लिए बूढ़े और शारीरिक श्रम के लिए अनुपयुक्त बंदियों को मौत के घाट उतारना शुरू किया।13 अगस्त 1945 को 300 भारतीयों को वे तीन नावों पर लादकर एक निर्जन द्वीप पर ले गए। जब नावें समुद्री किनारे से कई सौ मीटर दूर थीं तो उन्हें समुद्र में कूदने पर मजबूर किया। उनमें से लगभग एक तिहाई तो डूबकर मर गए। जो किनारे तक पहुंचने में सफल रहे वे भूख से मर गए। इसके छह सप्ताह बाद जब जापनियों की पराजय के बाद ब्रिटिश सरकार का राहत दस्ता पहुंचा तो उनमें से सिर्फ 11 बंदी जिंदा बचे थे। 300 कैदियों को समुद्र में डालने के एक दिन बाद जापानी सैनिक फिर 800 भारतीय कैदियों को एक अन्य निर्जन टापू पर ले गए और सामूहिक रूप से गोली मार दी। फिर अंतिम संस्कार कर दिया। अक्टूबर 1945 में जापानियों ने ब्रिटिश नेतृत्व वाली मित्रा राष्ट्र की संयुक्त सेना के सामने हथियार डाल दिए और अंडमान निकोबार के द्वीप दुबारा अंग्रेजों के कब्जे में आ गए। इस बार पीड़ितों में जापानी भी शामिल थे। दूसरे विश्वयुद्ध के समाप्त होने और जापान के हथियार डालने के एक महीने के बाद अंग्रेजों ने 7 अक्टूबर 1945 को सेल्यूलर जेल को बंद कर दिया और इसके बंदियों को भारत के विभिन्न भागों की जेलों में भेज दिया। आधिकारिक आंकड़ों के मुताबिक 1860 से 1845 के बीच लगभग 80 हजार भारतीयों को काला पानी की सजा देकर सेल्यूलर जेल भेजा गया था। उनमें बंगाल, पंजाब और
महराष्ट्र के हिन्दू, सिख और मुसलमान विरादरी के स्वतंत्राता सेनानी थे।