लंबे समय तक पोर्ट ब्लेयर का उपयोग खुले जेल की तरह किया जाता रहा जहां जेल अधिकारियों के लिए टेंट थे और कैदियों के लिए झोपड़ियां। लेकिन उन्नीसवीं सदी के अंत में जब भारत के स्वतंत्राता आंदोलन ने जोर पकड़ा और काला पानी की सजा पाने वाले
कैदियों की संख्या बढ़ती गई तो एक कड़ी सुरक्षा वाली जेल की जरूरत महसूस की गई।अगस्त 1889 में भारत के तत्कालीन होम सेक्रेटरी चार्ल्स जेम्स लायल को सेल्यूलर जेल निर्माण की योजना बनाने की जिम्मेवारी दी गई। ब्रितानी सर्जन ए.एस. लेथब्रिज ने योजना तैयार करने में उनका साथ दिया। उन्हीं की डिजाइन मुताबिक सेल्यूलर जेल का निर्माण कराया गया। 1896 में काला पानी के सजायाफ्ता कैदियों के हाथों निर्माण कार्य शुरू कराया गया।करीब पांच लाख की लागत से 1906 में जेल का निर्माण कार्य पूरा हुआ। जेल के बीच में एक टावर बनाया गया जहां से कैदियों पर सख्त निगरानी रखी जाती थी। डिजाइन ऐसी थी कि सिपाही उनपर नजर रख सकते थे लेकिन पहरे पर तैनात सिपाहियों पर कैदियों की नजर नहीं जा सकती थी। जेल परिसर में एक फांसी घर भी बनाया गया। उसकी डिजाइन ऐसी रखी गई कि सेलों में बंद कैदियों को साफ दिखाई दे। नारियल कूटते-कूटते निकल जाता जिसमें
वे बुरी तरह थक जाते। गला सूख कर कांटा हो जाता। श्रम के दौरान जरा सी सुस्ती दिख जाती तो भयानक दंड दिए जाते। कैदियों को शौच के लिए गार्ड की इजाजत लेनी पड़ती। इसके लिए घंटों इंतजार करना पड़ता। गुलामों की तरह काम करते-करते कुछ कैदी पागल हो जाते। कुछ आत्महत्या कर लेते। इंदू भूषण राय नामक एक बंदी ने तेल के कारखाने की अथक मेहनत से तंग आकर अपने फटे हुए कुर्ते को गले में लपेट कर स्वयं फांसी लगा ली थी। पोर्ट ब्लेयर की सेल्यूलर जेल जहां कैदियों के लिए रौरव नरक के समान था वहीं जेल अधिकारियों के लिए स्वर्ग के समान था। उनके शासकीय मुख्यालय की दूसरी इमारतों में टेनिस कोर्ट, स्विमिंग पूल और अफसरों के लिए क्लब हाउस था।उलाहस्कर दत्त नामक एक कैदी पर इतना अत्याचार किया गया कि वह पागल हो गये। उन्हें द्वीप के एक इलाके में पागलखाने में 14 साल तक रखा गया। उनके पिता ने वायसराय ऑफ इंडिया को बार-बार पत्रा लिखकर पूछा कि उनके बेटे के साथ क्या हुआ मगर कोई जवाब नहीं मिला। आठ पत्रों के बाद उन्हें अंडमान द्वीप के चीफ कमिश्नर का पत्रा मिला जिसमें लिखा था कि मरीज का पागलपन मलेरिया के इनफेक्शन की वजह से है। उसकी अभी हालत ठीक है। सेल्यूलर जेल में मानसिक और शारीरिक यातना की ऐसी कितनी कहानियां दफ्न हो चुकी हैं इसका अनुमान नहीं लगाया जा सकता।