Sejarah gedung ini tak lepas dari sejarah perkeretaapian di indonesia alasannya adalah dibangun selaku Het Hoofdkantoor Van de Nederlandsch – Indische Spoorweg Maatscappij (NIS) ialah kantor pusat NIS, perusahaan kereta api swasta di abad pemerintahan Hindia belanda yang pertama kali membangun jalur kereta api di Indonesia menghubungkan Semarang dengan “Vorstenlanden” (Surakarta dan Yogyakarta) dengan jalur pertamanya Jalur Semarang Temanggung 1867.
Awalnya administrasi NIS diselenggarakan di Stasiun Semarang NIS. Pertumbuhan jaringan yang pesat disertai bertambahnya keperluan ruang kerja sehingga diputuskan membangun kantor manajemen di lokasi gres. Pilihan jatuh pada lahan di pinggir kota bersahabat kediaman Residen Hindia Belanda, di ujung selatan Bodjongweg Semarang. Direksi NOS menyerahkan perencanaan gedung ini terhadap Prof Jacob F Klinkhamer dan B.J Ouendag, arsitek dari Amsterdam Belanda.
Pelaksanaan pambangunan dimulai 27 Februari 1904 dan tamat 1907. Kondisi tanah di jalan harus mengalami perbaikan terlebih dulu dengan penggalian sedalam 4 meter dan diganti dengan lapisan vulkanis. Bangunan pertama yang dilakukan ialah rumah penjaga dan bangunan percetakan, dilanjutkan dengan bangunan utama. Setelah dipergunakan beberapa tahun, ekspansi kantor dijalankan dengan membuat bangunan aksesori pada tahun 1916 – 1918.
Pada tahun 1873 rel kereta api pertama di Hindia Belanda tamat dibangun. Jalan itu dibangun oleh Nederlandsch Indische Spoorweg maatschappij (NIS), suatu perusahaan swasta yang menerima konsesi dari pemerintah kolonial untuk menghubungkan tempat pertanian yang subur di Jawa Tengah dengan kota pelabuhan Semarang (Durrant, 1972). Stasiun di Semarang yang berada di tambaksari tidak jauh dari pelabuhan.
Pada peralihan era ke-20 NIS membangun stasiun stasiun gres yang besar. Pada tahun 1914 stasiun Tambaksari digantikan oleh Stasiun Tawang. Sebelumnya pada tahun 1908 selesai dibangun pula kantor pusat NIS yang gres, bangunan itu berada di pojok jalan Bodjong, di Wilhelmina Plein berseberangan dengan kediaman gubernur.
Kantor pusat NIS yang baru itu yaitu bangunan besar 2 lantai berbentuk “L” yang dirancang oleh J.F Klinkhamer dan Ouendag dalam gaya Renaissance Revival (Sudrajat,1991). Menurut Sudrajat pembangunan kantor pusat NIS di Semarang yaitu tipikal 2 dasawarsa permulaan masa 20 saat diperkenalkan politik etis, saat itu “… Muncul keperluan yang cukup besar untuk mendirikan bangunan bangunan publik dan perumahan, akhir perluasan tempat jajahan, desentralisasi manajemen kolonial dan kemajuan usaha swasta”.
Penduduk Semarang memberinya nama “Lawang Sewu” (pintu seribu), mengacu pada pintu pintunya yang sungguh banyak, yan gmerupakan usaha para arsiteknya untuk membangun gedung kantor terbaru yang tepat dengan iklim tropis Semarang. Semua bahan bangunan didatangkan dari Eropa kecuali kerikil bata, kerikil alam dan kayu jati.
Pada saat yang bersamaan Angkatan Muda Kereta Api (AMKA) berupaya mengambil alih kereta api, pertempuran pecah antara perjaka dan tentara Jepang, belasan cowok terbunuh di gedung ini, 5 diantara mereka dimakamkan di halaman (tetapi pada tahun 1975 mayit mereka dipindah ke Taman Makam Pahlawan). Di depan Lawang Sewu bangkit monumen untuk memperingati mereka yang gugur di Pertempuran Lima Hari.
Sesaat setelah kemerdekaan Lawang Sewu dipakai Kantor Perusahaan Kereta Api, kemudian militer menggantikan gedung ini, tetapi sekarang sudah kembali ke tangan PT KAI.