Indonesia telah dapat mewujudkan cita-cita yang sejak tahun 1928 diikrarkan, yaitu : satu bangsa, satu nusa, dan satu bahasa. Kemerdekaan yang diproklamasikan tanggal 17 Agustus 1945 telah menjadi kenyataan. Saat itu tugas utama yang harus segera dirampungkan adalah bagaimana agar kemerdekaan itu selekas mungkin diakui oleh dunia internasional.
Sasaran tersebut ternyata tidak mudah dicapai. Meskipun Indonesia telah memiliki atribut sebagai negara (wilayah, penduduk, dan pemerintah), dan berdasarkan atribut tersebut sudah berhak diakui, namun tuntutan Belanda bahwa Indonesia adalah bekas jajahannya merupakan suatu kendala yang sulit diatasi. Sekutu, dalam hal ini Inggris, yang bertugas mengurus Asia Tenggara seusai Perang Pasifik dan segera mendarat, telah mengikat janji dengan Belanda (Civil Affairs Agreement) dan telah mengakui kekuasaan de jure Belanda terhadap jajahannya.
Dengan sendirinya Belanda tidak bersedia mengakui Republik Indonesia sebagai negara merdeka dan berdaulat, bahkan melecehkan Republik Indonesia dan menganggapnya sebagai penghalang utama dalam upaya mengembalikan status quo sebelum perang. Menurut Soedjatmoko, di Dewan Keamanan Perserikatan Bangsa-Bangsa wakil Belanda mengatakan :
"Republik itu apa? Republik cuma corong mikrofon, dengan seorang teroris di depannya."
Oleh karena itu Republik Indonesia harus bergulat menyelesaikan masalahnya dengan Belanda terlebih dahulu sebelum dapat meraih pengakuan Internasional.
Para pemimpin Indonesia harus mempersiapkan diri untuk menghadapi dunia internasional dan sebagai langkah pertama perlu segera membentuk pemerintah yang lengkap, tidak saja untuk menghadapi Sekutu yang akan mendarat dengan tugas utama melucuti dan mengembalikan pasukan Jepang dan membebaskan tawanan-tawanan perang di wilayah Indonesia, tapi juga untuk menghadapi Belanda yang datang secara menyusuo dengan pasukan Sekutu.
Dapat dimengerti mengapa sesudah proklamasi kemerdekaan, Presiden Soekarno segera meminta salah satu komite KNIP (Komite Nasional Indonesia Pusat) yang diketuai oleh Ahmad Subardjo untuk menyusun suatu daftar yang memuat nama kementrian-kementrian yang akan dibentuk menjadi pemerintah Republik Indonesia yang lengkap. Rapat pleno Komite Nasional Indonesia Pusat kemudian memutuskan untuk membentuk duabelas (12) kementrian dan salah satu diantaranya adalah Kementrian Luar Negeri.
Kalau kementrian-kementrian lain di dalam kabinet pertama Republik Indonesia sedikit banyak dapat mengambil alih organisasi atan badan pemerintah kolonial Belanda atau Jepang, maka Menteri Luar Negeri pertama Ahmad Subardjo menghadapi kendala besar dalam upaya membentuk Kementerian Luar Negeri, karena di Indonesia semasa penjajahan tidak ada kementerian atau badan yang menangani urusan luar negeri, semuanya diurus langsung dari Den Haag.
Oleh karena itu Ahmad Subardjo harus mulai meletakkan landasan kegiatan Kementerian Luar Negeri mulai dari awal. Karena kala itu belum terdapat aparatur pemerintah yang dapat mendukung tugasnya sebagai Menteri Luar Negeri, dia harus membentuk suatu Kementerian Luar Negeri tanpa modal sama sekali, baik dalam bentuk tenaga-tenaga terampil dan berpengalaman, maupun peralatan dan tempat bekerja.
Sebagai sarana dari pemerintah yang sedang melakukan perjuangan fisik, organisasi Kementerian Luar Negeri yang baru itu hanya dapat disusun sambil berjalan, setapak demi setapak secara berangsur-angsur. Berhubung belum mempunyai kantor sendiri maka Ahmad Subardjo sebagai Menteri Luar Negeri pertama memulai tugasnya dengan membuka kantor di rumahnya sendiri, Jl. Cikini Raya No.80-82. Ahmad Subardjo dibantu oleh suatu staf kecil yang terdiri dari Ny. Herawati Diah, Nn. Paramita Abdurachman, Mr. Sudjono, Suyoso, Hadiasmoro, Hadi Thayeb.
Sebagai akibat kelangkaan prasarana, sarana dan keterbatasan pegawai yang terampil banyak tugas-tugas yang sebenarnya adalah tugas Kementerian Luar Negeri, dilaksanakan oleh unsur di luar Kementerian Luar Negeri. Hal itu terjadi terutama di masa kabinet Sjahrir, di mana dia sendiri di samping menjabat Perdana Menteri menjadi Menteri Luar Negeri, sehingga praktis semua tugas Kementerian Luar Negeri dilakukan oleh Kantor Perdana Menteri.
Kantor Kementerian Luar Negeri untuk pertama kali secara resmi menenpati Jl. Cilacap No.4 bekas gedung Departemen Pendidikan dan Kebudayaan di zaman penjajahan Belanda dan semasa pendudukan Jepang. Gedung tersebut telah ditinggalkan Jepang dan telah diperiksa hanya ada tiga ruangan di lantai atas yang dapat dipergunakan. dengan pembagian satu ruangan terbaik untuk Menteri Luar Negeri dan dua ruangan lainnya untuk para staf.
"Karena saya tidak kebagian tempat, maka ruang kerja saya adalah di salah satu garasi mobil di lantai bawah, bersama dengan opas. Meja tulis saya adalah sebuah peti kosong yang cukup besar dan peti kosong ukuran kecil jadi tempat duduk. Mesin tik dan beberapa alat keperluan kantor juga didapat dengan cara luar biasa, yaitu 'diatom', artinya diambil saja dari kantor-kantor yang ditinggalkan Jepang. Demikian juga beberapa kendaraan yang didapat olej beberapa pemuda pemberani dari tempat penyimpanan kendaraan bermotor Jepang di bawah ancaman tembakan mitraliyur penjaga Jepang. Pokoknya Bapak Menteri dan staf Kementerian Luar Negeri telah memiliki mobil untuk melaksanakan tugas yang berangsur meningkat." ujar Hadi Thayeb.
Demikianlah pada mulanya cikal bakal aparat politik luar negeri dari satu negara yang baru merdeka. Coba bandingkan dengan gedung Departemen Luar Negeri sekarang yang begitu megah, dilengkapi serba macam alat-alat dan prasarana yang paling canggih dan meliputi semua bagian yang ada sangkut pautnya dengan kegiatan seluruh dunia, beserta staf yang serba professional. Coba pula bayangkan sejenak betapa sederhananya keadaan serba ketidakpastian dan serba kekurangan, bekerja sambil merangkak. Barangkali disitulah letaknya romantika perjuangan pendahulu kita. Dengan menghadapi serba macam resiko tanpa menghiraukan ancaman yang bertubi-tubi, mereka tidak kenal menyerah. Kendala-kendala itu tidak sedikit pun melemah tekad mereka untuk meneruskan perjuangan di tengah-tengah suasana pancaroba.
Kementerian Luar Negeri berkantor hanya kira-kira dua bulan di Jalan Cilacap No.4. Selain karena sering dilempari granat dan gangguan-gangguan lain oleh tentara NICA, gedung itu kemudian diminta kembali oleh Kementerian Pendidikan dan Kebudayaan. Akhir Oktober 1945, kantor Kementerian Luar Negeri pindah ke Jalan Pegangsaan Timur (sekarang Jalan Proklamasi) no. 36, bekas rumah pelukis Dezentje. Dari kantor inilah organisasi Kementerian Luar Negeri mulai dikembangkan meskipun dengan fungsi yang terbatas.
Hal itu dapat dimengerti, karena Republik Indonesia belum mempunyai perwakilan-perwakilan di luar negeri yang biasanya menambah kerja dan sangat merepotkan. Perwakilan negara asing yang berstatus Konsulat Jenderal atau Konsulat yang pada waktu itu berada di Jakarta tdak diakreditasi pada pemerintah Republik Indonesia, sehingga mereka ke Kementerian Luar Negeri hanya dari waktu ke waktu untuk sesuatu urusan. Pada awalnya Kementerian Luar Negeri hanya membentuk satu Sekretariat yang dipimpin oleh Mr. Sudono. Sesuai Surat Keputusan Menteri Luar Negeri, Mr. Sudjono, resmi menjabat Sekretaris Kementerian Luar Negeri.
Selain itu dibentuk Bagian Hubungan Masyarakat, Bagian Terjemahan dengan juru bahasanya, Bagian Penerangan merangkap Penghubung yang memelihara hubungan dengan Kementerian lainnya, Konsulat-Konsulat asing dan Markas Besar Tentara Sekutu di Jakarta. Kemudian tersusun pula bagian politik dan bagian yang mengurus kepegawaian, keuangan dan arsip. Sementara itu dirasakan pula perlunya membentuk kader sebagai tenaga-tenaga ahli dinas luar negeri. Untuk itu diadakanlah kursus-kursus yang memberikan pendidikan di bidang konsuler, hukum antar bangsa, sejarah politik, ekonomi internasional dan bahasa-bahasa asing.
Kegiatan Kementerian Luar Negeri Republik Indonesia di masa itu berkisar pada hubungan dengan pimpinan tentara dan pemerintah sipil Jepang yang masih berada di Jakarta dan persiapan-persiapan dalam rangka kedatangan tentara Inggris. Sehubungan dengan itu Bagian Penerangan Kementerian Luar Negeri belakangan sibuk mengatur pertemuan-pertemuan antara pimpinan pasukan Sekutu dan pemerintah Republik Indonesia. Kecuali itu bagian ini ditugaskan untuk mengumpulkan laporan-laporan dari berbagai kalangan masyarakat dan menyusunnya dalam laporan berkala tentang gangguan-gangguan tentara Inggris dan terutama sekali mengenai keganasan dan kekejaman tentara NICA dengan judul NICA atrocities yang sengaja diterbitkan dalam bahasa Inggris dan amat diperlukan olej Konsulat-Konsulat asing di Jakarta seperti Amerika Serikat, Cina Nasionalis dan para wartawan asing.
Bagian Terjemahan antara lain mengemban tugas penting menerjemahkan Piagam Perserikatan Bangsa-Bangsa ke dalam bahasa Indonesia. Bagian ini juga yang menerjemahkan laporan-laporan yang masuk tentang keganasan yang dilakukan oleh serdadu Belanda untuk disampaikan ke Markas Tentara Sekutu. Bagian Dokumentasi bertugas mengumpulkan bahan-bahan untuk referens dan sumber informasi dalam bentuk guntingan-guntingan koran dan sumber \-sumber lain. Bagian Tata Usaha/Keuangan melaksanakan tugas-tugas intern Kementerian Luar Negeri yang berkaitan dengan personalia, keuangan, peralatan dan seterusnya. Dengan demikian organisasi Kementerian Luar Negeri mulai berkembang dan beberapa bagian telah dapat melakukan pekerjaannya secara teratur.
Mengingat sasaran pokok politik luar negeri Republik Indonesia waktu itu adalah "berjuang dalam gelanggang internasional" untuk memperoleh pengakuan sebanyak-banyaknya dalam waktu sesingkat mungkin serta mengadakan perundingan-perundingan dengan Sekutu dan Belanda, maka adalah satu keharusan untuk segera menghimpun tenaga-tenaga terbaik guna membantu Menteri Luar Negeri melaksanakan tugasnya.
Hal tersebut mendapat perhatian khusus di masa Kabinet Sjahrir. Dalam kedudukannya sebagai Menteri Luar Negeri kedua, Soetan Sjahrir mulai mencari-cari tenaga untuk membangun unsur inti foreign service Indonesia. Dia berhasil mengumpulkan tenaga-tenaga muda terampil, bahkan mengutus mereka ke negara-negara tetangga, terutama negara-negara sahabat.
Dengan demikian mulailah dirintis usaha membuka perwakilan di luar negeri. Mula-mula dibuka kantor perwakilan di Singapura dibawah pimpinan Mr. Utouo Ramelan, disusul dengan perwakilan-perwakilan di New Delhi yang dipimpin oleh Dr. Soedarsono, Karachi (dipimpin oleh Idham), Rangoon (Maryunani), Canberra (Mr. Usman Sastromidjojo), Bangkok (Izak Mahdi), Kairo (H. Rasyid), Baghdad (Imron Rosyadi), London (Dr. Subandrio), Kabul (Mayjen Abdul Kadir) dan akhirnya New York yang dipimpin oleh L.N. Palar. Di New York bertugas pula Soedarpo, Soedjatmoko, Charles Thambu dan Dr. Sumitro Djojohadikusumo.
Pada hakikatnya tempat dimana terdapat perantau Indonesia pada akhir Perang Dunia II, apakah sebagai mahasiswa, pedagang, ataukah pelaut, disana mereka mengambil prakarsa untuk meletakkan batu dasar perwakilan Indonesia dalam rangka memperjuangkan kepentingan Indonesia atas usaha sendiri, bahkan sebelum pemerintah Indonesia sempat menghubungin mereka. Jasa-jasa mereka melicinkan jalan bagi pemerintah pusat sangat mengesankan, tidak dapat dilupakan. Hal itu terjadi di negara-negara Timur Tengah, India, Singapura, Australia dan juga di belahan dunia lain. Di sana para perantau memberntuk perkumpulan-perkumpulan seperti antara lain PPII (Perkumpulan Pelajar Indonesia di India), CENKIM (Central Komite Indonesia Merdeka) di Australia, di Timur Tengah dan sebagainya.
Suasana di Ibukota Republik waktu itu makin lama makin panas. Tentara NICA terus-menerus meneror di mana-mana, mencari dan membunuh 'ekstremis-ekstremis Republik'. Tindakan sewenang-wenang dan kekejaman dari tentara Belanda yang membuat tidak aman pejabat-pejabat Republik Indonesia. Yang kedapatan memakai lencana Merah Putih ditembak di tempat, atau ditahan dan disiksa. Oleh karena itu pada permulaan tahun 1946, instansi pemerintah banyak yang di pindah ke Yogyakarta. Demikian pula Presiden Wakil Presiden pindah ke ibukota perjuangan, kecuali seluruh pejabat Kementerian Luar Negeri dan Wakil Perdana Menteri Dr. A.K. Gani tetap berada di Jakarta.
Peranan dan kegiatan Kementerian Luar Negeri meningkat setelah Presiden dan Wakil Presiden pada bulan Maret 1946 pindah ke ibukota perjuangan, Yogyakarta. Para Konsul Jenderal dan Konsul yang sering meminta bantuan Kementerian Luar Negeri untuk mengantar mereka ke Yogyakarta atau ke kota lainnya di Indonesia. Sementara itu telah dibentuk bidang baru di Kementerian Luar Negeri, yaitu Bagian Diplomatik Konsuler yang dipimpin oleh Pandu Suradhiningrat.
Pada 21 Juli 1947, pihak Belanda melancarkan agresinya yang pertama. Akibatnya, kantor Kementerian Luar Negeri di Jakarta terpaksa ditutup dan sebagian sarana serta personalia turut pindah ke Yogyakarta bersama pemerintah Republik Indonesia. Kegiatan-kegiatan Kementerian Luar Negeri di ibukota disesuaikan dengan keadaan yang dihadapi dalam situasi pendudukan musuh. Setelah serbuan Belanda berhenti, para pegawai yang melaporkan diri ditugaskan di kantor Perdana Menteri di Jalan Pegangsaan Timur No.36, tempat Wakil Perdana Menteri Dr. A.K. Gani berkantor.
Di Yogyakarta, Kementerian Luar Negeri semula berada di Jalan Terban Taman No.8 dan kemudian dengan kedatangan Komisi Tiga Negara, pindah ke Jalan Mahameru No.11. Stafnya terdiri dari pegawai-pegawai baru dan beberapa orang pegawai dari Jakarta di bawah pimpinan R.M. Junaidi sebagai sekretaris. Susunan organisasinya banyak berubah. tetapi lebih ditekankan pada pekerjaan membantu delegasi untuk menghadapi perundingan dengan pihak Belanda dan memelihara hubungan dengan pimpinan Kementerian Luar Negeri di Jakarta.
Untuk pertama kali di tahun 1948, diupayakan mencapai keseragaman dan efisiensi dalam organisasi dan cara kerja Kementerian-kementerian berdasarkan satu mosi yang diajukan oleh Sujono Hadinoto dalam KNIP. Hasil rapat-rapat kerja para Sekretaris Jenderal yang ditugaskan untuk membuat suatu peraturan umum dituangkan dalam Peraturan Pemerintah No.41, tanggal 4 Oktober 1948. Namun upaya itu terhenti oleh Aksi Militer Kedua Belanda 19 Desember 1948.
Setelah dikeluarkan pernyataan Roem-van Roijen dan dipulihkannua kembali pemerintah ke Yogyakarta dengan dibebaskannya pemimpin-pemimpin pemerintah Republik Indonesia oleh Belanda, maka roda pemerintah mulai berputar kembali dan kantor Kementerian Luar Negeri diaktifkan untuk mengantisipasi perundingan dengan Belanda di Konferensi Meja Bundar. Pegawai-pegawai Kementerian Luar Negeri yang telah terpencar-pencar dikumpulkan kembali terutama untuk membantu lancarnya perundingan dengan Belanda.
Setelah Konferensi Meja Bundar usai dan kedaulatan diserahkan kepada Republik Indonesia Serikat akhir tahun 1949, pada awal tahun 1950 kepada Kementerian Luar Negeri diberikan gedung di Taman Pejambon No.6 yang hingga sekarang menjadi kantor Departemen Luar Negeri yang besar dan modern.