Konsili Vatikan II (1962-1965) yang diprakarsai oleh Paus Yohanes XXIII, mengajak Gereja semesta mengevaluasi kehidupan serta pelaksanaan misinya. Sasaran yang hendak dicapai adalah pembaharuan rohani dalam terang Injil, penyesuaian dengan masa sekarang (aggiornamento) untuk menanggapi tantangan-tantangan zaman modern, pemulihan persekutuan penuh antara segenap umat kristen dan pemulihan persekutuan penuh antara segenap umat.
Sebagai tanggapan ajakan Konsili Vatikan II, dengan arahan Kapitel Umum FIC tahun 1964 dan 1967 yang menekankan pentingnya pembinaan, pendalaman hidup dan doa, para Bruder FIC Indonesia memutuskan mendirikan pusat pembinaan dan pendalaman hidup membiara (Centrum voor vorming en verdieping) bagi para Bruder FIC. Pastor C. Carri SJ, Vikaris Jendral Keuskupan Agung Semarang (KAS) mengusulkan agar pusat pendalaman itu tidak hanya untuk FIC, namun juga untuk tarekat lain di Indonesia. Usulan baik tersebut diterima dan dengan dukungan dari Bapak Kardinal Justinus Darmojuwono, Uskup KAS dan Ketua MAWI (Majelis Agung Wali Gereja Indonesia), Br. Carlo Hillenaar FIC dan Br. Joachim van der Linden FIC merintis pusat penyadaran dan pendalaman hidup membiara yang bertempat di kompleks ‘Istana Djoen Eng’, Salatiga, Jawa Tengah.
Melalui Konstitusi Lumen Gentium bab VI, para Bapa Konsili mendorong para religius untuk menunaikan tanggung jawab sendiri demi kehidupan dan misi Gereja. Dekrit Perfectae Caritatis menyajikan prinsip-prinsip tentang pembaruan dan penyesuaian hidup religius, yang sekaligus mencerminkan cita-cita ‘aggiornamento’ untuk seluruh Gereja, yaitu kembali pada Injil sebagai pedoman hidup yang utama, kembali pada sumber-sumber karisma dan spiritualitas masing-masing tarekat, integrasi dengan Gereja seluruhnya, menanggapi kebutuhan jaman dalam perihidup maupun kerasulan, serta penghapusan diskriminasi antara para anggota.
Pusat formasi dan pendalaman itu mengadakan kegiatan pertama kalinya pada tanggal 12 Mei sampai dengan 15 Juni 1968, diikuti oleh 10 bruder FIC, 7 suster OSF, 2 suster CB, 2 suster ADM, 2 suster OP dan 2 frater BHK.
Kegiatan bina diri dan pendalaman itu sebagai kursus religius medior yang pertama. Kemudian dilanjutkan dengan kursus medior II dan pertemuan pemimpin novis dari berbagai tarekat pada tahun itu juga. Hari pertama masuk kursus medior, tanggal 12 Mei 1968 dijadikan hari lahirnya Institut Roncalli.
Nama Roncalli diambil dari nama Paus Yohanes XXIII sebelum menjadi paus, Angelo Guiseppe Roncalli. Para perintis institut mengambil nama Roncalli dengan maksud ingin mewujudkan cita-cita Paus Yohanes XXIII yang termaklum dalam sidang Konsili Vatikan II. Dalam perkembanganya, tanpa mengubah aktivitasnya, nama Institut Roncalli pada tahun 2009 karena alasan urusan perpajakan diganti nama Rumah Khalwat Roncalli.
Sejak awal berdirinya, para pastor dari ordo Jesuit memiliki peran besar dalam pengembangan Institut Roncalli. Selanjutnya banyak tarekat imam, bruder dan suster yang sudah dan masih menyumbangkan tenaga sebagai staf Roncalli, baik dari Tarekat OSU, OCSO, OSF, CB, SPM, MASF, PI, MSF, JMJ, SCJ, CMM, AK, BKK, OFMCap, SCMM, PRR, FCh maupun SND.
Berkat kerja sama yang baik antar tarekat, pelayanan RK Roncalli, yang telah hadir selama lebih dari setengah abad ini terus berkembang dan dapat menjawab kebutuhan para religius yang mencari penyegaran rohaninya. Sampai dengan usianya yang ke-50 tahun 2018 lalu, jumlah total para religius yang pernah mengikuti program kursus dan workshop di Roncalli mencapai lebih dari 10.117 orang. Sedang mereka yang datang di RK Roncalli di luar kursus dan workshop, seperti retret dan pendalaman yang lain selama 10 tahun terakhir mencapai lebih dari 1862 orang.