Latar Belakang

Pada tahun 1859, Sisters telah membeli rumah kerajaan yang dikenali sebagai rumah tentera laut di Jalan Light dengan harga 50,000.00 Frcs. Rumah ini terletak 7 kaki daripada laut. Bangunan diperbuat daripada kayu dan beratap daun nipah. Rumah ini dibina semasa zaman Farquhar's untuk dijadikan rumah Gabenor pada tahun 1804-1805. Selepas itu telah berpindah hak milik kepada Syarikat Hindia Timur yang dijadikan pusat kajian bagi perladangan, kemudan menjadi kediaman rasmi Sir Francis Light. Kemudiannya sebahagian besar tanah dan padang seluas 7 ekar telah dijual kepada Institusi St. Xavier's.

Rumah bayi terletak di sebelah kiri pintu pagar sekolah. Bayi ini akan dijaga oleh sister's hingga umur 6 tahun sebelum dipindahkan kepada rumah anak-anak yatim. Pada tahun 1947, Pesuruhjaya Residen Mr. S.N.King dengan rasminya membina sebuah rumah baru di tapak yang sama selepas dibom oleh tentera Jepun pada zaman perang ke-2. Kini rumah bayi ditukar kepada rumah asuhan atau Kindergarten.

Latar belakang keluarga pelajar yang belajar di sekolah ini terdiri daripada golongan yang berpendapatan sederhana dan terdiri daripada golongan elit seperti peguam, doktor dan ahli perniagaan yang berjaya. Lokasi sekolah ini terletak di Jalan Lebuh Light yang berhampiran dengan Padang Kota Lama yang menjadi tempat tumpuan pelancong di sekitar Georgetown.