Sejarah sekolah ini bermula pada tahun 1950 dengan terbinanya sebuah bangunan di atas sebidang tanah wakaf perkuburan. Ia ditadbir oleh penduduk kampong dan gaji guru pada masa itu dibiayai oleh penduduk kampung sendiri. Pejabat Pelajaran mula mentadbir sekolah ini pada tahun 1952 dan telah dibekalkan seorang guru rakyat dan guru yang pertama itu adalah Cikgu Ibrahim Pandak.

Untuk memastikan anak-anak Kg. Parit Jawa dan kampong-kampong sekitarnya mendapat kemudahan pendidikan yang sempurna, pelbagai usaha telah dilakukan oleh pelbagai pihak. Pada tahun 1953 sebuah bangunan baru telah siap dibina hasil bantuan pihak RIDA. Bangunan tersebut telah dirasmikan oleh Pegawai Daerah Pontian ketika itu iaitu En. Abdul Aziz Shukor pada pada 19.08.1956.

Tahun demi tahun, murid-murid SK Kg. Jawa semakin bertambah dan bangunan baru diperlukan untuk menampung keadaan tersebut. Justeru itu pada 07.06.1976 ketua kampung En. Sukiran bersama penduduk kampung telah bergotong-royong mendirikan sebuah bangunan tambahan yang mengandungi 2 bilik darjah dan 2 tandas. Peruntukan untuk pagar sekolah, tempat letak basikal, bilik guru dan kantin juga diterima.

Menjelang tahun 1995, sebuah bangunan tambahan yang baru telah dibina untuk menempatkan pusat Sumber sekolah.  Pada tahun 2000, peruntukan membina sebuah bangunan baru 3 tingkat telah diluluskan. Pembinaan bangunan baru ini telah menyebabkan seluruh warga SKKJ terpaksa berpindah dan menumpang belajar di Sekolah Agama Kampung Jawa yang terletak berhampiran.

Pada 04.03.2002 warga SKKJ kembali ke bangunan baru yang telah siap dibina itu. Pada April 2004 pula menyaksikan sebuah bilik menempatkan makmal komputer diwujudkan di aras 2 bangunan sekolah ini. Pada September 2004 peruntukan komputer dan segala kelengkapan diterima dan ia ditempatkan di makmal komputer yang telah dibina sebelum ini.

Pada 3.1.2007 Bendera Sekolah Kebangsaan Kampong Jawa dinaik dan dikibarkan secara rasmi - Hari pertama perhimpunan persekolahan 2007.