Kolej Yayasan Pelajaran Johor (KYPJ) lahir daripada perjuangan kerajaan negeri untuk memartabatkan pendidikan anak bangsa yang gagal melanjutkan pelajaran ke universiti. Ia merupakan satu impian besar pimpinan Kerajaan Negeri Johor untuk melihat sebuah istitusi pendidikan ditubuhkan di negeri Johor bagi membolehkan lepasan SPM yang tidak berpeluang  ke universiti melanjutkan pelajaran di daerah tempat mereka tinggal. 

Pada 3 Mac 1996, sebuah syarikat miliki penuh Yayasan Pelajaran Johor (YPJ) bernama Ilham Ikhlas Sdn Bhd ditubuhkan bagi menyediakan program-program akademik dan kemahiran di kolej-kolej yang ditadbir selaras dengan Akta Institusi Pendidikan Tinggi Swasta 1996 (Akta 555).

Ilham Ikhlas kemudian ditukarkan nama kepada Kumpulan Pendidikan YPJ (KPYPJ) pada 1997 bagi menyediakan program peluang kedua pendidikan kepada lepasan sekolah melalui penubuhan empat kolej utama dan lapan buah kolej komuniti YPJ.

Kolej-kolej itu ialah Kolej Islam Johor (KIJ) di Kg. Aman, Larkin Jaya, Johor Bahru, Institut Teknologi Perindustrian YPJ (ITPYPJ) di Bukit Senyum, Johor Bahru, Institut Hospitaliti YPJ (IHYPJ) di Taman Tampoi Utama, Johor Bahru dan Kolej Teknologi Binaan YPJ  (KTBYPJ) di Kampung Ungku Mohsin, Johor Bahru. Selain itu terdapat lapan buah Kolej Komuniti YPJ di daerah Muar, Segamat, Johor Bahru, Mersing, Pontian, Batu Pahat, Kota Tinggi dan Kluang. 

Kebanyakan kolej KPYPJ ketika itu beroperasi di bangunan milik kerajaan negeri dan Pusat Latihan Kemahiran (PLK) di bawah Jabatan Kebajikan Masyarakat. Pada tahun 2006 KTBYPJ telah digabungkan di bawah bumbung ITPYPJ. Bermula 2013, nama-nama kolej ini telah ditukar kepada Sekolah Pengurusan dan Sains Sosial (SPSS) bagi KIJ, Sekolah Kejuruteraan dan Sains Kreatif (SKSK) bagi ITP YPJ dan Sekolah Hospitaliti dan Pelancongan (SHP) bagi IHYPJ.

1 November 2015 merupakan tarikh penuh bersejarah bagi KPYPJ apabila secara rasminya Kampus Induk Kolej Yayasan Pelajaran Johor (KYPJ) yang tersergam indah di tengah kehijauan ladang kelapa sawit di kilometer 17 Jalan Kota Tinggi-Kulai diserahkan kepada pengurusan KPYPJ oleh pihak Yayasan Pelajaran Johor (YPJ). Kampus seluas 100 ekar bernilai RM120 juta itu mengambil masa lima tahun untuk disiapkan sejak majlis pecah tanahnya diadakan pada 11 Disember 2010.