PADA awalnya dikenali sebagai Unit Latihan pada tahun 1977 dan kemudian secara rasminya ditubuhkan sebagai sebahagian daripada Pejabat Perjawatan (nama lama JPA) di Jalan Kumbang Pasang. Pada Mei 1993 dinaik taraf kepada Institut Perkhidmatan Awam (IPA) yang memberi tumpuan kepada program latihan pengurusan dan pentadbiran. IPA kemudian berpindah ke bangunan sekarang di Jalan Kampung Rimba dan menggunakan logo IPA secara rasmi pada Februari 1997. Pada 1999, IPA beroperasi di bawah bidang kuasa Jabatan Perdana Menteri (JPM) dan skopnya.