Terbentuknya Jurusan Fisika, FMIPA, Universitas Andalas berawal dari sekelompok dosen di FMIPA yang bertugas memberikan kuliah layanan mata kuliah Fisika Dasar untuk program-program studi lain di Universitas Andalas. Pada tahun 1970 dibentuklah suatu wadah bagi kelompok dosen tersebut yang dikenal dengan nama Servis Fisika dengan Ir. Amarhud Ahmad sebagai Ketua Servis. Setelah 26 tahun lamanya menjadi Servis Fisika, pada tahun 1996 Jurusan Fisika FMIPA Universitas Andalas berdiri sebagai sebuah jurusan yang utuh dengan dr. Farida Ilyas sebagai Ketua Jurusan. Secara resmi, Jurusan Fisika FMIPA Universitas Andalas berdiri pada tanggal 5 Maret 1996 berdasarkan S.K. Mendikbud No. 59/Dikti/Kep./1996 dan merupakan jurusan kelima yang ada di FMIPA Universitas Andalas.

Jurusan Fisika pertama kali menerima mahasiswa baru program sarjana pada tahun akademik 1996/1997 melalui jalur PMDK. Sejak tahun akademik 1997/1998 penerimaan mahasiswa baru dilakukan melalui dua jalur, yaitu PMDK dan SPMB/SNMPTN. Jurusan Fisika berhasil meluluskan mahasiswa Program Sarjana pertama kali pada tanggal 22 Januari 2001 yang diwisuda pada bulan April 2001.

Pada tahun 2004 Jurusan Fisika berhasil memperoleh Akreditasi pertamanya dengan Akreditasi B (baik) dari Badan Akreditasi Nasional Perguruan Tinggi (BAN-PT). Mulai tahun akademik 2005/2006 Jurusan Fisika juga menyelenggarakan Program Studi Fisika untuk Kelas Reguler Mandiri.

Pada tahun 2016 Jurusan Fisika menjadi lebih baik dengan berhasilnya meraih Akreditasi A dari Badan Akreditasi Nasional Perguruan Tinggi (BAN-PT) untuk Program Sarjana (S1) melalui SK No. SK:0985/SK/BAN-PT/Akred/S/VI/2016.

Pada tahun 2020 Program Sarjana (S1) Jurusan Fisika juga telah tersertifikasi AUN-QA (ASEAN University Network-Quality Assurance) dari ASEAN University Network melalui Assessment No. 178.

Pada tahun 2021 Jurusan Fisika kembali memperoleh Akreditasi A dari Badan Akreditasi Nasional Perguruan Tinggi (BAN-PT) untuk Program Sarjana (S1) melalui SK No. SK:8855/SK/BAN-PT/Ak-PPJ/S/VI/2021.

Selain Program Sarjana S1, Jurusan Fisika juga menyelenggarakan Program Magister (S2) sejak tahun akademik 2007/2008 dan terakreditasi B oleh BAN-PT.

Pada tahun 2020 Program Magister (S2) Jurusan Fisika berhasil meraih Akreditasi A dari Badan Akreditasi Nasional Perguruan Tinggi (BAN-PT) melalui SK No. SK:6201/SK/BAN-PT/Akred/M/X/2020.