SMK Negeri 3 yang dahulu bernama SMEA Negeri 2 didirikan di Balikpapan pada tanggal 1 Juli 1980 oleh Menteri Pendidikan dan Kebudayaan Republik Indonesia dengan no SK No 0209/0/1980 tanggal 31 Juli 1980.

     Pada awal berdirinya SMEA Negeri 2 memiliki 3 Jurusan, yaitu Tata Buku, Tata Usaha, dan Tata Niaga yang masing-masing Jurusan memiliki 3 kelas. SMEA Negeri 2 terletak di daerah Pasar baru, tepatnya di Jalan Bukit Niaga RT 13 No 11 Balikpapan. Pada bulan Juli 1989 SMEA Negeri 2 menambah lagi satu Jurusan yaitu Jurusan Usaha Jasa Pariwisata.

     Pada tahum pembelajaran 1996/1997 SMEA Negeri 2 Balikpapan berubah menjadi SMK Negeri 3 Balikpapan dan pada tahun 1996 SMEA Negeri 2 pindah ke lokasi yang baru tepatnya di Jalan Belibis Damai III RT 80 No 1 Kelurahan Gunung Bahagia Balikpapan. Lokal yang baru ini berdiri di atas tanah seluas 10.000 M2.

     Saat ini SMK Negeri 3 memiliki 6 Program Keahlian yaitu Program Keahlian Akuntansi, Sekertaris, Penjualan, Usaha Jasa Pariwisata, dan Program Keahlian Teknik Komputer dan Jaringan yang didirikan pada tahun 2004, dan Program Keahlian Persiapan Grafika yang berdiri pada tahun 2008.
SMK Negeri 3 Balikapan memiliki 40 rombongan belajar yang terbagi menjadi 14 rombongan belajar untuk tingkat I, 13 rombongan belajar untuk tingkat II dan 13 rombongan belajar untuk tingkat III.

     Pada tahun 2006 SMK Negeri 3 dipercaya oleh Dikmenjur Jakarta sebagai pusat pelatihan guru-guru untuk wilayah Kalimatan yang kemudian disebut sebagai ”Work Station Zona Balikpapan”. Pada tahun yang sama, SMK Negeri 3 juga mendapat kepercayaan dari PT Telkom Indonesia cabang Balikpapan untuk mendapatkan koneksi internet gratis (wave line dan speedy) dengan kompensasi SMK Negeri 3 harus mengadakan pelatihan internet gratis baik untuk guru ataupun siswa di lingkungan sekitar SMK Negeri 3 Balikpapan.

     Selain itu SMK Negeri 3 juga menjadi sekolah percontohan untuk sekolah yang berbasis Iman dan Taqwa terhadap Tuhan Yang Maha Esa.