Perpustakaan di Indonesia memiliki sejarah yang masih muda dibandingkan dengan negara Eropa dan Arab. Jejak awalnya dapat ditelusuri sejak abad ke-5, dengan bukti tulisan Pallawa pada lingga batu dari Kerajaan Kutai dan catatan Fa-Hsien (414) yang menyebut keberadaan manuskrip keagamaan di Kerajaan Tarumanegara.

Perpustakaan SMK Negeri 2 Tembilahan mulai dirintis pada tahun 2000. Awalnya bergabung dengan ruang kantor guru, perpustakaan ini berkembang signifikan antara tahun 2007-2018 dengan tambahan sarana seperti meja baca, rak buku, komputer, dan ruang baca. Koleksinya meliputi buku referensi, fiksi, nonfiksi, dan buku pelajaran.

Pada tahun 2018, perpustakaan ini resmi dinamai Perpustakaan H. Khalidi dan menempati gedung baru. Dengan beragam program literasi seperti membaca 15 menit bersama, diskusi buku, mading, pojok baca, dan kunjungan ke perpustakaan daerah, perpustakaan ini terus berperan aktif dalam mendukung literasi dan pembelajaran siswa.