Za oficjalną datę powstania Biblioteki przyjmuje się rok 1856, kiedy to Towarzystwo Naukowe Krakowskie otrzymało nowy statut, w którym Biblioteka została wymieniona jako jedna z jego agend. Dzięki zaangażowaniu ówczesnego prezesa Towarzystwa, kasztelana Franciszka Wężyka, przy ul. Sławkowskiej 17 w Krakowie wzniesiono z funduszów społecznych gmach Towarzystwa, gdzie pomieszczono tworzony od podstaw księgozbiór. Po przekształceniu TNK w Akademię Umiejętności (1872) instytucja funkcjonowała jako Biblioteka AU. W 1892 r. otwarto czytelnię, co pozwoliło na udostępnianie zbiorów szerszemu gronu czytelników. W przededniu I wojny światowej zbiory liczyły 44 108 druków, 778 map i atlasów, 1 820 rękopisów i 330 dyplomów.

Po odzyskaniu przez Polskę niepodległości Akademię Umiejętności przemianowano na Polską Akademię Umiejętności. Wraz z aktywnym rozwojem instytucji, żywo rozwijała się też Biblioteka PAU. Pozyskano w tym czasie nowe zbiory (m.in. dzięki wymianie, a także z darów, np. ks. Jana Fijałka czy Kazimierza Waliszewskiego). Kontynuowano też prace nad katalogowaniem zasobów. W 1939 r. zbiory Biblioteki liczyły 196 000 druków i 2 074 rękopisy. Po wybuchu II wojny światowej, w listopadzie 1939 r. Niemcy zamknęli placówkę, księgozbiór został w całości przewieziony do magazynów nowego gmachu Biblioteki Jagiellońskiej, gdzie miał się stać częścią planowanej Staatsbibliothek Generalnego Gubernatorstwa. Straty wojenne Biblioteki są stosunkowo niewielkie i obejmują około 7,5 tys. książek, w większości wypożyczonych przed wybuchem wojny do instytucji naukowych Warszawy, Wilna, Lwowa i Rzeszowa, a także 17 rękopisów, 2 dyplomy i pewną liczbę rycin.

Po zakończeniu w 1945 r. działań wojennych księgozbiór sukcesywnie wracał do budynku przy ul. Sławkowskiej 17. W latach 1951-52 PAU – choć nie zlikwidowana formalnie – została pozbawiona całego majątku, zbiorów, agend, dotacji i wydawnictw na rzecz utworzonej w oparciu o wzory sowieckie Polskiej Akademii Nauk. Od r. 1953 Biblioteka – już jako Biblioteka PAN w Krakowie – funkcjonowała w ramach PAN. Na mocy porozumienia pomiędzy prezesami PAU i PAN podpisanego 20 października 1999 r. powróciła do struktury organizacyjnej reaktywowanej w 1989 r. Polskiej Akademii Umiejętności jako Biblioteka Naukowa PAU i PAN w Krakowie.

W XXI w. w Bibliotece funkcjonuje sześć działów odpowiedzialnych za gromadzenie, opracowanie i udostępnianie zbiorów, opiekę nad kolekcją rycin i zbiorami specjalnymi oraz reprografię. Biblioteka kontynuuje gromadzenie i katalogowanie własnych zbiorów. W 1991 r. rozpoczęto katalogowanie elektroniczne nowych książek, sukcesywnie prowadzone są też prace retrospektywne katalogujące książki XIX- i XX-wieczne. Od 2011 r. do katalogu elektronicznego wprowadzane są również stare druki. Ponadto, Biblioteka prowadzi ożywioną działalność wydawniczą, wystawienniczą i digitalizacyjną.