La passion du Cardinal François de Tournon pour les livres et manuscrits précieux est à mettre en parallèle avec celle de François ier, à l’origine de la Bibliothèque Nationale.
On ne connaît pas l’importance de la bibliothèque du Cardinal, car le fonds fut détruit par l’incendie du 3 avril 1714. La « librairie » du Collège est citée la première fois en 1558. En 1699, Pierre Paul Sevin affirme que cette bibliothèque était ornée de tableaux du Titien, rapportés d’Italie par le Cardinal.
En 1714, ce qui avait échappé à l’incendie fut pillé dès le lendemain. Les Jésuites récupérèrent quelques ouvrages après le sinistre, mais on pense qu’ils ont pu être vendus lors de l’expulsion des Pères en 1763 – 1764.
Les Oratoriens remplacèrent les Jésuites en 1763. Ils reconstituèrent une bibliothèque aujourd’hui conservée à Tournon, Lyon et Grenoble (bibliothèques universitaires).
A ce fonds s’ajoutèrent au moment de la Révolution française, les confiscations des couvents de Tournon (Carmes et Capucins) qui avaient eux-mêmes hérité des livres des Tournon au xviie siècle en provenance du château.
En 1888 environ 7 000 volumes furent emportés, malgré l’opposition des tournonnais, vers la Bibliothèque Universitaire de Lyon, créée deux ans auparavent et située quai Claude-Bernard.
En 2010, l’association a officiellement achevé l’inventaire la Bibliothèque Historique.
En avril 2013, l’association Sauvegarde du Patrimoine du lycée Gabriel Faure présente à ses donateurs le meuble pour la Description de l’Egypte, après une souscription lancée en 2011 pour exposer les planches originales de l’ouvrage dont dispose le lycée dans un meuble-bibliothèque en noyer massif.