Библиотека Математичког института основана је 1946. године као наследница Библиотеке Математичког семинара, и представља највећу и најзначајнију ризницу знања из области математике, механике, касније и рачунарства. По оснивању, Библиотека није имала ниједну публикацију, а прве монографије набављали су чланови Института. Фонд Библиотеке постепено се увећавао захваљујући даљим куповинама, откупима и разменама. Традиција размене са разним математичким установама и данас се одржава, и тако представља један од најзначајнијих начина набавке грађе, посебно научних часописа.

Прве послове одржавања фонда Библиотеке обављали су млађи сарадници Института, којима је то била јединствена прилика да се упознају са литературом. Први вршилац дужности библиотекара од 1950. на Институту био је Бошко Томић, секретар Института, да би 1952. године на то место дошао Војислав Поповић, преводилац. Војислав је на месту библиотекара Института био до 1963, када га је Илија Братић заменио, и као библиотекар радио све до пензионисања, 1992. Врло кратак период на позицији библиотекара провео је Рајко Петронијевић, запослен од 1992. до 1993. Након његовог одласка 1993, Бранка Бубоња је дошла на место библиотекара, где је радила све до 2020.

Библиотека је данас, по систематизацији, централизована научна библиотека. У библиотеци се сакупља, обрађује према утврђеним начелима, чува и даје на коришћење грађа из поменутих области – математике, механике и рачунарства. Године 1995. започет је процес пребацивања са лисног каталога (Слика 1) на електронски, и трајао је до 1997. Тадашње стање фонда пребачено је у електронски формат и захваљујући томе целокупан фонд Библиотеке је претражив путем електронског каталога, доступног на сајту Института. Тренутни број монографија које се налазе у библиотеци је 15.461, док број часописа износи 618, односно преко 60.000 свезака. Колико је размена и даље заступљена, показује податак да је у 2020. години, од укупног броја, свега 18 часописа набављено куповином.

Поред научних часописа и база података којима је приступ омогућен посредством КоБСОН-а, у Библиотеци је могуће приступити још двема базама, посебно оријентисаним на математику – Zentralblatt für Mathematik и Mathematical Reviews (MathSciNet).

Током 2020. успостављен је институционални репозиторијум Математичког института. У репозиторијуму се депонују научно-истраживачки радови сарадника Института. Од успостављања, депоновано је скоро 4.000 радова, чиме је свим заинтересованим омогућен приступ и увид у резултате истраживања из свих области математике, механике и рачунарства.