Библиотека Математичког института наследница је библиотеке Математичког семинара, која је потекла из прве математичке библиотке, коју је основао 1871. године Димитрије Нешић, професор математике на Великој школи. Покретач Математичког семинара био је Михаило Петровић. Иако је основан пре 1905, Семинар почиње са радом по претварању Велике школе у Универзитет, у просторији у којој је била смештена поменута прва математичка библиотека.

Библиотека Математичког семинара страдала је у пожару 1944, када су окупатори, последљег дана у Београду, запaлили зграде Универзитета и Коларчеве задужбине. Према речима Милутина Миланковића „та библиотека изгорела је до последњег листића, а од оног доба могла бити обновљена само у недовољној мери. Но поред ње створена је у Математичком институту Српске академије наука још једна библиотека, као допуна оној на Универзитету.“ Библиотека Математичког института основана је 1946, исте године када и Институт.

Књижни фонд Библиотеке био је с почетка без и једне публикације. Прва библиотечка грађа набављена је помоћу средстава које је Академија издвајала али и средстава чланова Института, а послове коренсподенције, набавке и размене обављали су лично Управник и сарадници Института, како у то време није било службеника запослених у Библиотеци. Пре запослења првог библиотекара, послове сређивања грађе обављали су углавном млађи сарадници Института којима је то била јединствена прилика да се упознају са литературом.

Књижни фонд Библиотеке постепено се обогаћивао најчешће путем размене са домаћим и страним установама. Први договор о размени публикација постигнут је 1949. са професором Фером, уредником швајцарског математичког часописа “L’Enseignement Mathématique”. Најстарији волумен (II - III) овог часописа доступан у Библиотеци је из 1956/7. године. Битно је напоменути да се данас, након 75 година, и даље негује традиција размене публикација са мноштвом светстких математичких установа. На овај начин је омогућено да и издања Института, посебно „Publications de l’institut Mathématique“, буду представљена свету.

Сматра се да је једна од најстаријих књига у Библиотеци “Elementorum Universae Matheseos” Руђера Бошковића из 1757. године. У Библиотеци се такође налази и колекција од око 260 старих књига из области математике и механике, које датирају од 1790, па све до 1950. На појединим књигама могуће је пронаћи печат институције од које је купљена, док је већина највероватније добијена поклоном. Књиге су махом на немачком и француском. Неколицина, не више од 30, је на руском, док је једна, заведена под редним бројем 1, на чешком.

Први вршилац дужности библиотекара 1950. године био је Бошко Томић, секретар Института, док је први библиотекар Института био је Војислав Поповић, преводилац, запослен на тој позицији од 1952. Под његовим руководством, 1955. године израђен је стручни каталог и настављено је увећавање књижног фонда. Војислав Поповић био је на месту библиотекара све до 1963. године, када га наслеђује Илија Братић. Илија је био библиотекар Института све до пензионисања, 1992. године. Веома кратак период, до 1993, библиотекар Института био је Рајко Петронијевић. У јулу 1993, Бранка Бубоња је дошла на место библиотекара, где је остала све до краја августа 2020. Од септембра 2020, на месту библиотекара је Кристина Милојевић, дипломирани библиотекар.

У периоду од 1995. па до 1997, стручни каталог, инвентарна књига као и књига задужења у потпуности су пребачени у дигитални формат, помоћу система PERGAM.

Библиотека Математичког института данас је централна и научнa библиотека која сакупља, обрађује према утврђеним начелима, чува грађу из свих области математике, механике и рачунарства и даје га на коришћење запосленим истраживавима. У свом фонду садржи монорафије и серијске публикације. Монографије се у највећем броју случајева набављају куповином, на захтев истраживача. Најчешће је то страна литература неких од водећих издавача из области природних наука. Грађа се у полице смешта по принципу numerus currens, односно по редном броју пристизања. Тренутни број монографија доступних у Библиотеци износи 15452. Библиотека такође поседује 618 наслова серијских публикација, што износи преко 65000 свезака. Од укупног броја часописа, свега 18 часописа набављено је куповином у току 2020. године. Остатак се навабавља, од оснивања Института установљеном разменом.

И многорфарије и часописе могуће је претраживати путем елкторнског каталога који је доступан на сајту Института.

Поред монографија и серијских публикација, Библиотека омогућава приступ неким од значајнијих база научних информација специфичних по томе што се у њима похрањују подаци о искључиво математичким дисциплинама, а то су нпр. Zentralblatt MATH или MathSciNet.

Такође, почетком 2020. године, на Институту поктенута је база резултата истраживања запослених на Институту. База тренутно садржи 3967 записа/радова.