Mərkəzi Elmi Kitabxana 1923-cü ildə Azərbaycanın görkəmli ziyalıları Nəriman Nərimanov, Əbdürrəhim bəy Haqverdiyev, Tağı Şahbazi, Hənəfi Zeynallı və başqalarının təşəbbüsü və yaxından köməyi ilə "Azərbaycanı Tədqiq və Tətəbbö Cəmiyyəti"nin nəzdində Biblioqrafik büro kimi fəaliyyətə başlayıb. Görkəmli ədəbiyyatşünas-biblioqraf, professor Aleksandr Vasilyeviç Baqrinin rəhbərliyi ilə təsis edilmiş "Biblioqrafiya bürosu" (1923) MEK-in təşəkkülü üçün ilkin baza olmuşdur. Azərbaycanda kitabxanaşünaslıq elminin inkişafında böyük rol oynamış professor Abuzər Xələfov "Azərbaycanda kitabxana işinin tarixi" adlı dərsliyinin II hissəsində bu faktı belə xarakterizə edir:
    Cəmiyyətin nizamnaməsində təşkili zəruri hesab edilən kitabxananın əsası elə 1923-cü ilin dekabrında qoyuldu. Cəmiyyət yarandığı gündən onun təşəbbüskarları cəmiyyətin kitabxanasını yaratmaq işini ön plana çəkmiş, kitabxana üçün kitab toplamağa başlamışdılar. Bu kitabxananın yaranmasında 1924-cü ildə Cəmiyyətin tərkibində fəaliyyət göstərən Biblioqrafik büronun mühüm rolu olmuşdu. Biblioqrafik büroya professor A.B.Baqri rəhbərlik edirdi. Büro Cəmiyyətin kitabxanasının formalaşması sahəsində də ciddi iş aparırdı.
1923-cü ilin noyabr ayında "Azərbaycan Tədqiq və Tətəbbö Cəmiyyətinin" keçirtdiyi iclasda kitabxananın yaradılması haqqında qərar qəbul edilir və həmin vaxtdan Cəmiyyətin nəzdində Elmi Kitabxana fəaliyyətə başlayır. Bu zaman kitabxananın fondunu 430 nüsxə kitab, 1200 nüsxə qiymətli əlyazmalar təşkil edirdi. 1925-ci ilin avqust ayında "Azərbaycan Tədqiq və Tətəbbö Cəmiyyətinin" Mərkəzi Şurasının iclasında Cəmiyyətin Elmi Kitabxanası ilə Biblioqrafiya bürosunun işində paralelizmi aradan qaldırmaq və kitabxanada olan materialın biblioqrafiyalaşdırılması məqsədilə büro ilə kitabxana birləşdirilərək Kitabxana-Biblioqrafiya bürosu təsis edilir. Kitabxana-Biblioqrafiya bürosunun sədri Hənəfi Zeynallı olur.
   Mərkəzi Kitabxananın yaradılması istiqamətində ilkin tədbirlər 1923–1924-cü illərdə həyata keçirilmişdir. 1945-ci ildə Azərbaycanda müstəqil Elmlər Akademiyasının yaradılması ilə əlaqədar Mərkəzi Elmi Kitabxananın tarixində yeni inkişaf mərhələsi başlanır. AMEA Mərkəzi Elmi Kitabxana 1963–1984-cü illərdə Əsaslı Kitabxana adını daşımışdır. Əsaslı Kitabxana 1984-cü ildən Mərkəzi Elmi Kitabxana (MEK) adlanır
    1925-ci ildə Hənəfi Zeynallının rəhbərliyi ilə yaranan MEK 100 illik fəaliyyəti dövründə ölkəmizin ən iri kitabxana-informasiya müəssisələrindən birinə çevrilərək elmin inkişafında, elmi kadrların yetişdirilməsində əvəzsiz rol oynamışdır. Mərkəzi Elmi Kitabxanaya müxtəlif illərdə S. M. Yəhyazadə, Y. İ. Tahirov, Nazim Axundov, Rasim Kazımov, Məhbubə Həsənova, Əmin Əfəndiyev, Aybəniz Əliyeva-Kəngərli, Leyla İmanova , Sevil Zülfüqarova, Məmməd Əliyev rəhbərlik etmişdir. 2024-cü il aprel ayının 2-də Azərbaycan Milli Elmlər Akademiyasının prezidenti akademik İsa Həbibbəylinin sərəncamı ilə texnika üzrə elmlər doktoru dosent Hüseyn Hüseynov Mərkəzi Elmi Kitabxananın direktoru vəzifəsinə təyin olunub.
    Azərbaycanda təbiət, texniki və humanitar elmlər üzrə ən iri kitabxana sayılan AMEA-nın Mərkəzi Elmi Kitabxanası dünya xalqlarının 50-dən çox dilində 1304686 nüsxəyədək ədəbiyyat saxlayan zəngin, universal kitab fonduna malikdir.