Egy 1897-es újságcikk szerint Mezőkövesden a házi könyvtárak mellett, már régebben volt könyvtára, a Kaszinónak, Olvasókörnek, a Katolikus Legényegyletnek. Azonban ezeket csak a saját- és a pártoló tagok használhatták. A mai nyilvános könyvtár “elődje” lehetett az 1899. szeptember 1-én Balázs Ferenc által 750 kötettel megnyitott “Kölcsönkönyvtár”. Egy havi kölcsönzési díj 50 krajcár volt. A könyvek között megtalálhatók voltak Jókai, Herczeg, Mikszáth, Bródy, Gárdonyi, Zola stb. művei. A könyvtár népszerű lett és egyre többen használták a XX. század elején. Balázs Ferenc saját pénzéből, a különböző körök pedig jótékonysági bálok bevételéből gyarapították állományukat.

A II. világháború változást hozott, hiszen az államszerkezet átalakulásával az előbb említett körök, kaszinók megszűntek. 1947-ben országosan megindult a “népkönyvtárak” szervezése. Így jutott el Miskolcról is Mezőkövesdre a “vándorkönyvtár”, mely biztosította a lakosság könyvvel való ellátását, addig míg 1949-ben a kultúrotthonban nem kezdte meg működését a “Népkönyvtár”.

Lelkes könyvtárosokkal megindult az olvasószervezés és ha nehézségek árán is, de 1953-ban a járás községeiben is elkezdték szervezni a Népkönyvtárakat. 1955-re a járás összes községében alapítottak könyvtárat.

A könyvtárosok minden propaganda lehetőséget megragadtak, hogy népszerűsítsék a szak- és szépirodalmat. Fáradságot nem ismerve helyben és vidéken egyaránt filmvetítéseket, mesedélutánokat, könyvismertetéseket, író- olvasó találkozókat szerveztek azért, hogy megszerettessék az érdeklődőkkel a könyvet, és olvasásra neveljék az embereket.

1964-ben 220 m2-es új épületet kap a Járási Könyvtár, ahol egy épületen belül, de külön helyiségben működik a felnőtt- és a gyermekrészleg. 1980-ban a könyvtár zenei részleggel bővül. Az állomány növekedésével az épület szűknek bizonyul, ezen enyhít valamit a két lakótelepi fiók – és a hét üzemi letéti könyvtár működtetése. 1985-ben a könyvtár két részlege külön épületben kap helyet: a régi épületben marad a gyermek- és zenei részleg, a felnőttrészleg új helyre kerül. A gyermekrészleg később költözik új helyére, a Mátyás király út 144. szám alá (a Felnőtt részleggel egy épülettömbbe).

Az 1990-es év az önkormányzatok megalakulásával változást hoz a könyvtár életébe: a racionalizálás következtében a fiókok és letéti könyvtárak működtetése és a módszertani munkakör megszűnik. Jelenleg a könyvtár alaptevékenységén kívül különböző szolgáltatásokkal áll a lakosság rendelkezésére: író-olvasó találkozók, kerekasztal-beszélgetések, fórumok, kis- és nagycsoportos foglalkozások óvodások és általános iskolások részére, valamint irodalom- és könyvtárhasználati órák megtartása a két középfokú oktatási intézmény tanulói számára.

A Városi Könyvtárban már a kezdetek óta működik helytörténeti, helyismereti gyűjtemény. Eleinte a folyóiratokban megjelenő cikkeket gyűjtötte, később a kor igényeinek és a lehetőségek bővülésének hatására több dokumentum típussal gazdagodott és gazdagodik folyamatosan. A folyamatos gyűjtőmunka, és a lelkes olvasók segítségével nagyon jó anyag jött össze, mely külön helyiségben kapott helyet. Itt többféle dokumentumtípus fellelhető. Természetesen külön csoportba sorolva a szakirodalmat valamint a helyi írók, költők alkotásait.

A könyvtárban 1985-től két klub is működik: nyugdíjas közalkalmazottak klubja és nyugdíjas pedagógusok klubja.