Почеци развоја библиотечке делатности у Косовској Митровици могли би, условно, да се вежу за Друштво трезвене омладине “Братство”, које 15. маја 1920. године, оснива читаоницу и моли све пријатеље и писце да шаљу ко колико може од својих књига. Истовремено, у ондашњој Гимназији (основаној Указом о отварању, 1. септембра 1915. године) постојала је ђачка библиотека. Ђаци су 19. јануара приредили забаву на којој су играли комад “Џандрљиви муж” Ј. С. Поповића, како би прикупили средства за куповину књига. Од сакупљених 2000 динара, један део је утрошен за куповину књига – уџбеника за сиромашне ученике, а остатак за куповину књига за Библиотеку. Библиотеком тада руководи господин Лисов, суплент овдашње Гимназије, избеглица из Русије.

На иницијативу Јована Јефтића, председника општине, у Косовској Митровици је, 1937. године, отворена Библиотека у општинској згради. За ту прилику, а по “налогу партије”, Жика Николић је купио левичарску литературу.  Ова библиотека је, по казивању Божидара Раденковића, предратног адвоката, радила само неколико дана, након чега је затворена, како се грађанству не би делиле књиге са комунистичким садржајем. Од тада, па до 1945. године, нема трага да ли се и како обављала библиотечка делатност у граду.

Као прва установа културе у граду, Библиотека “Вук Караџић” основана је одлуком Општине, новембра 1945. године, на иницијативу просветних радника и виђенијих грађана. Почетни фонд од око 1700 књига чиниле су, углавном, јединице из области књижевности, уз један број страних књига. Прве просторије Библиотеке биле су у приватним кућама виђенијих грађана, одакле се, до пресељења у зграду Скупштине Општине, селила чак седам пута.

Да би остварила своју функцију и књигу приближила читаоцу, Библиотека је формирала библиотечке огранке у граду, приградским насељима и селима, укупно 12. Неки од тих огранака су угашени због туђег власништва над простором, а неки су се, након формирања општина Зубин Поток и Звечан, издвојили из Матичне библиотеке.

Јануара, 1994. године, Библиотека коначно добија нови простор, и пресељава се у зграду бившег хотела “Јадран”. Простор од око 800 м2, адаптиран за потребе Библиотеке, поседовао је три читаонице, магацине за књиге, посебне просторе за одељења и службе, и при том, налазио се на “жили куцавици”, у самом центру града. Значајно је било и то што је постојала могућност да се простор прошири доградњом анекса од 500 – 700 м2. Скупштина Општине  је одобрила захтев Библиотеке за проширење и била спремна да се у наредном периоду оствари овај важан задатак.

Устројством мреже матичних библиотека у Републици Србији, на основу Закона о библиотечкој делатности 1994. године, Градска библиотека “Вук Караџић”, одређена је за матичну, за косовско – митровачки и пећки округ.

Све до 1999. године и уласка међународних снага, Библиотека је врло успешно обављала матичне функције  на територији 11 општина, оправдавајући јој указано поверење, о чему сведоче и извештаји у Матичном одељењу Народне библиотеке Србије. За допринос развоју библиотечке делатности на овом подручју, Библиотека је добила низ значајних награда и признања од  републичког и општинског значаја: Сурепову награду, награду Заједнице матичних библиотека Србије, Вукову награду КПЗ Србије и Новембарско признање СО Косовска Митровица.