Історія Миколаївської обласної універсальної наукової бібліотеки пов’язана з історією краю. Вона була відкрита як Миколаївська громадська бібліотека завдяки зусиллям інтелігенції міста. Понад 200 чоловік заявили про своє бажання стати членами бібліотеки, що зробило можливим її відкриття. Дата затвердження першого статуту бібліотеки – 11 листопада 1881 р. – вважається днем її заснування.

 Перших відвідувачів бібліотека прийняла 28 січня 1882 р. Знаковою подією в історії бібліотеки стала передача земельної ділянки на розі вулиць Різдвяної та Спаської (нині вул. Лягіна) для будівництва власного приміщення, закладка якого відбулася 1 травня 1894 р. Значну частину коштів на будівництво бібліотеки пожертвував відставний підполковник О. В. Нужнов. Відкриття та освячення приміщення бібліотеки відбулося 27 грудня 1894 р., в якому вона знаходилась до 1964 р.

 У грудні 1920 р. громадська бібліотека була націоналізована, передана в підпорядкування Губнаросвіти та набула статусу Миколаївської центральної, а в 1938 р. – обласної. З того часу вона функціонує як інформаційно-методичний та координаційний центр з питань бібліотекознавства для бібліотек усіх систем і відомств Миколаївської області. Бібліотека працювала і обслуговувала читачів у роки Великої Вітчизняної війни. Згідно із звітами з серпня 1941 р. по 3 березня 1944 р. бібліотекарі обслужили 6361 читача, яким було видано 65158 прим. літератури.

 З 1964 р. бібліотека приймає своїх відвідувачів у приміщенні по вул. Московській, 9.

 19 травня 1968 р. згідно з постановою Ради Міністрів УРСР бібліотеці присвоєно ім’я поета Олексія Гмирьова.

 Протягом свого 130-річного існування бібліотека з невеликої публічної книгозбірні перетворилася на провідну бібліотечну установу регіону, що зберігає найкращі традиції донесення до найширших верств населення здобутків вітчизняної та світової культури та впроваджує новітні послуги й технології для користувачів.

 Перед читачами бібліотеки в різні роки виступали письменники В.Сосюра, Ю.Смолич, П.Усенко, О.Гончар, В.Кучер, П.Воронько, П.Загребельний, В.Розов,  М.Тихий,  Н.Мар, О.Сизоненко, В.Васильєв, М.Божаткін, В. Бойченко, Д.Кремінь та ін.