Коллекция изобразительного искусства начала комплектоваться с момента основания музея с целью сформировать в фондах галерею портретов знаменитых земляков и разнообразие экспонатов для регулярно проходившей в 2000-е гг. в музейных залах выставки «Ярославль глазами художников»

Собрание живописи и графики включает произведения известных ярославских мастеров, таких как Г.А. Дарьин, Ю.Д. Жарков, А.Ф. Булдыгин, Е.Н. Пивень, В.Н. Леонтьев, Н. В. Перцев, В.А. Хворостянов, А.А. Чурин, И.А. Сакуров, Т. Майкова, Ю. И. Семенюк, А. А. Шмидт, С. Н. Соколов, И. К. Хворостянов, Б. К. Гогин, С. В. Щечкин. Их работы представляют собой портреты выдающихся личностей, чья разнообразная деятельность была связана с Ярославлем, жанровые картины на исторические темы, произведения декоративно-прикладного искусства, а также всё более редкие виды исторической части города, которые исчезают на глазах из-за насыщенной современной застройки. Ярославль, его люди и архитектурные памятники достойно представлены в замечательных гравюрах таких известных графиков, как С. А. Глушков и Д. П. Реутов. Высокохудожественны значительные с исторической точки зрения рисунки, сделанные в годы Великой Отечественной войны ярославскими художниками-фронтовиками С. С. Беляевым и С. П. Горячевым, интересны графические городские пейзажи Н. Флоринского.

В 2009 г. музей приобрел двенадцать графических работ В. М. Серебрякова на тему «Образы русской Смуты начала XVII века», отличающихся не только высокой техникой исполнения, но и вниманием к деталям исторической эпохи.

Пополняется фонд изобразительных материалов и произведениями иконописи и скульптуры, хотя данные коллекции пока немногочисленны. В первой наибольший интерес представляют иконы неизвестных авторов рубежа XIX-XX вв. «Николай Чудотворец, «Спас Вседержитель», «Святой Великомученик целитель Пантелеймон, Святая Великомученица Варвара, Святая Великая княжна Блаженная Анна Кашинская».

В числе произведений скульптуры, хранящихся в музее, следует назвать композицию «Ярослав Мудрый», выполненную И. Б. Трейвусом, которая в первые годы работы муниципального музея украшала его сквер, а затем была перемещена в холл второго этажа здания. Она стала своего рода «визитной карточкой» музея, поскольку ее изображение не раз появлялось на различной печатной и сувенирной продукции.

В первом зале исторической экспозиции можно увидеть еще один скульптурный портрет князя-основателя - это копия известнейшей работы скульптора М. М. Антокольского, созданная И.Ю. Ястребовым. Также в коллекции музея находятся портрет (барельеф) С.А. Глушкова, выполненный Е. В. Пасхиной, и бюст В.В. Терешковой работы Р. Сметаниной.

В развитии музейной коллекции изобразительного искусства основное внимание уделяется художественным достоинствам произведений. Наличие разнообразных по форме и содержанию, времени создания и художественным стилям картин и графических листов позволяет музею более ярко представлять динамичное развитие облика города Ярославля, целостный образ которого создаётся во многом благодаря произведениям искусства.