С 1947 года музей располагается в здании, построенном в 1777–1779 годах в стиле барокко по проекту губернского архитектора Н. Н. Иевского (1740–1779) и являющимся памятником истории и культуры федерального значения. Оно было построено по заказу воронежского губернатора генерал — поручика Ивана Алексеевича Потапова на Большой Дворянской улице (совр. Революции Проспект). После смерти Потапова его вдова Елена Антоновна, переехавшая в своё имение Семидубравное Землянского уезда, продала здание генерал-майору Сандбергу, который в свою очередь в 1803 году продал дом Воронежской комиссариатской комиссии.

Первоначально, здание окружала аркада и одноэтажные каменные службы, образовавшие обширный двор, за которым был разбит парк. На протяжении 19 века «Воронежский дворец» неоднократно ремонтировался, однако основной облик здания оставался без изменений.

В 1911 году здание перешло Воронежскому губернскому музею, который после 1917 года назывался музеем краеведения. После Великой Отечественной войны в нём разместился вернувшийся из эвакуации музей изобразительных искусств. Во время войны здание пострадало от пожара и было восстановлено в 1952–1953 годах под наблюдением архитектора Г. В. Здебчинского. Историческая внутренняя планировочная структура здания сохранилась до настоящего времени. В 1984 году к тыльной стороне северного ризалита здания был пристроен выставочный зал.

В настоящее время музейный фонд насчитывает свыше 20 тысяч единиц хранения по разделам древнеегипетского и античного искусств, живописи, скульптуры, графики, декоративно — прикладного искусства. Сохраняя старые ценности, музей ведет научно — исследовательскую, культурно — просветительскую, собирательскую деятельность, произведениями из своего собрания участвует в выставках крупнейших музеев страны.