В. Г. Шварц родился в семье генерала, участника Отечественной войны 1812 г. Раннее детство провел на Кавказе, где служил отец. В 1853-59 г. учился в Царскосельском лицее. Рисунок там преподавали академические художники, и Шварц, наделенный способностями к рисованию, получил у них первые серьезные навыки.