В январе 1918 года вступил в Красную армию. Участник Гражданской войны. Участвовал в боях с белочехами от г. Верх-Нейвинска до Н.Тагила рядовым 2 Горного полка. При переформировании полка был назначен командиром роты 267 стрелкового полка и направлен под г.Тунгур. Участвовал в боях по освобождению Урала и Сибири от колчаковских войск. В 1920 году переброшен с 30 стрелковой дивизией на Врангелевский фронт, участвовал в штурме Перекопа и района Чонгарского моста. За бой под Перекопом Рыбаков В.Г. был награжден орденом Красного Знамени, который ему вручал в Москве, в Кремле М.И.Калинин, в присутствии В.И.Ленина.

После окончания Гражданской войны Рыбаков работал в Нижней Салде военкомом, а затем начальником милиции. По поручению райкома партии руководил пионерским движением. Продолжительное время работал в Осоавиахиме, руководил военной подготовкой трудящихся.

Был командиром отряда по подавлению восстания крестьян в деревне Северная.

В годы Великой Отечественной войны был командиром строительного батальона в г.Бокситы (ныне Североуральск) и в г.Ташкент.