Родился в семье Витебских дворян.
Получил образование в Артиллерийском и инженерном шляхетском кадетском корпусе, присоединяется к Гатчинской артиллерийской команде.
Был назначен дежурным генералом при графе Аракчееве, что впоследствии скажется на его и без того головокружительной карьере.
Командовал 7-й пехотной дивизией, отличился в боях под Смоленском и Бородино. В сражении под Лейпцигом Капцевич был серьезно контужен и, несмотря на это, одним из первых вошел в город.
Назначен командующим войсками на сибирских линиях (отдельного Сибирского корпуса).
Становится первым генерал-губернатором Западной Сибири. Ему пришелся по душе военный уклад жизни города и он признавал выгодное стратегическое положение Омска для решения военно-политических задач в управлении регионом. Поэтому он сохранил свою резиденцию в Омске после назначения генерал-губернатором.
Пытался добиться официального признания Омска столицей генерал-губернаторства, но получил отказ. По мнению власти, в Омске было недостаточно удобных зданий для государственных чиновников.
Перевел из Тобольска в Омск Совет Главного управления Западной Сибири. На своем посту в Омске сделал большой вклад в развитие города: преобразовал работу войскового казачьего училища, улучшил быт ссыльных, положил начало омской промышленности (строительство суконной фабрики). В соответствии с новым архитектурным планом город застраивался зданиями – магометанская мечеть, здания воинской канцелярии, военного госпиталя и т.д.
Командовал Отдельным корпусом внутренней стражи.
Скончался в имении своего сослуживца генерала Е. Тимашева в селе Никольское Сакмарского уезда, под Оренбургом.
