Мое мнение, что нет, т.к. делегат - лицо ответственное за данный голос в данном голосовании и отвечать он должен за последствия голосования путем ответа перед лицами, которых он представляет. Таким образом он может лишиться всех голосов, но уже после голосования.

Мне кажется, вы слишком много хотите дать делегату, отобрав это у обычных голосующих.

Не забывайте про сложные решения. С возможностью отмены голоса останутся только популисты.