Можно ли дать отвод представителю ответчика если раньше с этим же вопросом обращался как к адвокату.

Нет. Статья 16 ГПК. Основания для отвода судьи

1. Мировой судья, а также судья не может рассматривать дело и подлежит отводу, если он:

1) при предыдущем рассмотрении данного дела участвовал в нем в качестве прокурора, секретаря судебного заседания, представителя, свидетеля, эксперта, специалиста, переводчика;

2) является родственником или свойственником кого-либо из лиц, участвующих в деле, либо их представителей;

3) лично, прямо или косвенно заинтересован в исходе дела либо имеются иные обстоятельства, вызывающие сомнение в его объективности и беспристрастности.

2. В состав суда, рассматривающего дело, не могут входить лица, состоящие в родстве между собой.

Статья 18. Основания для отвода прокурора, секретаря судебного заседания, эксперта, специалиста, переводчика

1. Основания для отвода судьи, указанные в статье 16 настоящего Кодекса, распространяются также на прокурора, секретаря судебного заседания, эксперта, специалиста, переводчика.

Эксперт или специалист, кроме того, не может участвовать в рассмотрении дела, если он находился либо находится в служебной или иной зависимости от кого-либо из лиц, участвующих в деле, их представителей.

Не имеете. Отвод заявляется либо судьям, либо секретарю, либо помощнику, прокурору, специалисту, переводчику, эксперту, и то на это должны быть веские основания. Хотя мне, как представителю, конечно однажды заявили отвод, на что судья лишь улыбнулась.

А вобще статья очень нерабочая. Например, откуда простой человек может знать, кем и где раньше работал прокурор или судья.