Я должен следователю 2000 руб. Пока не отдал. Может этот факт быть основанием для отстранения его от ведения моего дела.

Что вы можете быть должны следователю? Это незаконно. Ст.291 УК РФ Дача взятки.Это является причиной не для отстранения от ведения дел, а причиной для возбуждения уголовного дела.

Это вопрос не правового характера, поэтому решайте сами свой вопрос со следователем.

Согласно ч. 1, 2 ст 61 Уголовно-процессуального кодекса РФ,

1. Судья, прокурор, следователь, начальник органа дознания, начальник подразделения дознания, дознаватель не может участвовать в производстве по уголовному делу, если он:

1) является потерпевшим, гражданским истцом, гражданским ответчиком или свидетелем по данному уголовному делу;

2) участвовал в качестве присяжного заседателя, эксперта, специалиста, переводчика, понятого, секретаря судебного заседания, защитника, законного представителя подозреваемого, обвиняемого, представителя потерпевшего, гражданского истца или гражданского ответчика, а судья также - в качестве дознавателя, следователя, прокурора в производстве по данному уголовному делу;

3) является близким родственником или родственником любого из участников производства по данному уголовному делу.

2. Лица, указанные в части первой настоящей статьи, не могут участвовать в производстве по уголовному делу также в случаях, если имеются иные обстоятельства, дающие основание полагать, что они лично, прямо или косвенно, заинтересованы в исходе данного уголовного дела.

На мой взгляд оснований для отвода следователя здесь нет, но если Вы считаете иначе, то вправе обратиться к его непосредственному начальнику с соответствующим заявлением.