Как поступить, если компания требует вернуть часть аванса и угрожает не отдать трудовую книжку?

Абсолютно правильно, пишите жалобу в прокуратуру

Все верно. В трудовую инспекцию жалобу пишите.

могут подать в суд, вы должны доказать что все правильно

Подать могут, но вы должны будете написать отзыв на их исковое с вашим мнением

Исковые заявления в суд подают, а не в прокуратуру.

Заработная плата, излишне выплаченная работнику (в том числе, при неправильном применении трудового законодательства или иных нормативных правовых актов, содержащих нормы трудового права), не может быть с него взыскана, за исключением случаев:

- счётной ошибки;

- если органом по рассмотрению индивидуальных трудовых споров признана вина работника в невыполнении норм труда или простое;

- если заработная плата была излишне выплачена работнику в связи с его неправомерными действиями, установленными судом.

Предусмотренные ст. 137 Трудового кодекса Российской Федерации правовые нормы согласуются с положениями Конвенции международной организации труда от 1 июля 1949 г. № 95 «Относительно защиты заработной платы» (статья 8), статье 1 Протокола № 1 к Конвенции о защите прав человека и основных свобод, обязательных для применения в силу ч. 4 ст. 15 Конституции Российской Федерации, ст. 10 Трудового кодекса Российской Федерации, и содержат исчерпывающий перечень случаев, когда допускается взыскание с работника излишне выплаченной ему заработной платы, в том числе, если допущенная ошибка явилась результатом неправильного применения трудового законодательства или иных нормативных правовых актов, содержащих нормы трудового права. К таким случаям, в частности, относятся случаи, когда заработная плата была излишне выплачена работнику в связи с его неправомерными действиями, установленными судом, либо вследствие счётной ошибки.

Аналогичное положение содержится и в статье 1109 ГК РФ, так что делайте выводы...