Что мне будет если я откажусь возвращать эти деньги, при том, что я нигде не работаю?

Да с работника могут УДЕРЖАТь часть денежных средств полученных в счет не отработанного отпуска, ст. 137 ТК РФ -

Удержания из заработной платы работника производятся только в случаях, предусмотренных настоящим Кодексом и иными федеральными законами.

Удержания из заработной платы работника для погашения его задолженности работодателю могут производиться:

для возмещения неотработанного аванса, выданного работнику в счет заработной платы;

для погашения неизрасходованного и своевременно не возвращенного аванса, выданного в связи со служебной командировкой или переводом на другую работу в другую местность, а также в других случаях;

для возврата сумм, излишне выплаченных работнику вследствие счетных ошибок, а также сумм, излишне выплаченных работнику, в случае признания органом по рассмотрению индивидуальных трудовых споров вины работника в невыполнении норм труда (часть третья статьи 155 настоящего Кодекса) или простое (часть третья статьи 157 настоящего Кодекса);

при увольнении работника до окончания того рабочего года, в счет которого он уже получил ежегодный оплачиваемый отпуск, за неотработанные дни отпуска. Удержания за эти дни не производятся, если работник увольняется по основаниям, предусмотренным пунктом 8 части первой статьи 77 или пунктами 1, 2 или 4 части первой статьи 81, пунктах 1, 2, 5, 6 и 7 статьи 83 настоящего Кодекса.

В случаях, предусмотренных абзацами вторым, третьим и четвертым части второй настоящей статьи, работодатель вправе принять решение об удержании из заработной платы работника не позднее одного месяца со дня окончания срока, установленного для возвращения аванса, погашения задолженности или неправильно исчисленных выплат, и при условии, если работник не оспаривает оснований и размеров удержания.

Заработная плата, излишне выплаченная работнику (в том числе при неправильном применении трудового законодательства или иных нормативных правовых актов, содержащих нормы трудового права), не может быть с него взыскана, за исключением случаев:

счетной ошибки;

если органом по рассмотрению индивидуальных трудовых споров признана вина работника в невыполнении норм труда (часть третья статьи 155 настоящего Кодекса) или простое (часть третья статьи 157 настоящего Кодекса);

если заработная плата была излишне выплачена работнику в связи с его неправомерными действиями, установленными судом.

Однако, судебное взыскание данных сумм не предусмотрено.