Продажа квартиры - отказ покупателя от сделки и вопрос о возврате задатка

Ситуация такая: Мы продавали квартиру. С покупателем подписали предварительный договор купли-продажи 19.12.2013 г, в котором обязались заключить договор купли-продажи квартиры в срок до 24 января 2014 года. Причина-у покупателя не было на момент подписания предварительного договора всей суммы, но он заверил, что к 24 января они поступят. Так же в предварительном договоре указали, что покупатель уплачивает 100000 руб. при подписании предварительного договора, а оставшуюся сумму в день заключения основного договора. Отдельное соглашение о задатке не составляли, в предварительном договоре есть ссылка на ст. 381 ГК РФ. А также в предв. Договоре прописано, что деньги в сумме 100000 руб. получены продавцом. К 24 января 2014 года денег у покупателя не оказалось. Он не смог назвать точную дату, когда они появятся. Мы предложили подписать доп. соглашение к предварительному договору, отодвинуть срок до 30 января, т.к. нам нужно было вносить 31 января задаток за покупаемую квартиру. Покупатель позвонил и сказал, чтоб мы искали других покупателей, так как денег к сроку у него не будет. И просил после продажи квартиры вернуть ему хотя бы часть задатка. Мы направили 29 января письмо-заявление покупателю с предложением заключить договор купли-продажи. Ответа на письмо не поступило. Нам пришлось искать новых покупателей в срочном порядке, так как мы его прождали и упустили других. Сейчас мы продали квартиру, снизив цену, так как мы покупали квартиру большей площади и нас торопил продавец другой квартиры. Сейчас несостоявшийся покупатель просит вернуть ему деньги, Должны ли мы вернуть ему 100000 руб, или можно оставить их себе, ведь виновен в неисполнении договора он. Если вдруг он пойдет в суд, какие шансы есть у нас, что признают сумму задатком, а не авансом?