Что происходит с задолженностью по земельному налогу при покупке дома с земельным участком?

Плательщиками налога признаются организации, обладающие земельными участками, признаваемыми объектом налогообложения в соответствии со ст. 389 НК РФ, на праве собственности, праве постоянного (бессрочного) пользования или праве пожизненного наследуемого владения (п. 1 ст. 388 НК РФ).

В случае возникновения (прекращения) у налогоплательщика в течение налогового (отчетного) периода права собственности на земельный участок (его долю) исчисление суммы налога (суммы авансового платежа по налогу) в отношении данного земельного участка производится с учетом коэффициента, определяемого как отношение числа полных месяцев, в течение которых этот земельный участок находился в собственности (постоянном (бессрочном) пользовании, пожизненном наследуемом владении) налогоплательщика, к числу календарных месяцев в налоговом (отчетном) периоде. При этом, если возникновение права собственности на земельный участок (его долю) произошло до 15-го числа соответствующего месяца включительно или прекращение указанного права произошло после 15-го числа соответствующего месяца, за полный месяц принимается месяц возникновения (прекращения) указанного права. Если возникновение права собственности на земельный участок (его долю) произошло после 15-го числа соответствующего месяца или прекращение указанного права произошло до 15-го числа соответствующего месяца включительно, месяц возникновения (прекращения) указанного права не учитывается при определении коэффициента.

Таким образом, У Вас возникнет обязанность по уплате земельного налога лишь с момента регистрации права собственности на земельный участок.

Будем ли мы выплачивать эту задолженность

Нет, поскольку субъектом налогообложения является собственник(физ. лицо), а не объект недвижимости.

или после регистрации договора купли-продажи для нас начнется новое исчисление, а долги останутся за бывшей владелицей?

Верно, однако зарегистрировать право собственности на данный з/у Вы сможете лишь при отсутствии на него обременений.