Как заключить договор аренды с гражданином Беларуси, при этом его не регистрируя в квартире?

Вы можете заключить обычный договор без регистрации также как и с гражданином РФ никаких ограничений нет.

Пётр, не договор аренды, а договор найма жилого помещения заключается.

Что касаемо Вашего вопроса, теоретически Вы можете заключить договор найма без регистрации в квартире, но это будет незаконно. Поскольку иностранный гражданин должен быть зарегистрирован по месту фактического проживания.

Постановление Правительства РФ от 15.01.2007 N 9 (ред. от 07.12.2020) "О порядке осуществления миграционного учета иностранных граждан и лиц без гражданства в Российской Федерации"

3. Постоянно или временно проживающий в Российской Федерации иностранный гражданин, обладающий правом пользования жилым помещением, находящимся на территории Российской Федерации, для осуществления регистрации по месту жительства подает в территориальный орган Министерства внутренних дел Российской Федерации в месте нахождения жилого помещения непосредственно - лично или в электронной форме с использованием федеральной государственной информационной системы "Единый портал государственных и муниципальных услуг (функций)" (далее - электронная форма) либо через многофункциональный центр предоставления государственных и муниципальных услуг (далее - многофункциональный центр) заявление иностранного гражданина или лица без гражданства о регистрации по месту жительства, в том числе с заполненной отрывной частью, установленной формы (далее - заявление о регистрации).

Заявление о регистрации подается в течение 7 рабочих дней с даты получения иностранным гражданином разрешения на временное проживание или вида на жительство либо с даты его прибытия в место нахождения указанного жилого помещения.

То есть если он не будет платить и я подам на него в суд, договор будет признан недействительным из-за отсутствия регистрации?