У мамы умерла сестра, осталась квартира. Был брат умер. У мамы 3 детей, у брата 2 детей. У сестры никого. Кто наследник квартиры?

Дети, супруг и родители являются наследниками первой очереди в равных долях (ст.1142 ГК РФ).

Если нет наследников первой очереди, то наследство получит сестра умершей, как наследница второй очереди ст. 1143 ГК

Дети брата наследуют по праву представления, в соответствии со ст.1146 ГК РФ

Дети сестры в данном случае не будут наследниками

Таким образом, наследство в Вашем случае разделится между Вашей мамой и двумя детьми умершего брата

ГК РФ Статья 1143. Наследники второй очереди

1. Если нет наследников первой очереди, наследниками второй очереди по закону являются полнородные и неполнородные братья и сестры наследодателя, его дедушка и бабушка как со стороны отца, так и со стороны матери.

2. Дети полнородных и неполнородных братьев и сестер наследодателя (племянники и племянницы наследодателя) наследуют по праву представления.

ГК РФ Статья 1146. Наследование по праву представления

1. Доля наследника по закону, умершего до открытия наследства или одновременно с наследодателем (пункт 2 статьи 1114), переходит по праву представления к его соответствующим потомкам в случаях, предусмотренных пунктом 2 статьи 1142, пунктом 2 статьи 1143 и пунктом 2 статьи 1144 настоящего Кодекса, и делится между ними поровну.

У тётки нет супруга и детей.