Оформление наследства при отсутствии завещания от матери - есть ли доля умершей матери в доме, завещанном отцом старшему брату?

Да, доля могла остаться в том имуществе, которое было приобретено Вашими родителями в период брака на общие деньги, даже если это имущество было приобретено на имя отца, то это не лишало Вашу маму права на супружескую долю (50%). Для начала Вам нужно обратиться к нотариусу по месту открытия наследства.

смертью отец (умер 8 лет назад) завещал свое имущество старшему брату, а мать завещание не писала, и тоже умерла 4 года назад осталась ли доля умершей матери в этом доме?

Конечно есть доля матери в праве на дом. Даже если это имущество не было совместно нажитым, то мать наследовала обязательную долю в соответствии со ст.1149 ГК РФ

Статья 1149. Право на обязательную долю в наследстве

1. Несовершеннолетние или нетрудоспособные дети наследодателя, его нетрудоспособные супруг и родители, а также нетрудоспособные иждивенцы наследодателя, подлежащие призванию к наследованию на основании пунктов 1 и 2 статьи 1148 настоящего Кодекса, наследуют независимо от содержания завещания не менее половины доли, которая причиталась бы каждому из них при наследовании по закону (обязательная доля).

2. Право на обязательную долю в наследстве удовлетворяется из оставшейся незавещанной части наследственного имущества, даже если это приведет к уменьшению прав других наследников по закону на эту часть имущества, а при недостаточности незавещанной части имущества для осуществления права на обязательную долю - из той части имущества, которая завещана.

3. В обязательную долю засчитывается все, что наследник, имеющий право на такую долю, получает из наследства по какому-либо основанию, в том числе стоимость установленного в пользу такого наследника завещательного отказа.

4. Если осуществление права на обязательную долю в наследстве повлечет за собой невозможность передать наследнику по завещанию имущество, которым наследник, имеющий право на обязательную долю, при жизни наследодателя не пользовался, а наследник по завещанию пользовался для проживания (жилой дом, квартира, иное жилое помещение, дача и тому подобное) или использовал в качестве основного источника получения средств к существованию (орудия труда, творческая мастерская и тому подобное), суд может с учетом имущественного положения наследников, имеющих право на обязательную долю, уменьшить размер обязательной доли или отказать в ее присуждении.

Зависит от того, каким образом был приобретен дом. если он был приобретен (или построен) в браке на совместно нажитые средства, то там есть супружеская доля матери, которую Вы вправе наследовать. Кроме того у матери возможно было право на обязательную долю в наследстве, независимо от завещания. Обращайтес в личные сообщения за подробной консультацией.