Родился в семье служащего, отец — Ицхок (Ицык) Давидович Рыбаков, мать — Лея Мовмевна, урожденная Гармиза. Детские годы поэта проходили в Бодайбо. В 1930 семья Рыбаковых возвратилась в Иркутск, и Моисей стал учиться в средней школе № 11. В школе он принимал активное участие в драматическом и литературном кружках. Школу окончил с отличием в 1936 году. Затем поступил в Иркутский государственный университет на физико-математический факультет. В студенческие годы увлекался поэзией. Сначала его стихи публикуют в стенгазете, потом в областных газетах, в журнале «Сибирские огни», альманахе «Новая Сибирь».
После учебы в университете, который также окончил с отличием и блестящей характеристикой, он был приглашен в аспирантуру, в Институт физики Академии наук СССР. С началом Великой Отечественной войны, в июле 1941 года призван в армию Иркутским ГВК и направлен в Военно-инженерное училище. После окончания ускоренного курса училища, в феврале 1942 года отправлен на фронт. В армии Рыбаков прошёл путь от старшего адъютанта до старшего помощника начальника оперативно-разведовательного отдела штаба 9-й инженерно-минной бригады 28 Армии Южного фронта в звании капитана. Будучи курсантом училища, он написал известное стихотворение «Мы с Байкала». Один из иркутских композиторов переложил слова стихотворения на музыку. И эту песню пели уезжавшие на фронт красноармейцы.
Рыбаков сражался на Юго-Западном, Сталинградском и Южном фронтах, героически погиб 17 июля 1943 года при подготовке переправы наших войск через реку Миус неподалеку от села Русское Ростовской области. Как писали фронтовые товарищи матери и сестре Рыбакова, вражеская мина настигла его на берегу, находившемся ещё в руках гитлеровцев, но бойцы-саперы под огнём противника переправили тело своего командира в расположение бригады и с воинскими почестями похоронили прямо в степи. Позднее останки воина-сибиряка были перенесены вместе с другими в братскую могилу. В память о героях сооружен обелиск. В списке захороненных Рыбаков значится под № 643. Среди вещей погибшего поэта, присланных из части родным, оказались письма, стихи, наброски пьесы «Мы - солдаты».
Рыбаков был посмертно награжден орденами: Отечественной войны I-ой степени и Красной Звезды. Его имя увековечено на мемориальных досках средней школы № 11 в пер. Богданова, 6 и Иркутском государственном университете на бульваре Гагарина, 20. Кроме того, на ул. Лермонтова, 126 стоит стела, облицованная розовым мрамором с гравированным текстом, именами Героев Советского Союза, среди которых имя М. А. Рыбакова.