Urodził się w Sławatyczach w rodzinie żydowskiej, jako syn Borysa Grynberga i Gitli z domu Blumsztajn. Po ukończeniu szkoły został nauczycielem. Od 1932 był członkiem Komunistycznej Partii Polski, a za przynależność do niej dostał wyrok trzech lat w więzieniach sanacyjnych. Okres II wojny światowej spędził w Związku Radzieckim. W latach 1942–1945 służył w Armii Czerwonej, z którą wrócił do Polski. Po zakończeniu wojny wstąpił do Polskiej Partii Robotniczej. Został przewodniczącym Komitetu Żydowskiego w Legnicy, a od 1950 pracował w Centralnym Urzędzie Drobnej Wytwórczości. W 1968 został pracownikiem Żydowskiego Instytutu Historycznego.

W 1967 r. Polska zerwała stosunki dyplomatyczne z Izraelem, co spowodowało m.in. wstrzymanie przyznawania odznaczenia Polakom ratującym Żydów. Dopiero w 1978 r. z okazji 35-lecia wybuchu powstania w getcie warszawskim przybyła do Polski delegacja z Yad Vashem, która wręczyła Polakom przyznane medale. W 1979 r. ŻIH podjął się zadania przygotowywania wniosków obywateli polskich o tytuł „Sprawiedliwy wśród Narodów Świata” dla Instytutu Yad Vashem w Jerozolimie. Kierownictwo ŻIH powierzyło wówczas ustnie Michałowi Grynbergowi misję współpracy z Instytutem. Historyk ustalił zarówno zasady opracowywania materiałów jak również tryb postępowania przy przekazywaniu sporządzonych na ich podstawie wniosków o przyznanie tytułu. Na czele Sekcji Odznaczeń Yad Vashem Michał Grynberg stał do 1989 r.