Grünberg wurde im böhmischen Pilsen geboren, das von den Nazis kontrolliert wurde. Sie nannten das Land das Protektorat von Böhmen und Mähren und es ist heute als Tschechische Republik bekannt. Grünbergs Vater hieß Fjodor Grinberg, aber 1941 änderte er seinen Namen in Fjodor Grünberg.
Der Rest der Familie Grünberg wohnte einige Zeit im Petermann-Haus in Untersekerschan, aber nach dem Zweiten Weltkrieg wurden alle in Pilsen lebenden Menschen, die Deutsch sprachen, von der tschechischen Regierung gezwungen, das Land zu verlassen. Man nannte dies die Beneš-Dekrete. Er zog mit seiner Mutter (die 2002 im Alter von 74 Jahren starb) und seiner Schwester nach Lauterbach in Hessen. Dort besuchte er ein Gymnasium (Sekundarschule).
Grünberg erhielt 1962 ein Diplom von der Johann Wolfgang Goethe-Universität. Anschließend studierte er an der Technischen Hochschule Darmstadt, wo er 1966 sein Diplom in Physik und 1969 seine Promotion erhielt. Von 1969-1972 studierte er an der Carleton University in Ottawa, Kanada. Später wechselte er an das Institut für Festkörperphysik des Forschungszentrums Jülich, wo er bis zu seiner Pensionierung im Jahr 2004 eine führende Rolle in der Erforschung des Magnetismus einnahm.