Gimė 1884 12 22 Rokėnų kaime, Antazavės valsčiuje, Zarasų rajone. Pripažintas vienu ryškiausių savo kartos lietuvių kompozitorių.
Tai pirmasis lietuvių kompozitorius, reguliariai kūręs simfoninę muziką, kurioje tęsė sodrią vėlyvojo programinio romantizmo tradiciją. Nors iki 30-ies metų Gruodis buvo vargonininku provincijoje, vėliau studijavo Maskvos ir Leipcigo konservatorijose, o grįžęs į Kauną, dirbo Valstybės operos dirigentu ir 1933 m. įkūrė Kauno konservatoriją – pirmąją aukštąją muzikos mokyklą Lietuvoje, tapo jos direktorium ir pirmuoju kompozicijos profesorium. Gruodis intensyviai domėjosi senąja lietuvių liaudies muzika – melodijomis ir polifoninėms sutartinėmis, dažnai jas harmonizavo, o ilgainiui sukūrė individualų stilių iš nuosaikiai modernių išraiškos priemonių ir lietuvių tautinės muzikos elementų, esminėmis nuostatomis gana artimą Béla'os Bartóko ir Leošo Janáčeko estetikai. Gruodžio pažiūros ilgą laiką darė stiprią įtaką daugeliui lietuvių kompozitorių. Pirmąsias muzikos žinias gavo iš tėvo – dailidės ir muzikos instrumentų meistro. Mokėsi Antazavės pradžios mokykloje, Obeliuose pas Miką Petrauską ir vargonininką P. Lotočką. Baigęs Rokiškio muzikos mokyklą, 1901–1902 m. vargonininkavo Raguvėlėje, 1903–1905 m. – Utenoje. Čia suorganizavo mėgėjų chorą ir orkestrą, rengė vakarus-koncertus, kuriuose pats smuikuodavo ir dainuodavo. 1905–1908 m. vargonininkavo ir vadovavo chorams Mintaujoje bei Utenoje. 1909–1914 m. su savo mokiniu Juozu Karosu vargonininkavo ir vadovavo chorams Leliūnuose, Kuktiškėse, Alantoje. 1914 m. išvyko į Maskvą, kur vienus metus privačiai mokėsi harmonijos pas N. Laduchiną, kontrapunkto – pas A. Iljinskį. 1915–1916 m. Maskvos konservatorijoje studijavo muzikos teoriją pas A. Iljinskį ir A. Gedikę, vadovavo Lietuvių studentų draugijos chorui. 1916 m. dėl ligos buvo priverstas studijas nutraukti ir išvykti gydytis į Jaltą. Mobilizuotas į carinę armiją, apie metus dirbo kariuomenės orkestro kapelmeisteriu, vėliau, iki 1920 m., gydėsi ir gyveno Jaltoje, privačiai mokėsi kompozicijos pas kompozitorių V. Rebikovą, dėstė Jaltos liaudies konservatorijoje, vadovavo lietuvių išeivių chorui, rengė Antano Grudzinsko vakarus-koncertus. 1920 m. grįžo į Lietuvą, Kaune surengė savo kūrinių koncertą. Gavo Švietimo ministerijos stipendiją ir išvyko studijuoti į Leipcigo konservatoriją. Iki 1924 m. Leipcigo konservatorijoje studijavo kompoziciją pas S. Krėlį, P. Grenerį ir Z. Kargą-Elertą, o dirigavimą – pas profesorių H. Sittą ir M. Hochkoflerį. 1924–1927 m. buvo Valstybės teatro antrasis dirigentas. Dirigavo šias premjeras: Džakomo Pučini „Toską“ (1924 m. spalio 28 d.), Piotro Čaikovskio „Pikų damą“ (1925 m. gegužės 22 d.),Richardo Wagnerio „Lohengriną“ (1926 m. kovo 3 d.), Džiuzepės Verdi „Kaukių balių“ (1926 m. spalio 30 d.) ir F. Halėvy „Žydę“ (1927 m. kovo 6 d.). Dirigavo operos kolektyvo gastrolėse Klaipėdoje 1925 m. Nuo 1926 m. dėstė muzikos teorijos disciplinas Kauno muzikos mokykloje, 1927–1937 m. ir 1940 m. buvo muzikos mokyklos ir konservatorijos direktorius, teorijos-kompozicijos klasės vedėjas. J. Gruodis dalyvavo Lietuvos filharmonijos, Lietuvos muzikų ir chorvedžių draugijų veikloje. Buvo 1928 ir 1930 m. visos Lietuvos dainų švenčių Kaune jungtinio choro dirigentas, 1931 m. Visuotinė latvių Dainų ir Šokių šventės lietuvių choro dirigentas, 1940–1941 m. Lietuvos kompozitorių sąjungos organizacinio komiteto pirmininkas, rinktas Kauno miesto liaudies deputatų tarybos deputatu. 1929 m. J. Gruodis išrinktas Latvijos, 1932 m. – Helsinkio konservatorijų garbės nariu. 1929 m. įteiktas „Italijos karūnos“ ordinas. 1936 m. pirmam iš lietuvių muzikų suteiktas kompozicijos profesoriaus vardas. 1944 m. suteiktas nusipelniusio meno veikėjo vardas. Mirė Juozas Gruodis 1948 metų balandžio 16 d. Kaune, palaidotas Petrašiūnų kapinėse. 1960 m. Petrašiūnų kapinėse pastatytas antkapinis paminklas (skulptorius Vladas Žuklys, architektas Vytautas Dičius). 1984 m. kompozitoriaus 100-ųjų gimimo metinių proga, Kauno valstybinio muzikinio teatro sodelyje pastatytas paminklinis biustas iš granito (skulptorius Konstantinas Bogdanas, architektas Jonas Jucaitis). 1945 m. skulptorius Petras Rimša sukūrė J. Gruodžiui skirtą medalioną. 1974 m. Žaliakalnyje, name, kuriame gyveno kompozitorius, įsteigtas J. Gruodžio memorialinis muziejus. 1984 m. gruodžio 20 d. atidaryta pirmoji ekspozicija, 1994 m. atnaujinta, papildyta iki tol neskelbta archyvine medžiaga. 1948 m. balandžio 17 d. Kauno muzikos mokyklai suteiktas J. Gruodžio vardas. Nuo 1993 m. rugsėjo 1 d. mokykla vadinama Juozo Gruodžio konservatorija. Čia veikia muziejus, kurio ekspozicijoje nušviečiama profesoriaus veikla. Kas dveji metai organizuojami Kauno ir kitų šalies miestų muzikos ir meno mokyklų Juozo Gruodžio vardo jaunųjų dirigentų konkursai.