Жан-Мишель Андре Жарр родился 24 августа 1948 года в Лионе, Франция. Сын композитора Мориса Жарра и участницы движения Сопротивления Франс Пежо (фр.)русск. (1914—2010), заключённой в годы немецкой оккупации в концентрационный лагерь Равенсбрюк (1944), сводный брат киносценариста Кевина Жарра. Бабушка Жарра происходила из семьи еврейских иммигрантов из России.
Когда Жан-Мишелю было пять лет, его родители развелись, и его отец переехал в Америку. Жан-Мишель жил со своей матерью в маленькой квартирке в пригороде Парижа. У отца и сына нормального общения не вышло.
Жан-Мишель начал учиться играть на фортепиано и гитаре уже в 5 лет. Учась в школе, параллельно брал уроки гармонии и музыкальной композиции в Парижской консерватории. Находясь под влиянием британской поп-музыки, играл на гитаре в различных парижских группах. С 1968 года был членом Группы музыкальных исследований (фр. Groupe de recherches musicales) под руководством Пьера Шеффера. В это время Жан-Мишель приобрёл свой первый синтезатор и начал сочинять электронную музыку. В 1972 году вышел его дебютный альбом «Deserted Palace».
Френсис Дрейфус стал покровителем Жарра и спродюсировал его альбом «Oxygene» (Кислород). «Космическая» синтезаторная электроника Жарра имела большой успех: альбом вскоре стал «золотым» и завоевал награду «Дисковый Гран-при» (Grand Prix du Disque). Последующие работы Жана-Мишеля значительно повлияли на развитие электронной музыки, в особенности амбиента и нью-эйджа. В общей сложности по всему миру было продано более 80 миллионов копий его альбомов.