Jouhaux arbeidet i industrien og engasjerte seg sterkt for arbeidernes kår. Han ble valgt til leder i den lokale fagforeningen som var starten på karriæren innenfor europeiske fagbevegelser. I 1909 ble han valgt til generalsekretær i landsorganisasjonen. Under verdenskrigen var han med på å utvikle ideen om å opprette en ny organisasjon innefor Folkeforbundet som skulle arbeide for arbeidernes sosiale rettigheter og arbeidsvilkår. I 1919 var Jouhaux en av stifterne av "Den internasjonale arbeidsorganisasjon" (ILO), og han var med i ledelsen resten av sitt liv.