Od 2021 roku reprezentował barwy Luynes Sports, występującego obecnie na szóstym poziomie rozgrywkowym we Francji. Po raz ostatni przebywał na boisku przez 84 minuty w niedzielnym spotkaniu z AS Maximoise.
Jérémy Mathieu to wychowanek FC Sochaux-Montbéliard, z którym w sezonie 2003/2004 sięgnął po Puchar Ligi Francuskiej. W Ligue 1 reprezentował także Toulouse FC.
Następnie przeniósł się do Valencii, gdzie spędził pięć sezonów i zadebiutował w europejskich pucharach.
W latach 2014-2017 występował w Barcelonie. Zdobył w tym czasie osiem trofeów, w tym dwukrotnie mistrzostwo Hiszpanii i Puchar Króla, a także triumfował w Lidze Mistrzów w sezonie 2014/2015.
Później zawodnik grający zwykle jako lewy lub środkowy obrońca był jeszcze związany ze Sportingiem CP. Z drużyną z Lizbony sięgnął po Puchar Portugalii oraz dwa razy po Puchar Ligi. W 2020 roku doznał poważnej kontuzji kolana, przez co nie mógł kontynuować kariery na najwyższym poziomie.
W przeszłości pięciokrotnie wystąpił w reprezentacji Francji, jednak tylko w meczach towarzyskich.