Tan sólo contaba con nueve años de edad cuando el delantero abandonó su equipo local, el Bron Terraillon, para pasar a formar parte de la plantilla juvenil del Olympique. Benzema ascendió rápidamente por las categorías del equipo, donde consiguió 38 goles en tan sólo una temporada, con los menores de 16 años, y un año más tarde consiguió 12 goles en 14 partidos con los menores de 18.
Tras deslumbrar cada fin de semana, Paul Le Guen, el entrenador del primer equipo, no lo dudo ni un segundo y decidió convocarle. La anécdota del día en el que se presentó a sus nuevos compañeros, fue que al igual que todos los juveniles que ascienden al primer equipo, tuvo que presentarse ante los más veteranos del vestuario y, ante los gestos sonrientes de sus nuevos colegas, dijo: "No os riáis. He venido para quitaros el puesto".
Debutó en liga el 15 de enero de 2005 ante el Metz, saliendo al campo a falta de quince minutos para el final para acabar dando una asistencia de gol. A los pocos días de su debut, y conscientes desde el club del gran potencial de Benzema, el Lyon le ató por tres años. En las dos temporadas siguientes la presencia de Benzema fue limitada. Jugó 34 partidos y marcó sólo seis goles.
La temporada cumbre para el francés fue la 2007/08. Tras la salida de jugadores imporantes como Malouda, Carew y Wiltord, Benzema se adjudicó el dorsal ‘10’ y se estableció como delantero titular del equipo con Alain Perrin como entrenador. Esa temporada anotó 31 goles en 51 partidos. Ese mismo año, el Olympique conquistó el primer doblete de la historia, y gran parte de esa culpa fue de Karim.
En marzo de 2008, Benzema firmó un año más con el Lyon y se convirtió en uno de los futbolistas mejor pagados del fútbol francés. Meses más tarde fue elegido ‘Jugador del año en la Ligue 1’, y consiguió el trofeo al máximo goleador del campeonato.
Benzemá empezó muy bien la temporada 2008/09, pero tras el parón invernal, alternó varias etapas de sequía goleadora que coincidieron con las primeras derrotas del Lyon en el campeonato y que, finalmente, le costaron al equipo perder opciones para pelear su octavo título consecutivo. Benzema logró terminar la temporada liguera con 17 goles, una cifra que quedó muy lejos de la conseguida la temporada pasada. En julio, el galo fichó por el Real Madrid por 35 millones de euros.