Los compañeros/as ya lo han explicado todo perfectamente.
Estoy pensando que tal vez el empresario tiene una confusión y piensa que el tener una jornada semanal de 40 horas implica trabajar necesariamente 40 horas cada semana, y no, eso será la semana que no existan festivos, puesto que, además de las vacaciones (que con ellas sí debe contar), hay que contar con que a lo largo del año hay 14 festivos oficiales, de los que la mayor parte (como mínimo suelen ser 11 o 12, pero pueden llegar a coincidir los 14) coincidirán con jornadas teóricamente de trabajo (si no fueran festivos, me refiero, por ejemplo de lunes a viernes cuando esa es la jornada realizada...).
Es decir, una jornada puede ser de 40 horas semanales, pero habrán 11, 12... hasta 14 semanas al año (las que tienen algún festivo que concide con alguno de los días de su jornada teóricamente de trabajo) que trabajará menos de esas 40 horas (32, incluso 24) y que, de lo contrario, y como ya se ha dicho, se superaría la jornada anual (pero puede verificarse, por ejemplo hay años que, según como se distribuyan esos festivos y otros factores, con la jornada de referencia puede superarse o, al contrario, quedar por debajo de la jornada anual, lo que puede implicar añadir festivos o descansos adicionales o, al reves, recuperar cierto número de horas, pero no la de todos los festivos, claro).
Saludos.