Como ya han confirmado los compañeros, en la medida en que se trata de un permiso retribuido y que no exige recuperación, a efectos del cómputo de jornada tiene la consideración de "trabajo efectivo".
Es decir, aunque, propiamente no existe trabajo efectivo, si lo que te preocupa es el cómputo de la jornada anual (o diaria, semanal...), a esos efectos computa como trabajado.
No sé si te puede estás planteando la cuestión respecto a otras posibles implicaciones (devengo de determinados conceptos ligados a trabajo realmente efectivo, especialmente los que no tengan carácter salarial y lo tengan compensatorio, como por ej podría ser un plus comida..., o descanso mínimo entre jornadas, que tampoco creo que afecte...), pero respecto a la cuestión concreta que citas, "... y sumar para el cómputo de la jornada anual", está claro que a esos efectos, "suma" (vaya, no le vas a hacer recuperar este tiempo para cumplir con la jornada anual. Si, por ejemplo, la jornada anual es de 1.800 horas, y tienes a un trabajador que no ha disfrutado de ningún permiso, que ha trabajado la totalidad de los días previstos y realizando la jornada prevista, disfrutando de sus vacaciones, etc. y ha realizado justo esas 1.800 horas de trabajo realmente efectivo, y este otro, por el disfrute de este permiso, pongamos que ha supuesto 40 horas, ha acabado trabajando realmente de forma efectiva 1.760 horas, a efectos de cumplir la jornada anual, los dos la han cumplido. Es en ese sentido que esas horas de permiso "suman", es decir, aunque no lo sean propiamente, tienen el tratamiento de "trabajo efectivo", computando como tales a efectos de cumplir con la jornada prevista).