Si quieres mantener la equivalencia real de lo que supondría disfrutar del permiso en su modalidad base, día a día, sí, descuento del cómputo tanto las vacaciones como cualquier otra ausencia o periodo de inactividad previsto.
En definitiva, considero los días hábiles previstos de trabajo efectivo dentro del periodo de referencia y si disfrutara del permiso día a día.
Saludos