Efectivamente, si le das de baja no cotizas.
Si esta situacion va a durar varios meses, entiendo que es lo más práctico.
Lo del permiso sin sueldo puede ser una buena solución cuando se trata de periodos de inactividad más cortos (unos días, unas pocas semanas, un mes), ya que para la empresa supone la obligación de seguir cotizando (si hablamos de varios meses el coste es considerable).
En todo caso, hay que ver si el convenio de aplicación contempla y regula estos supuestos.
Saludos