En función de lo que alojes en el terrario, podrías poner una manta térmica que a la vez de aumentar la temperatura sobretodo en la zona inferior, favorecería la condensación del agua de la "piscina".
Plantar plantas tambien ayudará a mantener la humedad.
Los sistemas de calefacción domésticos tipo aire acondicionado con bomba de calor ayudan a resecar el ambiente: es posible que, ahora con el frío, si tienes uno encendido, haga que la humedad del de la habitación (y en consecuencia del terrario) descienda.
Finalmente, tambien puedes usar un sistema nebulizador (fogger) o de lluvia conectado al que le puedas programar (2 o 3) periodos de (~10) segundos.
Si mojas la grava, el agua es posible que se te acabe encharcando y sería conveniente habilitar algun tipo de salida a la parte inferior del terrario.