¿Debería eliminar los temas predeterminados de WordPress?

Depende totalmente de ti — es tu elección.

En mi opinión, cuando tienes un tema activado diferente a "TwentyEleven", "TwentyTwelve" o "TwentyThirteen", ¿para qué los necesitas? Especialmente si tienes problemas de espacio limitado en el servidor, donde cada kilobyte es importante. (Pero el espacio que ocupa un tema es demasiado mínimo como para ser un problema. ^{— comentó Saildude})

Pero como dijiste,

¿O debería actualizarlos y mantenerlos ahí para posibles soluciones de problemas en el futuro?

Sí, a veces recomendamos probar algún tema predeterminado en lugar del activo para encontrar un error. Pero ya sabes, si tienes acceso a cPanel/FTP, puedes subirlos en cualquier momento.

Y por razones de seguridad: no creo que un tema desactivado pueda ser causa de un hackeo del sitio, especialmente si son temas proporcionados por WordPress.org. Pero estamos hablando solo de los temas predeterminados — para otros, no tengo opinión.

Así que, para mí, depende totalmente de LO QUE TÚ QUIERAS.

Si valoras la seguridad:

Si no estás utilizando un tema, es altamente recomendable que lo elimines. No hay razón para mantener código sin usar que podría albergar vulnerabilidades y estar sujeto a actualizaciones frecuentes. Esto aplica tanto para temas como para plugins que no estés utilizando.

Si tu sitio WordPress sufre una vulnerabilidad y es hackeado, es común que los atacantes suban y oculten una gran cantidad de archivos infectados en directorios comunes, incluyendo las carpetas de los temas predeterminados de WordPress. Si no tienes estos temas instalados, habrás facilitado el diagnóstico y resolución del problema.

Mantén al menos uno y, si es posible, el más reciente.

La razón de esto es que si tu tema falla, volverá al tema predeterminado y al menos mostrará tu contenido.

Pero también asegúrate de que siempre esté actualizado.

Además, para solucionar problemas, a veces querrás activar el tema predeterminado para encontrar problemas en tu tema.

Es útil mantener los temas predeterminados antiguos para pruebas; sin embargo, al igual que con los plugins, conservar temas/plugins antiguos sobrecargará tu panel de administración y lo hará más lento. Para obtener una velocidad y rendimiento óptimos, mantén solo los plugins y temas que estés utilizando activamente.

Puedo entender mantenerlo para pruebas, pero yo siempre he eliminado los temas que no estoy usando... a menos que hayas construido un sitio en un tema anterior que utilice imágenes y/o [shortcodes], recomendaría mantenerlo hasta que hayas solucionado todos esos problemas. La razón es que, si cambias a un nuevo tema y eliminas el anterior, puede estropear algunas páginas (si usaste shortcodes y a veces incluso imágenes que pueden ser exclusivas del tema anterior).

He encontrado MUCHOS temas anteriores en mi servidor que nunca eliminé y que estaban infectados, y gracias a Dios nunca activé ese tema, aunque el nuevo tema tenga todas las campanas y silbatos de seguridad.

Mi respuesta sería: elimínalos si nunca los has usado. Si necesitas volver atrás para pruebas, tómate 2 minutos y reinstala ese tema... pero bueno, podría estar equivocado.

Cuando creas un nuevo tema con un nombre nuevo, necesitas activarlo desde el panel de administración y el tema se aplicará a tu sitio. Si eliminas el tema predeterminado que viene incluido, cada vez que actualices WordPress, este cambiará automáticamente al tema predeterminado. Por lo tanto, si hay algún problema con tu nuevo código, puedes verificarlo en el tema predeterminado.