¿Cómo elimino páginas no deseadas como archivos, búsqueda, etc.?

El plugin de WordPress SEO de Joost de Valk es capaz de desactivar la mayoría, si no todas, las archivaciones que mencionas:

Puedes usar otro pequeño script, sin necesidad de añadir ningún plugin. Hay un post aquí y el código para añadir en el index.php de tu tema es este:

if(is_archive()) {
    // forzar 404
    $wp_query->set_404();
    status_header( 404 );
    nocache_headers();
    include("404.php");
    die;
}

Espero que te sea útil.

Para cualquiera que se lo pregunte, terminé usando redirecciones 301 en .htaccess.

# Redirigir páginas inútiles
Options +FollowSymlinks
RewriteEngine on
RedirectMatch 301 ^/portfolio/.*$ /gallery/
RedirectMatch 301 ^/author/.*$ /
RedirectMatch 301 ^/category/.*$ /
RedirectMatch 301 ^/tag/.*$ /
RedirectMatch 301 ^/20.*$ /

El archivo de publicaciones del blog ^/20.*$ no es ideal, pero tendrá que servir por ahora. Tampoco sé qué otras páginas podrían habérseme pasado.

También se puede lograr usando el hook template_redirect.

Puedes verificar cada tipo de páginas de archivo, o "desactivarlas" por completo.

• Devolver un error 404 o redirigir a otra página, prefiero el enfoque del 404-

En functions.php :

/* Deshabilitar páginas de archivo */
add_action('template_redirect', 'my_disable_archives_function');

function my_disable_archives_function()
{
  /* Ejemplos de verificaciones condicionales:
      is_category() 
      is_tag()
      is_date()
      is_author()
      is_tax()
      is_search() ... */

    // Devolver un 404 para todos los tipos de archivo, excepto el archivo de my_custom_post_type.
    $post_types = array('my_custom_post_type');

  if ( (is_archive() && !is_post_type_archive( $post_types )) )
  {
      global $wp_query;
      $wp_query->set_404();
      status_header(404);
  }
}