Mostrar diferente cantidad de posts en la primera página

EDITADO - RESPUESTA REVISADA

He estado trabajando en otra solución que en realidad es mejor que la respuesta original. Esto no involucra ninguna consulta personalizada y creo que para todos los propósitos mi respuesta original puede descartarse pero se mantiene con fines informativos

Sigo creyendo que estás en la página de inicio y también trataré esto como tal. Así que esta es mi nueva solución

PASO 1

Elimina la consulta personalizada de la página de inicio y reemplázala con el bucle predeterminado

<?php

        if ( have_posts() ) :
            // Inicia el Bucle.
            while ( have_posts() ) : the_post();

                ///<---TU BUCLE--->

            endwhile;

                //<---TU PAGINACIÓN--->   

            else : 

                //NO SE ENCONTRARON PUBLICACIONES O ALGO   

            endif; 

    ?>

PASO 2

Usa pre_get_posts para alterar la consulta principal y agregar tu taxonomía personalizada a la consulta principal para mostrar en la página de inicio.

PASO 3

Ahora, obtén la opción posts_per_page configurada desde el backend (que asumo es 2) y también establece tu offset que vamos a usar. Eso será 1 ya que necesitarás 3 publicaciones en la primera página y 2 en el resto

$ppg = get_option('posts_per_page');
$offset = 1;

PASO 4

En la primera página, necesitarás agregar el offset a posts_per_page que sumará 3 para obtener tus tres publicaciones en la primera página.

$query->set('posts_per_page', $offset + $ppp);

PASO 5

Debes aplicar tu offset a todas las páginas siguientes, de lo contrario obtendrás una repetición de la última publicación de la página en la siguiente página

$offset = $offset + ( ($query->query_vars['paged']-1) * $ppp );
$query->set('posts_per_page',$ppp);
$query->set('offset',$offset); 

PASO 6

Por último, necesitas restar tu offset de found_posts de lo contrario tu paginación en la última página será incorrecta y te dará un error 404 ya que faltará la última publicación debido al conteo incorrecto de publicaciones

NOTA: Este fragmento de código rompió la paginación en la página de búsqueda. Esto ahora está corregido, mira el código actualizado

function homepage_offset_pagination( $found_posts, $query ) {
    $offset = 1;

    if( $query->is_home() && $query->is_main_query() ) {
        $found_posts = $found_posts - $offset;
    }
    return $found_posts;
}
add_filter( 'found_posts', 'homepage_offset_pagination', 10, 2 );

TODO JUNTO

Así es como se verá tu consulta completa que debería ir en functions.php

function tax_and_offset_homepage( $query ) {
  if ($query->is_home() && $query->is_main_query() && !is_admin()) {
    $query->set( 'post_type', 'my_post_type' );
    $query->set( 'post_status', 'publish' );
    $query->set( 'ignore_sticky_posts', '-1' );
    $tax_query = array(
        array(
            'taxonomy' => 'my_taxo',
            'field' => 'slug',
            'terms' => array('slug1', 'slug2', 'slug3')
        )
    );
    $query->set( 'tax_query', $tax_query );
    $ppp = get_option('posts_per_page');
    $offset = 1;
    if (!$query->is_paged()) {
      $query->set('posts_per_page',$offset + $ppp);
    } else {
      $offset = $offset + ( ($query->query_vars['paged']-1) * $ppp );
      $query->set('posts_per_page',$ppp);
      $query->set('offset',$offset);
    }
  }
}
add_action('pre_get_posts','tax_and_offset_homepage');

function homepage_offset_pagination( $found_posts, $query ) {
    $offset = 1;

    if( $query->is_home() && $query->is_main_query() ) {
        $found_posts = $found_posts - $offset;
    }
    return $found_posts;
}
add_filter( 'found_posts', 'homepage_offset_pagination', 10, 2 );