¿Es posible mostrar un botón solo si el usuario ha iniciado sesión?

Puedes usar esto en cualquier página/plantilla de WordPress.

<?php if ( is_user_logged_in() ) : ?>
    //Código solo para usuarios logueados
<?php endif; ?>

Consulta la documentación para más información: https://developer.wordpress.org/reference/functions/is_user_logged_in/

Solución más simple: Puedes usar CSS puro de la siguiente manera:

.button-class {display: none;}
.logged-in .button-class {display: block;}

Para mí solo funciona

/* mostrar botón del blog solo si está conectado */
li.button-class {
    visibility: hidden !important;
    display: none !important;
}
.logged-in li.button-class { 
    visibility: visible !important;
    display: inline-block !important;
}

Prueba esto

// Agrega la acción al hook 'loop_start'
add_action( 'loop_start', 'tu_funcion' );

// Define la función personalizada
function tu_funcion() {
    // Comprueba si el usuario está logueado
    if ( is_user_logged_in() ) {
        // Si está logueado, muestra el elemento li con clase 'hide'
        echo '<li id="text-2" class="hide">';
    } else {
        // Si no está logueado, muestra el elemento li sin clase
        echo '<li id="text-2">'; 
    }
}

Esto es lo que uso:

functions.php (en el tema hijo):

add_action('shutdown', function() {
    $final = '';
    $levels = ob_get_level();
    for ($i = 0; $i < $levels; $i++)
    {
        $final .= ob_get_clean();
    }
    echo apply_filters('final_output', $final);
}, 0);

add_filter('final_output', function($output) {
  $display1 = 'none';
  $display2 = 'block';

  if(is_user_logged_in()) {
    $display1 = 'block';
    $display2 = 'none';
  }

  $from = array('%display1%', '%display2%');
  $to = array($display1, $display2);
  $output = str_replace($from,$to,$output);

  return $output;
});

CSS:

.for-logged-in-users {
display: %display1%;
}
.for-logged-out-users {
display: %display2%;
}

Luego simplemente puedes añadir estos dos nombres de clase a los elementos que quieras mostrar/ocultar. De esta forma puedes mostrar/ocultar cualquier elemento basado en cualquier lógica.