Verificar nombre de usuario correcto en formulario de inicio de sesión personalizado

Aquí está una versión actualizada del código de @bainternet con los errores de sintaxis corregidos, la sugerencia de @Val y el generador de claves de wp-login.php 3.4.2:

global $wpdb;
$username = trim($_POST['user_login']);
$user_exists = false;
// Primero verificar por nombre de usuario
if ( username_exists( $username ) ){
    $user_exists = true;
    $user = get_user_by('login', $username);
}
// Luego, por dirección de correo electrónico
elseif( email_exists($username) ){
        $user_exists = true;
        $user = get_user_by_email($username);
}else{
    $error[] = '<p>'.__('Nombre de usuario o correo electrónico no encontrado, ¡inténtalo de nuevo!').'</p>';
}
if ($user_exists){
    $user_login = $user->user_login;
    $user_email = $user->user_email;

    $key = $wpdb->get_var($wpdb->prepare("SELECT user_activation_key FROM $wpdb->users WHERE user_login = %s", $user_login));
    if ( empty($key) ) {
        // Generar algo aleatorio para la clave...
        $key = wp_generate_password(20, false);
        do_action('retrieve_password_key', $user_login, $key);
        // Ahora insertar la nueva clave md5 en la base de datos
        $wpdb->update($wpdb->users, array('user_activation_key' => $key), array('user_login' => $user_login));
    }

    //crear mensaje de correo electrónico
    $message = __('Alguien ha solicitado restablecer la contraseña para el siguiente sitio y nombre de usuario.') . "\r\n\r\n";
    $message .= get_option('siteurl') . "\r\n\r\n";
    $message .= sprintf(__('Nombre de usuario: %s'), $user_login) . "\r\n\r\n";
    $message .= __('Para restablecer tu contraseña visita la siguiente dirección, de lo contrario ignora este correo y no sucederá nada.') . "\r\n\r\n";
    $message .= network_site_url("wp-login.php?action=rp&key=$key&login=" . rawurlencode($user_login), 'login') . "&redirect_to=".urlencode(get_option('siteurl'))."\r\n";
    //enviar mensaje de correo electrónico
    if (FALSE == wp_mail($user_email, sprintf(__('[%s] Restablecimiento de contraseña'), get_option('blogname')), $message))
    $error[] = '<p>' . __('El correo electrónico no pudo ser enviado.') . "<br />\n" . __('Posible razón: tu servidor puede tener deshabilitada la función mail()...') . '</p>';
}
if (count($error) > 0 ){
    foreach($error as $e){
                echo $e . "<br/>";
            }
}else{
    echo '<p>'.__('Se enviará un mensaje a tu dirección de correo electrónico.').'</p>'; 
}

Todavía estaba teniendo problemas con que la clave de restablecimiento no funcionaba correctamente, el enlace en el correo electrónico me redirigía a la página estándar de restablecimiento de contraseña con el parámetro URL indicando un problema con la clave, así que seguí más de cerca el archivo wp-login.php e incluí el objeto $wp_hasher, esto solucionó el problema y ahora el restablecimiento de contraseña en el correo electrónico funciona

if (($_SERVER['REQUEST_METHOD'] === (string) 'POST') && (isset($_POST['reset_pass']))) {

// Acceder a propiedades globales
global $wpdb, $wp_hasher;


// Variables
$error_pass_reset = array();
$username         = (string) trim($_POST['user_login']);
$user_exists      = (bool)   false;



// ---- USUARIO O EMAIL EXISTE ---- //
if (username_exists($username)) {
    $user_exists = (bool)   true;
    $user        = (object) get_user_by('login', $username);
} // end if

else if (email_exists($username)) {
    $user_exists = (bool)   true;
    $user        = (object) get_user_by('email', $username);
} // end else if

else {
    $error_pass_reset[] = '<p>No se encontró el nombre de usuario o correo electrónico, por favor intente nuevamente.</p>';
} // end else



// ---- EL USUARIO EXISTE ---- //
if ($user_exists === (bool) true) {
    // Variables
    $user_login = (string) $user -> user_login;
    $user_email = (string) $user -> user_email;


    // Generar clave de restablecimiento de contraseña
if (empty($key)) {
    $key = (string) wp_generate_password(20, false);

    do_action('retrieve_password_key', $user_login, $key);


    // Crear el objeto $wp_hasher
    if (empty($wp_hasher)) {
        require_once(ABSPATH . WPINC . '/class-phpass.php');

        $wp_hasher = new PasswordHash(8, true);
    }

    // Restablecer clave con hasher aplicado (MD5 tiene salida de cadena)
    $hashed = (string) time() . ':' . $wp_hasher -> HashPassword($key);


    // Insertar la nueva clave en la base de datos
    $wpdb -> update(
        $wpdb -> users,
        array(
            'user_activation_key' => $hashed
        ),
        array(
            'user_login' => $user_login
        )
    );
} // end if


    // Mensaje de correo electrónico
    $message = (string)
    'Alguien solicitó que se restablezca la contraseña para la siguiente cuenta:' . "\r\n\r\n" .

    get_option('siteurl') . "\r\n\r\n" .

    'Nombre de usuario: ' . $user_login . "\r\n\r\n" .
    'Si esto fue un error, simplemente ignore este correo electrónico y no pasará nada.' . "\r\n\r\n" .
    'Para restablecer su contraseña, visite la siguiente dirección:' . "\r\n\r\n" .

    get_option('siteurl') . '/wp-login.php?action=rp&key=' . $key . '&login=' . $user_login . "\r\n";


    // Enviar correo electrónico
    if ((bool) false === wp_mail($user_email, get_option('blogname') . ' Restablecimiento de Contraseña', $message)) {
        $error_pass_reset[] = '<p>El correo electrónico no pudo ser enviado en este momento.</p>' . "\n";
    } // end if
} // end if


// Enviar el correo electrónico de restablecimiento de contraseña
do_action('login_form', 'resetpass');

} // end if (($_SERVER['REQUEST_METHOD'] === (string) 'POST') && (isset($_POST['reset_pass'])))