Cambiar class="page-numbers" en la paginación

La función paginate_links(), ubicada en wp-includes/general-template.php, no permite personalizar ciertas partes del HTML (como la clase page-numbers).

Un simple reemplazo de cadenas no funcionará debido a la forma en que se generan las clases, como se muestra en este fragmento de código de paginate_links():

    $page_links[] = '<a class="prev page-numbers" href="' . esc_url( apply_filters( 'paginate_links', $link ) ) . '">' . $args['prev_text'] . '</a>';
endif;
for ( $n = 1; $n <= $total; $n++ ) :
    if ( $n == $current ) :
        $page_links[] = "<span class='page-numbers current'>" . $args['before_page_number'] . number_format_i18n( $n ) . $args['after_page_number'] . "</span>";

Aquí hay una versión actualizada de tu función custom_pagination(), que utiliza DOMXpath para encontrar instancias de elementos con la clase page-numbers, luego se realiza un reemplazo de cadena para cambiar la clase a page-link. Para mejor compatibilidad con Bootstrap, la clase current también se reemplaza por active. Finalmente, se agrega class="mynewclass" al <li> que contiene el elemento actual.

function wpse247219_custom_pagination() {
    global $wp_query;
    $big = 999999999; // necesitamos un entero improbable
    $pages = paginate_links( array(
        'base' => str_replace( $big, '%#%', esc_url( get_pagenum_link( $big ) ) ),
        'format' => '?paged=%#%',
        'current' => max( 1, get_query_var('paged') ),
        'total' => $wp_query->max_num_pages,
        'prev_next' => false,
        'type'  => 'array',
        'prev_next'   => true,
        'prev_text'    => __( '«', 'text-domain' ),
        'next_text'    => __( '»', 'text-domain'),
    ) );
    $output = '';

    if ( is_array( $pages ) ) {
        $paged = ( get_query_var('paged') == 0 ) ? 1 : get_query_var( 'paged' );

        $output .=  '<ul class="pagination">';
        foreach ( $pages as $page ) {
            $output .= "<li>$page</li>";
        }
        $output .= '</ul>';

        // Crear una instancia de DOMDocument
        $dom = new \DOMDocument();

        // Poblar $dom con $output, asegurándose de manejar UTF-8, de lo contrario
        // ocurrirán problemas con caracteres UTF-8.
        $dom->loadHTML( mb_convert_encoding( $output, 'HTML-ENTITIES', 'UTF-8' ) );

        // Crear una instancia de DOMXpath y todos los elementos con la clase 'page-numbers'
        $xpath = new \DOMXpath( $dom );

        // http://stackoverflow.com/a/26126336/3059883
        $page_numbers = $xpath->query( "//*[contains(concat(' ', normalize-space(@class), ' '), ' page-numbers ')]" );

        // Iterar sobre el nodo $page_numbers...
        foreach ( $page_numbers as $page_numbers_item ) {

            // Agregar class="mynewclass" al <li> cuando su hijo contiene el elemento actual.
            $page_numbers_item_classes = explode( ' ', $page_numbers_item->attributes->item(0)->value );
            if ( in_array( 'current', $page_numbers_item_classes ) ) {          
                $list_item_attr_class = $dom->createAttribute( 'class' );
                $list_item_attr_class->value = 'mynewclass';
                $page_numbers_item->parentNode->appendChild( $list_item_attr_class );
            }

            // Reemplazar la clase 'current' con 'active'
            $page_numbers_item->attributes->item(0)->value = str_replace( 
                            'current',
                            'active',
                            $page_numbers_item->attributes->item(0)->value );

            // Reemplazar la clase 'page-numbers' con 'page-link'
            $page_numbers_item->attributes->item(0)->value = str_replace( 
                            'page-numbers',
                            'page-link',
                            $page_numbers_item->attributes->item(0)->value );
        }

        // Guardar el HTML actualizado y mostrarlo.
        $output = $dom->saveHTML();
    }

    return $output;
}

Uso:

echo wpse247219_custom_pagination();

HTML generado:

<ul class="pagination">
    <li class="mynewclass"><span class="page-link active">1</span></li>
    <li><a class="page-link" href="http://localhost/page/2/">2</a></li>
    <li><a class="page-link" href="http://localhost/page/3/">3</a></li>
    <li><span class="page-link dots">…</span></li>
    <li><a class="page-link" href="http://localhost/page/5/">5</a></li>
    <li><a class="next page-link" href="http://localhost/page/2/">»</a></li>
</ul>