¿Filtrar la salida de un shortcode específico?

WordPress 4.7 introdujo un nuevo filtro, do_shortcode_tag, para hacer exactamente esto.

Si bien no hay un hook directo, existe una solución alternativa que hace posible tu objetivo. Puedes crear un nuevo shortcode que, en cada instancia, envuelva cualquier otro shortcode cuyo output deseas filtrar.

Uso en una entrada, etc:

Aquí hay algo de texto en la entrada. Bla bla...
[filter][target_annoying_shortcode size="small" limit="20"][/filter] 
Aquí hay más texto en mi entrada. Más bla bla...

En functions.php:

function my_shortcode_output_filter( $attr, $content ) {

    // Convertir el shortcode en su output
    $content_translated = do_shortcode(trim($content));
    if($shortcode_to_modify == $content || !$content_translated) {
        // Manejo de errores
        return 'Hubo un error al filtrar el shortcode: '.$content;  
    }

    // Ahora modifica el output como prefieras, aquí...

    $content_translated_and_filtered = $content_translated;

    return $content_translated_and_filtered;
 }
 add_shortcode('filter', 'my_shortcode_output_filter');

Lo único que puedes filtrar son los atributos del shortcode:

apply_filters( "shortcode_atts_{$shortcode}", $out, $pairs, $atts );

El punto es que $shortcode es el tercer argumento al registrar un shortcode. Este argumento es bastante nuevo y casi ningún shortcode lo usa, por lo que volverá al valor predeterminado, que es una string vacía ''.

Esto lleva a un resultado curioso:

add_filter( 'shortcode_atts_', 'wpse112294_shortcode_atts_cb' );
function wpse112294_shortcode_atts_cb( $out, $pairs, $atts )
{
    // Aquí necesitamos encontrar una forma de identificar de forma única un shortcode
    // para el cual no tenemos un nombre

    // Algo que haga único al shortcode:
    $found = isset( $pairs['foo_attribute_key'] );
    if ( $found )
    {
        // Eliminar instantáneamente este filtro para ahorrar tiempo de procesamiento:
        remove_filter( current_filter(), __FUNCTION__ );

        // ¡Hacer algo increíble aquí!
    }

    return $out;
}

Entonces, sí, con un 90% de probabilidad necesitamos filtrar la salida de ¡todos(!) los shortcodes e intentar de alguna manera identificar el shortcode por algunos argumentos predeterminados ($pairs) o por argumentos de entrada (imposible). Luego, finalmente, podremos procesar la salida. ¿Podemos procesar la cadena en sí? No. Esto tiene que hacerse de la manera que @s_ha_dum mostró arriba.

Si bien @s_ha_dum proporcionó una respuesta decente, es posible crear un nuevo shortcode con el propósito de filtrar un shortcode existente. Por ejemplo,

function filter_function($atts, $content) {
    extract(shortcode_atts(array(
            'att1' => 'val1',
            'att2' => 'val2'
    ), $atts));

    //guardar la salida del shortcode en $return
    $return = do_shortcode("[existing_shortcode att1='$att1' att2='$att2'".$content."/existing_shortcode]");

    //insertar código para modificar $return

    echo $return;
}
add_shortcode('new_shortcode','filter_function');

ten en cuenta que para el shortcode [embed], debes usar

global $wp_embed;
$return = $wp_embed->run_shortcode("[embed ...

en lugar de do_shortcode