Dove memorizzare il favicon - quale cartella utilizzare?

Lo memorizzerei nella cartella del tema solo se mi aspettassi che il favicon cambi quando cambio il tema. Cosa che non mi aspetto.

Un favicon fa parte dell'identità complessiva del sito, non è una funzionalità del CMS. Cosa succede se utilizzi software non-WP per gestire diverse parti del sito, ad esempio una galleria fotografica, un forum o un wiki (o tutti quanti)?

Colloca il favicon nella root del sito web, e tutti i software avranno accesso ad esso, solitamente in modo automatico (anche se potresti dover rimuovere i LINK hardcoded dai singoli temi).

(Modifica) Per chiarire: Se nessun LINK è specificato, tutti i browser web moderni (tranne Seamonkey, anche se esiste un'opzione per abilitarlo) cercheranno automaticamente un favicon nella directory root, ovvero esempio.com/favicon.ico. Quindi non c'è motivo di aggiungere un elemento LINK, anzi, ci sono buone ragioni per non farlo.

Inoltre, se l'elemento LINK è malformato (ha un errore di battitura, ad esempio) o il file indicato è corrotto o in un formato che il browser non comprende, il browser cercherà comunque /favicon.ico, quindi non avere un file lì risulterà in errori 404 nei tuoi log.

C'è un caso in cui un LINK è appropriato, ed è quando vuoi favicon diversi per diverse pagine del tuo sito.

Dovrebbe sempre trovarsi nella cartella principale, così funzionerà sia che lo colleghi esplicitamente o meno.

Puoi anche usare questa funzione nel file functions.php del tuo tema per collegarlo esplicitamente:

function my_favicon() {
    echo '<link rel="shortcut icon" href="' . get_bloginfo('wpurl') . '/favicon.ico" />';    
}
add_action('wp_head', 'my_favicon');

Anche se ci sono già risposte di qualità qui, ho pensato di aggiungere il mio contributo da una prospettiva diversa. Gestisco molti blog e siti in un ambiente WordPress MultiSite, dove la directory root non è un'opzione. In questi casi, è meglio inserire i favicon nella directory del tema come raccomanda il WordPress Codex.

Il Favicon non è dinamico e non "entra in conflitto" con nient'altro, tenendo questo in mente, lo inserisco direttamente nel codice nel file header.php e poi ho finito.