Где хранить favicon - в какой папке?

Я бы хранил favicon в папке темы только в том случае, если ожидал, что он будет меняться при смене темы. Но я так не считаю.

Favicon — это часть общей идентификации сайта, а не функция CMS. Что, если вы используете не-WP софт для разных частей сайта — например, фотогалерею, форум или вики (или всё сразу)?

Разместите favicon в корне сайта, и все программные компоненты смогут его использовать, обычно автоматически (хотя, возможно, придётся удалить жёстко прописанные LINK из отдельных тем).

(Уточнение) Для ясности: если LINK не указан, все современные браузеры (кроме Seamonkey, хотя там есть опция для включения этой функции) автоматически ищут favicon в корневой директории, т.е. example.com/favicon.ico. Так что нет причин добавлять элемент LINK, и есть веские причины этого не делать.

Более того, если элемент LINK содержит ошибку (например, опечатку) или файл по указанному пути повреждён или в неподдерживаемом формате, браузер всё равно будет искать /favicon.ico, так что отсутствие файла там приведёт к ошибкам 404 в ваших логах.

Единственный случай, когда LINK уместен — это если вы хотите использовать разные favicon для разных страниц сайта.

Он всегда должен находиться в корневой папке, тогда он будет работать, независимо от того, ссылаетесь ли вы на него явно или нет.

Вы также можете использовать эту функцию в файле functions.php вашей темы для явного указания ссылки на него:

function my_favicon() {
    echo '<link rel="shortcut icon" href="' . get_bloginfo('wpurl') . '/favicon.ico" />';    
}
add_action('wp_head', 'my_favicon');

Несмотря на наличие качественных ответов здесь, я хотел бы добавить свои два цента с другой точки зрения. Я управляю множеством блогов и сайтов в среде WordPress MultiSite, где корневая директория не является вариантом. В таких случаях лучше всего размещать фавиконы в директории темы, как рекомендует WordPress Codex.

Фавикон не является динамическим и не "конфликтует" с чем-либо другим, учитывая это, я вручную прописываю его в header.php и на этом заканчиваю.