PHP DOMDocument loadHTML неправильно кодує UTF-8

Я намагаюся проаналізувати деякий HTML за допомогою DOMDocument, але коли я це роблю, я раптом втрачаю кодування (принаймні так мені здається).

$profile = "<div><p>various japanese characters</p></div>";
$dom = new DOMDocument();
$dom->loadHTML($profile); 

$divs = $dom->getElementsByTagName('div');

foreach ($divs as $div) {
    echo $dom->saveHTML($div);
}

Результатом цього коду є те, що я отримую купу символів, які не є японцями. Однак якщо мені це зробити:

echo $profile;

він відображається правильно. Я спробував saveHTML і saveXML, і не відображав належним чином. Я використовую PHP 5.3.

Що я бачу:

ã¤ãªãã¤å·ã·ã«ã´ã«ã¦ãã¢ã¤ã«ã©ã³ãç³»ã®å®¶åº­ã«ã9人åå¼ã®5çªç®ã¨ãã¦çã¾ãããå½¼ãå«ãã¦4人ã俳åªã«ãªã£ããç¶è¦ªã¯æ¨æã®ã»ã¼ã«ã¹ãã³ã§ãæ¯è¦ªã¯éµä¾¿å±ã®å®¢å®¤ä¿ã ã£ããé«æ ¡æ代ã¯ã­ã£ãã£ã®ã¢ã«ãã¤ãã«å¤ãã¿ãæè²è³éãåããªããã«ããªãã¯ç³»ã®é«æ ¡ã¸é²å­¦ã

Що слід показати:

イリノイ州シカゴにて、アイルランド系の家庭に、9人兄弟の5番目として生まれる。彼を含めて4人が俳優になった。父親は木材のセールスマンで、母親は郵便局の客室係だった。高校時代はキャディのアルバイトに勤しみ、教育資金を受けながらカトリック系の高校へ進学

EDIT: Я спростив код до п'яти рядків, щоб ви могли його протестувати самостійно.

$profile = "<div lang=ja><p>イリノイ州シカゴにて、アイルランド系の家庭に、</p></div>";
$dom = new DOMDocument();
$dom->loadHTML($profile);
echo $dom->saveHTML();
echo $profile;

Ось HTML, який повертається:

<div lang="ja"><p>イリノイ州シカゴã«ã¦ã€ã‚¢ã‚¤ãƒ«ãƒ©ãƒ³ãƒ‰ç³»ã®å®¶åº­ã«ã€</p></div>
<div lang="ja"><p>イリノイ州シカゴにて、アイルランド系の家庭に、</p></div>

DOMDocument::loadHTMLбуде вважати вашу рядок як ISO-8859-1, якщо ви не скажете це інше. Це призводить до того, що рядки UTF-8 трактуються неправильно.

Якщо ваша рядок не містить декларації кодування XML, ви можете додати її, щоб спричинити обробку рядка як UTF-8:

$profile = '<p>イリノイ州シカゴにて、アイルランド系の家庭に、9</p>';
$dom = new DOMDocument();
$dom->loadHTML('<?xml encoding="utf-8" ?>' . $profile);
echo $dom->saveHTML();

Якщо ви не можете знати, чи рядок буде містити таку заяву, у SmartDOMDocument є вирішення, яке повинно вам допомогти:

$profile = '<p>イリノイ州シカゴにて、アイルランド系の家庭に、9</p>';
$dom = new DOMDocument();
$dom->loadHTML(mb_convert_encoding($profile, 'HTML-ENTITIES', 'UTF-8'));
echo $dom->saveHTML();

Це не дуже вдале рішення, але оскільки не всі символи можуть бути представлені в ISO-8859-1 (як ці катани), це найбезпечніша альтернатива.

Проблема з saveHTML()і saveXML()обидва вони не можуть коректно працювати в Unix. Вони не зберігають символи UTF-8 при використанні в Unix, але працюють у Windows.

Вирішення питання дуже просте:

Якщо ви спробуєте за замовчуванням, ви отримаєте описану помилку

$str = $dom->saveHTML(); // saves incorrectly

Все, що вам потрібно зробити, це зберегти:

$str = $dom->saveHTML($dom->documentElement); // saves correctly

Цей рядок коду дозволить правильно зберегти ваші символи UTF-8. Використовуйте той самий спосіб вирішення, якщо ви використовуєте saveXML().

Оновлення

Як запропонував " Джек М " у розділі коментарів нижче та підтверджений " Памелою " та " Марко Ауреліо Делеу ", у вашому випадку може працювати така версія:

$str = utf8_decode($dom->saveHTML($dom->documentElement));

Примітка

1. Англійські символи не викликають жодних проблем при використанні saveHTML()без параметрів (адже англійські символи зберігаються як однобайтові символи в UTF-8)

2. Проблема виникає, коли у вас є багатобайтові символи (такі як китайська, російська, арабська, іврит, ... тощо).

Я рекомендую прочитати цю статтю: http://coding.smashingmagazine.com/2012/06/06/all-about-unicode-utf8-character-sets/ . Ви зрозумієте, як працює UTF-8 і чому виникає ця проблема. Це займе у вас близько 30 хвилин, але час добре витрачений.

Переконайтеся, що реальний вихідний файл збережений як UTF-8 (Ви можете навіть спробувати нерекомендовані BOM Chars з UTF-8, щоб переконатися).

Також у випадку HTML переконайтеся, що ви оголосили правильне кодування за допомогою metaтегів:

<meta http-equiv="Content-Type" content="text/html; charset=utf-8">

Якщо це CMS (як ви помітили своє запитання Joomla), можливо, вам знадобиться налаштувати відповідні налаштування для кодування.

Ви можете встановити префікс рядкового utf-8кодування, наприклад:

@$doc->loadHTML('<?xml version="1.0" encoding="UTF-8"?>' . "\n" . $profile);

Потім ви можете продовжити код, який у вас уже є, наприклад:

$doc->saveXML()

Це знадобило мені час, щоб зрозуміти, але ось моя відповідь.

Перш ніж використовувати DomDocument, я б використовував file_get_contents для отримання URL-адрес, а потім обробляти їх за допомогою рядкових функцій. Мабуть, не найкращий спосіб, але швидкий. Переконавшись, що Дом був так само швидким, спершу спробував наступне:

$dom = new DomDocument('1.0', 'UTF-8');
if ($dom->loadHTMLFile($url) == false) { // read the url
    // error message
}
else {
    // process
}

Це надзвичайно не вдалося зберегти кодування UTF-8, незважаючи на належні метатеги, налаштування php та всі інші засоби захисту, запропоновані тут та в інших місцях. Ось що працює:

$dom = new DomDocument('1.0', 'UTF-8');
$str = file_get_contents($url);
if ($dom->loadHTML(mb_convert_encoding($str, 'HTML-ENTITIES', 'UTF-8')) == false) {
}

і т. д. Тепер все в порядку зі світом. Сподіваюся, це допомагає.

Ви повинні подати DOMDocument версію свого HTML із заголовком, який має сенс. Так само, як HTML5.

$profile ='<?xml version="1.0" encoding="'.$_encoding.'"?>'. $html;

можливо, це гарна ідея, щоб ваш HTML був максимально дійсним, так що ви не будете виникати проблем, коли ви почнете запитувати ... навколо :-) і тримайтеся подалі від htmlentities!!!! Це необхідне туди і назад витрачаючи ресурси. тримайте свій код божевільним !!!!

Я використовую php 7.3.8 на манджаро, і я працював з перською мовою. Це вирішило мою проблему:

$html = 'hi</b><p>سلام<div>の家庭に、9 ☆';
$doc = new DOMDocument('1.0', 'UTF-8');
$doc->loadHTML(mb_convert_encoding($html, 'HTML-ENTITIES', 'UTF-8'));
print $doc->saveHTML($doc->documentElement) . PHP_EOL . PHP_EOL;

Мені подобається:

$dom = new \DOMDocument;
$dom->loadHTML(utf8_decode($html));
...
return  utf8_encode( $dom->saveHTML());

Використовуйте його для правильного результату

$dom = new DOMDocument();
$dom->loadHTML('<meta http-equiv="Content-Type" content="text/html; charset=utf-8">' . $profile);
echo $dom->saveHTML();
echo $profile;

Ця операція

mb_convert_encoding($profile, 'HTML-ENTITIES', 'UTF-8');

Це поганий спосіб, оскільки спеціальні символи типу & lt; , & gt; може бути у профілі $, і вони не перетворяться двічі після mb_convert_encoding. Це отвір для XSS та неправильного HTML.

Єдине, що працювало для мене, - це прийнята відповідь

$profile = '<p>イリノイ州シカゴにて、アイルランド系の家庭に、9</p>';
$dom = new DOMDocument();
$dom->loadHTML('<?xml encoding="utf-8" ?>' . $profile);
echo $dom->saveHTML();

ЗАРАЗ

Це спричинило нові проблеми, що <?xml encoding="utf-8" ?>стосуються виходу документа.

Тоді для мене було рішення

foreach ($doc->childNodes as $xx) {
    if ($xx instanceof \DOMProcessingInstruction) {
        $xx->parentNode->removeChild($xx);
    }
}

Деякі рішення казали мені, що для видалення xmlзаголовка я повинен був виконати

$dom->saveXML($dom->documentElement);

Для мене це не спрацювало, як для часткового документа (наприклад, документ з двома <p>тегами), лише один з <p>тегів, куди повертається.

Проблема полягає в тому, що додаючи параметр до функції DOMDocument :: saveHTML (), ви втрачаєте кодування. У кількох випадках вам потрібно буде уникати використання параметра та використовувати стару функцію рядка, щоб знайти те, що ви шукаєте.

Я думаю, що попередня відповідь працює для вас, але оскільки цей спосіб не працює для мене, я додаю цю відповідь, щоб допомогти ppl, який може бути у моєму випадку.

Можна також кодувати як нижче .... зібрано з https://davidwalsh.name/domdocument-utf8-problem

$profile = '<p>イリノイ州シカゴにて、アイルランド系の家庭に、9</p>';
$dom = new DOMDocument();
$dom->loadHTML(mb_convert_encoding($profile, 'HTML-ENTITIES', 'UTF-8'));
echo $dom->saveHTML();