Обнаружение Чарсета ⇐ Васина Википедия

[wiki_de]

'' '' arseet degenction '' '' '' '' 'CodePagedeTection' '' '(немецкий:' '' идентификатор заряда ') обозначает эверстик | Эвристическое распознавание персонажа кодирования байтериена, которое представляет текст. Эта процедура считается ненадежной и используется особенно когда бетонные метаданные, такие как заголовок HTTP | Заголовок типа HTTP-контента, недоступен или считается неверным.
Как правило, обнаружение основано на статистическом анализе моделей байтов. Тот же анализ также может быть использован для распознавания речи. Однако, поскольку он основан на статистических данных, это не является надежным.
Неверное распознавание приводит к моджибаке, если байтовая папка неверно истолкована и, таким образом, отображается в другом наборе символов. Одним из немногих кодирования надежно узнаваемых является UTF-8. Причиной этого является большая доля недействительных байтезских последовательностей. Поэтому крайне маловероятно, что текст будет существовать в другом наборе символов. Тем не менее, неверные процедуры идентификации не тестируют сначала на UTF-8 и, например, могут ложно представлять имя немецкого города Мюнхен как «мунчинг» на веб-сайте на уровне знаков UTF-8, поскольку обнаружение преждевременно на ISO 8859-1 или Windows-1252.

UTF-16 также четко узнаваем из-за ее характерной структуры: часто встречающиеся контрольные знаки, такие как разрывы линий (U+000A) или пространства (U+0020), регулярно появляются в 16-битной структуре, и есть также много нулевых знаков, которые можно найти во всех прямых или нечетных областях. Тем не менее, недостаточно проверить обоснованность, так как известный пример предложения, спрятавшись с фактами: это было неправильно интерпретировано Microsoft Windows как китайская UTF-16LE.

Обнаружение различных знаков ISO 8859 в Европе особенно сложно. Эти тесно связанные 8-битные кодирующие перекрывают в нижней области с ASCII, так что все байтезские последовательности кажутся действительными. Четкое различие не является технически возможным и может быть опробовано только с использованием языковых статистических методов, таких как проверка частоты букв.
Поскольку эвристические процедуры склонны к ошибкам, рекомендуется всегда правильно предоставлять записи данных с набором символов. Даже при UTF-8 или UTF-16, которые легко узнаваемы, некоторые системы требуют явной идентификации, например, с помощью байтового заказа | категория
== См. Также ==

* Международные компоненты для Unicode, библиотека с функциями для распознавания наборов символов

Категория: кодирование символов

Подробнее: https://de.wikipedia.org/wiki/Charset_Detection