Данные Unicode ¶

Создание базы данных ¶

Убедитесь, что используемая вами база данных настроена для хранения произвольных текстовых данных. Обычно это включает разрешение данных в кодировке UTF-8 или UTF-16. Если вы используете более ограниченную кодировку, например latin1 (iso8859-1), вы не сможете сохранить некоторые символы в базе данных, и информация будет потеряна.

• Пользователи MySQL должны обратиться к руководству по MySQL для получения подробной информации о том, как установить или изменить кодировку символов.
• Для пользователей PostgreSQL см. Руководство PostgreSQL (раздел 22.3.2 в PostgreSQL 9) для получения дополнительных сведений о создании баз данных с правильной кодировкой.
• Пользователи Oracle должны обратиться к руководству Oracle для получения подробной информации о том, как установить ( раздел 2 ) или изменить ( раздел 11 ) кодировку символов в базе данных.
• Пользователям SQLite нечего знать. SQLite всегда использует UTF-8 для своей внутренней кодировки.

Все движки баз данных Django автоматически преобразуют строки в кодировку, подходящую для диалога с базой данных. Они также автоматически преобразуют строки, загруженные из базы данных, в строки. Вам даже не нужно указывать Django, какую кодировку использует база данных - все обрабатывается прозрачно.

Чтобы узнать больше, прочтите раздел «API базы данных» ниже.

Общая обработка строк ¶

Каждый раз, когда вы используете строки с Django, например. в запросах к базе данных, в отображении шаблона или где-либо еще у вас есть два варианта кодирования этих строк. Вы можете использовать обычные строки или байтовые строки (байтовые строки, начиная с b' ).

Если ваш код использует только данные ASCII, вы можете легко передать обычные строки, поскольку ASCII является подмножеством UTF-8.

Не поймите меня неправильно, думая, что, установив что- DEFAULT_CHARSET то другое, 'utf-8' вы сможете использовать эту другую кодировку в своих байтовых строках. DEFAULT_CHARSET применяется только к строкам, созданным путем отображения шаблонов (и электронных писем). Django всегда предполагает, что внутренние байтовые строки - это UTF-8. Причина в том, что настройка DEFAULT_CHARSET не находится в вашем распоряжении (если вы разработчик приложений). Скорее, это находится под контролем человека, устанавливающего и использующего ваше приложение, и если этот человек выберет другую настройку, ваш код должен продолжать работать. В результате Django не может полагаться на этот параметр.

В большинстве случаев, когда Django обрабатывает строки, он сначала преобразует их в строки. В общем, если вы передаете строку октетов, не удивляйтесь, получив взамен строку.

>>> from urllib.parse import quote
>>> from django.utils.encoding import iri_to_uri
>>> quote('Paris & Orléans')
'Paris%20%26%20Orl%C3%A9ans'
>>> iri_to_uri('/favorites/François/%s' % quote('Paris & Orléans'))
'/favorites/Fran%C3%A7ois/Paris%20%26%20Orl%C3%A9ans'

>>> from django.utils.encoding import uri_to_iri
>>> uri_to_iri('/%E2%99%A5%E2%99%A5/?utf8=%E2%9C%93')
'/♥♥/?utf8=✓'
>>> uri_to_iri('%A9hello%3Fworld')
'%A9hello%3Fworld'

iri_to_uri(iri_to_uri(some_string)) == iri_to_uri(some_string)
uri_to_iri(uri_to_iri(some_string)) == uri_to_iri(some_string)

Модели ¶

Поскольку все строки возвращаются из базы данных как объекты str , символьные поля шаблона (CharField, TextField, URLField и т. Д.) Содержат значения Unicode, когда Django извлекает данные из базы данных. данные. Это всегда так, хотя данные могут подходить для байтовой строки ASCII.

Вы можете передавать байтовые строки при построении модели или присвоении значения полю, и Django позаботится о преобразовании их в строки, когда это необходимо.

from urllib.parse import quote
from django.utils.encoding import iri_to_uri

def get_absolute_url(self):
    url = '/person/%s/?x=0&y=0' % quote(self.location)
    return iri_to_uri(url)

Шаблоны ¶

Используйте строки при создании шаблонов вручную:

from django.template import Template
t2 = Template('This is a string template.')

Но общий случай - это чтение шаблонов из файловой системы. Если ваши файлы шаблонов не закодированы в UTF-8, измените настройку TEMPLATES . Встроенный движок django предоставляет возможность 'file_charset' изменить кодировку, используемую для чтения файлов с диска.

Настройка DEFAULT_CHARSET контролирует кодировку создаваемых шаблонов. По умолчанию используется UTF-8.

Файлы ¶

Если вы планируете разрешить пользователям загружать файлы, вы должны убедиться, что среда, используемая для запуска Django, настроена для работы с именами файлов, отличными от ASCII. Если ваша среда настроена неправильно, вы получите исключения UnicodeEncodeError при сохранении файлов, имена которых содержат символы, отличные от ASCII.

Поддержка файловой системой имен файлов UTF-8 различается и может зависеть от среды. Проверьте текущую конфигурацию в интерактивной оболочке Python, запустив:

import sys
sys.getfilesystemencoding()

Это должно показать "UTF-8".

На платформах Unix переменная среды LANG отвечает за установку желаемой кодировки. Обратитесь к документации по вашей операционной системе и серверу приложений, чтобы узнать правильный синтаксис и место для установки этой переменной.

В вашей среде разработки вам может потребоваться добавить настройку в свой файл ~.bashrc стиля:

export LANG="en_US.UTF-8"

Отправка формы ¶

Отправка HTML-формы - непростая задача. Нет гарантии, что отправленные данные содержат информацию о кодировке, а это означает, что системе, возможно, придется угадать кодировку этих данных.

Django использует «ленивый» подход к декодированию данных формы. Данные объекта HttpRequest не декодируются, пока не будет предпринята попытка доступа к нему. Фактически, большая часть данных вообще не декодируется. Декодирование применяется только к структурам данных HttpRequest.GET и HttpRequest.POST . Эти два поля возвращают свое содержимое в виде данных Unicode. Все остальные атрибуты и методы HttpRequest возвращают данные точно так , как это было отправлено клиентом.

По умолчанию этот параметр DEFAULT_CHARSET используется как предполагаемая кодировка данных формы. Если вам нужно изменить его для определенной формы, вы можете установить атрибут encoding экземпляра HttpRequest . Например :

def some_view(request):
    # We know that the data must be encoded as KOI8-R (for some reason).
    request.encoding = 'koi8-r'
    ...

Можно даже изменить кодировку после доступа к request.GET или request.POST , и все последующие обращения будут использовать новую кодировку.

Обычно нет необходимости беспокоиться об изменении кодировки форм, но это полезная функция, когда приложениям необходимо взаимодействовать с устаревшими системами, которые плохо кодируются.

Django не декодирует данные при загрузке файлов, потому что данные обычно рассматриваются как строки байтов, а не строки. Любое автоматическое декодирование на этом уровне может изменить значение байтового потока.