Базы данных ¶

Постоянные соединения ¶

Постоянные соединения позволяют избежать накладных расходов, связанных с повторным установлением соединения с базой данных в каждом запросе. Они контролируются CONN_MAX_AGEпараметром, который определяет максимальное время жизни соединения. Его можно установить независимо для каждой базы данных.

Значение по умолчанию - 0сохранение исторического поведения закрытия соединения с базой данных в конце каждого запроса. Чтобы разрешить постоянные соединения, задайте CONN_MAX_AGEположительное целое число секунд. Для неограниченных постоянных подключений установите для него значение None.

Кодировка ¶

Django предполагает, что все базы данных используют кодировку UTF-8. Использование других кодировок может привести к неожиданному поведению, например к ошибкам «слишком длинное значение» из вашей базы данных для данных, допустимых в Django. См. Примечания к базе данных ниже для получения информации о том, как правильно настроить базу данных.

Настройки подключения PostgreSQL ¶

См. HOSTПодробности.

Оптимизация конфигурации PostgreSQL ¶

Django нуждается в следующих параметрах для подключения к базе данных:

• client_encoding: 'UTF8',
• default_transaction_isolation: по умолчанию или значение, заданное в параметрах подключения (см. ниже),'read committed'

• timezone:

  • когда USE_TZесть True, 'UTC'по умолчанию, или TIME_ZONEзначение , установленное для подключения,
  • когда USE_TZесть False, значение глобальной TIME_ZONEнастройки.

Если эти параметры уже имеют правильные значения, Django не будет устанавливать их для каждого нового соединения, что немного улучшает производительность. Вы можете настроить их непосредственно в postgresql.confбазе данных или более удобно для каждого пользователя базы данных с помощью ALTER ROLE .

Django будет нормально работать без этой оптимизации, но каждое новое соединение будет выполнять несколько дополнительных запросов для установки этих параметров.

Уровень изоляции ¶

Как и сам PostgreSQL, Django по умолчанию использует уровень изоляции . Если вам нужен более высокий уровень изоляции, такой как или , установите его в части конфигурации вашей базы данных в :READ COMMITTED REPEATABLE READSERIALIZABLEOPTIONSDATABASES

import psycopg2.extensions

DATABASES = {
    # ...
    'OPTIONS': {
        'isolation_level': psycopg2.extensions.ISOLATION_LEVEL_SERIALIZABLE,
    },
}

Индексы varcharи textстолбцов ¶

При указании db_index=Trueполей модели Django обычно выводит один оператор. Однако, если тип базы данных для поля либо или (например, используется , и ), тем Джанго создаст дополнительный индекс , который использует соответствующий класс оператора PostgreSQL для столбца. Дополнительный индекс необходим для правильного выполнения поиска с использованием оператора в своем SQL, как это делается с типами поиска и .CREATE INDEXvarchartextCharFieldFileFieldTextFieldLIKEcontainsstartswith

Операция миграции для добавления расширений ¶

Если вам нужно добавить расширение PostgreSQL (например hstore, postgisи т. Д.) С помощью миграции, используйте CreateExtensionоперацию.

Курсоры на стороне сервера ¶

При использовании QuerySet.iterator()Django открывает курсор на стороне сервера . По умолчанию PostgreSQL предполагает, что будут получены только первые 10% результатов курсорных запросов. Планировщик запросов тратит меньше времени на планирование запроса и начинает быстрее возвращать результаты, но это может снизить производительность, если будет получено более 10% результатов. Предположения PostgreSQL о количестве строк, извлекаемых для запроса курсора, контролируются с помощью параметра cursor_tuple_fraction .

Задание вручную значений автоматически увеличивающихся первичных ключей ¶

Django использует тип данных PostgreSQL SERIAL для хранения автоматически увеличивающихся первичных ключей. SERIALСтолбец заполняется значениями из последовательности , которая отслеживает следующей доступной стоимости. Присвоение значения автоматически увеличивающемуся полю вручную не обновляет последовательность полей, что впоследствии может вызвать конфликт. Например:

>>> from django.contrib.auth.models import User
>>> User.objects.create(username='alice', pk=1)
<User: alice>
>>> # The sequence hasn't been updated; its next value is 1.
>>> User.objects.create(username='bob')
...
IntegrityError: duplicate key value violates unique constraint
"auth_user_pkey" DETAIL:  Key (id)=(1) already exists.

Если вам нужно указать такие значения, сбросьте последовательность позже, чтобы избежать повторного использования значения, которое уже находится в таблице. Для этого sqlsequencereset команда управления генерирует операторы SQL.

Шаблоны тестовых баз данных ¶

Вы можете использовать эту TEST['TEMPLATE']настройку, чтобы указать шаблон (например 'template0'), из которого следует создать тестовую базу данных.

Ускорение выполнения теста с недолговечными настройками ¶

Вы можете ускорить выполнение теста, настроив PostgreSQL как непродолжительный .

Поддержка версий ¶

Django поддерживает MySQL 5.7 и выше.

inspectdbФункция Django использует information_schemaбазу данных, которая содержит подробные данные обо всех схемах базы данных.

Django ожидает, что база данных будет поддерживать Unicode (кодировка UTF-8), и делегирует ей задачу обеспечения транзакций и ссылочной целостности. Важно помнить о том, что два последних на самом деле не применяются MySQL при использовании механизма хранения MyISAM, см. Следующий раздел.

Механизмы хранения ¶

MySQL имеет несколько механизмов хранения . Вы можете изменить механизм хранения по умолчанию в конфигурации сервера.

Механизм хранения MySQL по умолчанию - InnoDB . Этот механизм полностью транзакционный и поддерживает ссылки на внешние ключи. Это рекомендуемый выбор. Однако счетчик автоинкремента InnoDB теряется при перезапуске MySQL, потому что он не запоминает AUTO_INCREMENTзначение, вместо этого воссоздает его как «max (id) +1». Это может привести к непреднамеренному повторному использованию AutoField значений.

Основные недостатки MyISAM заключаются в том, что он не поддерживает транзакции и не применяет ограничения внешнего ключа.

Драйверы MySQL DB API ¶

MySQL имеет пару драйверов, реализующих API базы данных Python, описанный в PEP 249 :

• mysqlclient - это собственный драйвер. Это рекомендуемый выбор .
• MySQL Connector / Python - это чистый драйвер Python от Oracle, который не требует клиентской библиотеки MySQL или каких-либо модулей Python за пределами стандартной библиотеки.

Эти драйверы являются потокобезопасными и обеспечивают создание пула соединений.

Помимо драйвера DB API, Django нужен адаптер для доступа к драйверам базы данных из ORM. Django предоставляет адаптер для mysqlclient, в то время как MySQL Connector / Python включает собственный .

Определения часовых поясов ¶

Если вы планируете использовать поддержку часовых поясов Django , используйте mysql_tzinfo_to_sql для загрузки таблиц часовых поясов в базу данных MySQL. Это нужно сделать только один раз для вашего сервера MySQL, а не для каждой базы данных.

Создание вашей базы данных ¶

Вы можете создать свою базу данных, используя инструменты командной строки и этот SQL:

CREATE DATABASE <dbname> CHARACTER SET utf8;

Это гарантирует, что все таблицы и столбцы по умолчанию будут использовать UTF-8.

Подключение к базе данных ¶

См. Документацию по настройкам .

Настройки подключения используются в таком порядке:

1. OPTIONS.
2. NAME, USER, PASSWORD, HOST, PORT
3. Файлы опций MySQL.

Другими словами, если вы установите имя базы данных в OPTIONS, это будет иметь приоритет NAME, что переопределит что-либо в файле опций MySQL .

Вот пример конфигурации, в которой используется файл опций MySQL:

# settings.py
DATABASES = {
    'default': {
        'ENGINE': 'django.db.backends.mysql',
        'OPTIONS': {
            'read_default_file': '/path/to/my.cnf',
        },
    }
}


# my.cnf
[client]
database = NAME
user = USER
password = PASSWORD
default-character-set = utf8

Несколько других вариантов подключения MySQLdb могут быть полезны, например ssl, init_commandи sql_mode.

Создание ваших таблиц ¶

Когда Django генерирует схему, он не указывает механизм хранения, поэтому таблицы будут создаваться с любым механизмом хранения по умолчанию, для которого настроен ваш сервер базы данных. Самое простое решение - установить желаемый механизм хранения по умолчанию на сервере базы данных.

Если вы пользуетесь услугами хостинга и не можете изменить механизм хранения по умолчанию на своем сервере, у вас есть несколько вариантов.

• После создания таблиц выполните оператор для преобразования таблицы в новый механизм хранения (например, InnoDB):ALTER TABLE

  ALTER TABLE <tablename> ENGINE=INNODB;
  

  Это может быть утомительно, если у вас много столов.

• Другой вариант - использовать init_commandопцию MySQLdb перед созданием таблиц:

  'OPTIONS': {
     'init_command': 'SET default_storage_engine=INNODB',
  }
  

  Это устанавливает механизм хранения по умолчанию при подключении к базе данных. После того, как ваши таблицы были созданы, вы должны удалить этот параметр, поскольку он добавляет запрос, который необходим только во время создания таблицы, к каждому соединению с базой данных.

Имена таблиц ¶

Даже в последних версиях MySQL есть известные проблемы, которые могут привести к изменению регистра имени таблицы, когда определенные операторы SQL выполняются при определенных условиях. Рекомендуется по возможности использовать имена таблиц в нижнем регистре, чтобы избежать проблем, которые могут возникнуть из-за такого поведения. Django использует имена таблиц в нижнем регистре, когда автоматически генерирует имена таблиц из моделей, поэтому это в основном нужно учитывать, если вы переопределяете имя таблицы с помощью db_tableпараметра.

Точки сохранения ¶

И Django ORM, и MySQL (при использовании механизма хранения InnoDB ) поддерживают точки сохранения базы данных .

Если вы используете механизм хранения MyISAM, имейте в виду, что вы получите ошибки, сгенерированные базой данных, если попытаетесь использовать методы API транзакций, связанные с точками сохранения . Причина этого в том, что обнаружение механизма хранения базы данных / таблицы MySQL - дорогостоящая операция, поэтому было решено, что не стоит динамически преобразовывать эти методы в бездействующие на основе результатов такого обнаружения.

Примечания к конкретным полям ¶

ALTER TABLE `your_table` MODIFY `your_datetime_column` DATETIME(6)

Блокировка ряда с помощью QuerySet.select_for_update()¶

MySQL и MariaDB не поддерживают некоторые параметры этого оператора. Если используется с неподдерживаемой опцией, то возникает .SELECT ... FOR UPDATEselect_for_update()NotSupportedError

При использовании select_for_update()в MySQL убедитесь, что вы фильтруете набор запросов по крайней мере по набору полей, содержащихся в уникальных ограничениях, или только по полям, покрытым индексами. В противном случае будет получена исключительная блокировка записи для всей таблицы на время транзакции.

Автоматическое приведение типов может привести к неожиданным результатам ¶

При выполнении запроса к строковому типу, но с целочисленным значением, MySQL будет преобразовывать типы всех значений в таблице к целому числу перед выполнением сравнения. Если таблица содержит значения 'abc', 'def'и вы запрашиваете , обе строки будут совпадать. Точно так же будет соответствовать значение . Следовательно, поля строкового типа, включенные в Django, всегда будут преобразовывать значение в строку, прежде чем использовать ее в запросе.WHERE mycolumn=0WHERE mycolumn=1'abc1'

Если вы реализуете пользовательские модели поля , которые наследуют от Fieldнепосредственно, подменяет get_prep_value()или использование RawSQL, extra()или raw(), вы должны убедиться , что вы выполняете соответствующие типажи.

Соответствие подстрок и чувствительность к регистру ¶

Для всех версий SQLite наблюдается некоторое противоречивое поведение при попытке сопоставления некоторых типов строк. Они запускаются при использовании фильтров iexactили containsв наборах запросов. Поведение делится на два случая:

1. Для сопоставления подстрок все совпадения выполняются без учета регистра. Это фильтр, который filter(name__contains="aa")будет соответствовать имени "Aabb".

2. Для строк, содержащих символы вне диапазона ASCII, все точные совпадения строк выполняются с учетом регистра, даже если в запрос передаются параметры без учета регистра. Таким образом, в этих случаях iexactфильтр будет вести себя точно так же, как и exactфильтр.

Некоторые возможные обходные пути для этого задокументированы на sqlite.org , но они не используются серверной частью SQLite по умолчанию в Django, поскольку их внедрение было бы довольно трудным для надежной работы. Таким образом, Django предоставляет поведение SQLite по умолчанию, и вы должны знать об этом при выполнении фильтрации без учета регистра или фильтрации подстроки.

Обработка десятичных чисел ¶

SQLite не имеет внутреннего десятичного типа. Десятичные значения внутренне преобразуются в REALтип данных (8-байтовое число с плавающей запятой IEEE), как описано в документации по типам данных SQLite , поэтому они не поддерживают арифметику с правильно округленным десятичным числом с плавающей запятой.

Ошибки «База данных заблокирована» ¶

SQLite задуман как легкая база данных и поэтому не может поддерживать высокий уровень параллелизма. Ошибки указывают на то, что в вашем приложении больше параллелизма, чем может быть обработано в конфигурации по умолчанию. Эта ошибка означает, что один поток или процесс имеет монопольную блокировку соединения с базой данных, а время ожидания другого потока истекло в ожидании снятия блокировки.OperationalError: database is lockedsqlite

Оболочка Python SQLite имеет значение тайм-аута по умолчанию, которое определяет, как долго второй поток может ждать блокировки, прежде чем она истечет и вызовет ошибку.OperationalError: database is locked

Если вы получаете эту ошибку, вы можете решить ее следующим образом:

• Переход на другую базу данных. В определенный момент SQLite становится слишком «облегченным» для реальных приложений, и такого рода ошибки параллелизма указывают на то, что вы достигли этой точки.

• Переписать код, чтобы уменьшить параллелизм и обеспечить недолговечность транзакций базы данных.

• Увеличьте значение тайм-аута по умолчанию, установив параметр timeoutбазы данных:

  'OPTIONS': {
      # ...
      'timeout': 20,
      # ...
  }
  

  Это заставит SQLite немного подождать, прежде чем выдавать ошибку «база данных заблокирована»; на самом деле это не поможет их решить.

QuerySet.select_for_update()не поддерживается ¶

SQLite не поддерживает синтаксис. Вызов его не подействует.SELECT ... FOR UPDATE

Стиль параметра «pyformat» в необработанных запросах не поддерживается ¶

Для большинства бэкэндов необработанные запросы ( Manager.raw()или cursor.execute()) могут использовать стиль параметра «pyformat», где заполнители в запросе задаются как, '%(name)s'а параметры передаются как словарь, а не список. SQLite не поддерживает это.

Изоляция при использовании QuerySet.iterator()¶

В разделе «Изоляция в SQLite» есть особые соображения при изменении таблицы во время итерации с использованием QuerySet.iterator(). Если строка добавляется, изменяется или удаляется внутри цикла, то эта строка может появляться или не появляться, или может появляться дважды в последующих результатах, полученных от итератора. Ваш код должен справиться с этим.

Включение расширения JSON1 на SQLite ¶

Для использования JSONFieldв SQLite вам необходимо включить расширение JSON1 в sqlite3библиотеке Python . Если расширение не включено в вашей установке, появится системная ошибка ( fields.E180).

Чтобы включить расширение JSON1, вы можете следовать инструкциям на вики-странице .

Подключение к базе данных ¶

Чтобы подключиться с использованием имени службы вашей базы данных Oracle, ваш settings.py файл должен выглядеть примерно так:

DATABASES = {
    'default': {
        'ENGINE': 'django.db.backends.oracle',
        'NAME': 'xe',
        'USER': 'a_user',
        'PASSWORD': 'a_password',
        'HOST': '',
        'PORT': '',
    }
}

В этом случае, вы должны оставить как HOSTи PORTопорожнить. Однако, если вы не используете tnsnames.oraфайл или аналогичный метод именования и хотите подключиться с использованием SID («xe» в этом примере), введите оба значения HOSTи PORTвот так:

DATABASES = {
    'default': {
        'ENGINE': 'django.db.backends.oracle',
        'NAME': 'xe',
        'USER': 'a_user',
        'PASSWORD': 'a_password',
        'HOST': 'dbprod01ned.mycompany.com',
        'PORT': '1540',
    }
}

Вы должны либо указать оба HOSTи PORT, либо оставить оба пустыми. Django будет использовать другой дескриптор подключения в зависимости от этого выбора.

'NAME': 'localhost:1521/orclpdb1',

'NAME': (
    '(DESCRIPTION=(ADDRESS=(PROTOCOL=TCP)(HOST=localhost)(PORT=1521))'
    '(CONNECT_DATA=(SERVICE_NAME=orclpdb1)))'
),

Вариант с резьбой ¶

Если вы планируете запускать Django в многопоточной среде (например, Apache с использованием модуля MPM по умолчанию в любой современной операционной системе), вы должны установить threadedпараметр конфигурации базы данных Oracle на True:

'OPTIONS': {
    'threaded': True,
},

Несоблюдение этого правила может привести к сбоям и другому странному поведению.

ВСТАВИТЬ… ВОЗВРАЩЕНИЕ В ¶

По умолчанию серверная часть Oracle использует предложение для эффективного извлечения значения при вставке новых строк. Такое поведение может привести к некоторым необычным настройкам, например, при вставке в удаленную таблицу или в представление с триггером. Предложение можно отключить, установив для параметра конфигурации базы данных значение :RETURNING INTOAutoFieldDatabaseErrorINSTEAD OFRETURNING INTOuse_returning_intoFalse

'OPTIONS': {
    'use_returning_into': False,
},

В этом случае серверная часть Oracle будет использовать отдельный SELECTзапрос для получения AutoFieldзначений.

Проблемы с именованием ¶

Oracle устанавливает ограничение на длину имени в 30 символов. Чтобы учесть это, бэкэнд усекает идентификаторы базы данных, чтобы они соответствовали, заменяя последние четыре символа усеченного имени повторяющимся значением хеш-функции MD5. Кроме того, серверная часть переводит идентификаторы базы данных в верхний регистр.

Чтобы предотвратить эти преобразования (обычно это требуется только при работе с устаревшими базами данных или при доступе к таблицам, принадлежащим другим пользователям), используйте имя в кавычках в качестве значения для db_table:

class LegacyModel(models.Model):
    class Meta:
        db_table = '"name_left_in_lowercase"'

class ForeignModel(models.Model):
    class Meta:
        db_table = '"OTHER_USER"."NAME_ONLY_SEEMS_OVER_30"'

Имена в кавычках могут также использоваться с другими поддерживаемыми базами данных Django; Однако, за исключением Oracle, кавычки не действуют.

При запуске migrate, ORA-06552ошибки могут возникнуть , если определенные ключевые слова Oracle используются в качестве имени поля модели или стоимости db_columnопциона. Django цитирует все идентификаторы, используемые в запросах, чтобы предотвратить большинство таких проблем, но эта ошибка все равно может возникать, когда в качестве имени столбца используется тип данных Oracle. В частности, позаботьтесь , чтобы избежать использования имен date, timestamp, numberили в floatкачестве имени поля.

NULL и пустые строки ¶

Django обычно предпочитает использовать пустую строку ( '') NULL, но Oracle обрабатывает и то, и другое одинаково. Чтобы обойти это, серверная часть Oracle игнорирует явную nullопцию для полей, которые имеют пустую строку в качестве возможного значения, и генерирует DDL как если бы null=True. При выборке из базы данных предполагается, что NULLзначение в одном из этих полей действительно означает пустую строку, и данные автоматически преобразуются, чтобы отразить это предположение.

TextFieldограничения ¶

Серверная часть Oracle хранит данные в TextFieldsвиде NCLOBстолбцов. Oracle накладывает некоторые ограничения на использование таких столбцов LOB в целом:

• Столбцы больших объектов нельзя использовать в качестве первичных ключей.
• Столбцы больших объектов нельзя использовать в индексах.
• Столбцы больших объектов нельзя использовать в списке. Это означает, что попытка использовать метод в модели, которая включает столбцы, приведет к ошибке при запуске с Oracle. В качестве обходного пути используйте этот метод вместе с, чтобы предотвратить включение столбцов в список.SELECT DISTINCTQuerySet.distinctTextFieldORA-00932QuerySet.deferdistinct()TextFieldSELECT DISTINCT