格式化输入和输出文件

当你使用外部表或COPY来加载数据的时候，数据可以是TEXT格式，也可以是CSV(comma separated values), ORC(Optimized Row Columnar)。外部数据必须有着正确的格式 OushuDB 才可以理解输入的数据。

行分割符

OushuDB 期待行之间由LF(Line feed, 0x0A)字符，CR(Carriage Return, 0xOD)，或者CR+LF(0x0D 0x0A)分割。LF是UNIX或者UNIX兼容的操作系统行分割符，Windows或者Mac使用CR或者CR+LF。

下面的例子展示了如何使用CRLF做为行分割符：

CREATE EXTERNAL TABLE ext_table (name text, date date)
LOCATION ('gpfdist://host:port/filename.txt')
FORMAT 'TEXT' (NEWLINE 'CRLF');

列分割符

缺省的TEXT文件列分割符是TAB字符(0x09)，CSV文件为逗号(0x2C)。你可以使用COPY和CREATE EXTERNAL TABLE的DELIMITER子句指定分割符。分割符必须出现在两个列之间，但是不要在你的行首和行尾添加分割符。版本2.2.0增加了对非ascii字符（如汉字）和多字符分隔符（如’$$$’, ‘分隔符’）的支持。

下面是一个例子：

data value 1|data value 2|data value 3

下面的例子展示了如何使用 | 做为列分割符：

CREATE readable EXTERNAL TABLE ext_table (name text, date date)
LOCATION ('gpfdist://host:port/filename.txt')
FORMAT 'TEXT' (DELIMITER '|');

表示空值

在TEXT格式文件中，默认N表示NULL，CSV格式文件中没有引号的空值表示NULL。在COPY（NULL子句），CREATE EXTERNAL TABLE （NULL子句）中，你可以通过声明使用一个符串来表示NULL。

下面的例子展示了如何使用空串’’做为NULL：

CREATE EXTERNAL TABLE ext_table (name text, date date)
LOCATION ('gpfdist://host:port/filename.txt')
FORMAT 'TEXT' (NULL '');

转义字符

有两种字符对 OushuDB 解析TEXT和CSV文件有特殊意义，一个是列的分割符，一个是行的分割符。如果你的数据中包含这些分割符，你需要对其进行转义。默认情况下，对TEXT格式，OushuDB 使用(backslash)做为转义字符，而针对CSV文件使用(“)做为转义字符。

下面这个例子显示指定做为转义字符：

CREATE EXTERNAL TABLE ext_table (name text, date date)
LOCATION ('gpfdist://host:port/filename.txt')
FORMAT 'TEXT' (ESCAPE '\');

TEXT格式

下面给出一个例子，假如你有一个表，该表有三个text列。你想加载如下三个值的这个表中：

• backslash =

• vertical bar = |

• exclamation point = !

你的列分割符是| (pipe character)，你的转义字符是(backslash)，你的输入文件应该像这样：

backslash = \\ | vertical bar = \| | exclamation point = !

你也可是使用转义字符来转义8进制和16进制的序列。转义的值在加载到 OushuDB 时会被转换成对应的字符。例如，你想加载字符(&)，你可以使用16进制（0x26）或者8进制（046）表示。

你也可以通过使用COPY或者CREATE EXTERNAL TABLE中的ESCAPE子句禁掉转义。例如：

CREATE EXTERNAL TABLE ext_table (name text, date date)
LOCATION ('gpfdist://host:port/filename.txt')
FORMAT 'TEXT' (ESCAPE 'OFF');

CSV格式

缺省的CSV格式转义字符为(“)，你可以使用ESCAPE子句修改转义字符。

下面给出一个例子，假如你有一个表，该表有三个text列。你想加载如下三个值到这个表中：

• Free trip to A,B

• 5.89

• Special rate “1.79”

你使用的列分割符是,(comma)，你使用的转义字符是默认的”(double quote)，你的输入文件应该像这样：

"Free trip to A,B","5.89","Special rate ""1.79"""

注意把值放到双引号内部可以保证保留值的开头和结尾处的空格。

文件编码

可以使用CREATE EXTERNAL TABLE的ENCODING子句来指定输入文件的编码：比如’UTF8’。OushuDB 支持多种字符编码（ORC格式文件仅支持UTF8）。

注意：对Microsoft Windows操作系统产生的文件，在导入这些文件的时候，需要使用dos2unix命令来移除Windows特殊的字符。

下表第一列列举了所有支持的字符编码方式。第二列列举了对应的能支持的外部表编码方式。

Server Character Set	Available External Table Character Sets
BIG5	not supported as a server encoding
EUC_CN	EUC_CN, UTF8
EUC_JP	EUC_JP, SJIS, UTF8
EUC_KR	EUC_KR, UTF8
EUC_TW	EUC_TW, BIG5, UTF8
GB18030	not supported as a server encoding
GBK	not supported as a server encoding
ISO_8859_5	ISO_8859_5, KOI8R, UTF8, WIN866, WIN1251
ISO_8859_6	ISO_8859_6, UTF8
ISO_8859_7	ISO_8859_7, UTF8
ISO_8859_8	KOI8R, ISO_8859_5, UTF8, WIN866, WIN1251
KOI8U	KOI8U, UTF8
LATIN1	LATIN1, UTF8
LATIN2	LATIN2, UTF8, WIN1250
LATIN3	LATIN3, UTF8
LATIN4	LATIN4, UTF8
LATIN5	LATIN5, UTF8
LATIN6	LATIN6, UTF8
LATIN7	LATIN7, UTF8
LATIN8	LATIN8, UTF8
LATIN9	LATIN9, UTF8
LATIN10	LATIN10, UTF8
SJIS	not supported as a server encoding
SQL_ASCII	any (no conversion will be performed)
UHC	not supported as a server encoding
UTF8	all supported encodings
WIN866	WIN866, ISO_8859_5, KOI8R, UTF8, WIN1251
WIN874	WIN874, UTF8
WIN1250	WIN1250, LATIN2, UTF8
WIN1251	WIN1251, ISO_8859_5, KOI8R, UTF8, WIN866
WIN1252	WIN1252, UTF8
WIN1253	WIN1253, UTF8
WIN1254	WIN1254, UTF8
WIN1255	WIN1255, UTF8
WIN1256	WIN1256, UTF8
WIN1257	WIN1257, UTF8
WIN1258	WIN1258, UTF8