Пост 16. Oracle RDBMS External tables, как способ прочитать данные из NoSQL.

Доброго времени суток!
Продолжаю рассказывать об интеграции Oracle NoSQL Database и Oracle RDBMS.
Сегодня речь пойдет о новой возможности появившейся во второй версии Oracle NoSQL database - возможность чтения NoSQL данных из реляционки.
Осуществляется это через механизм Oracle RDBMS External Tables. Если в двух словах внешняя таблица - это технология, которая позволяет читать файл с файловой системы сервера базы данных. Лежит, например, csv файл на серваке, описываю я его в базе данных (create table my_tab_ext ...), а потом могу прочитать эти даные обыкновенным select (очень удобный и быстрый способ загружать данные, например). В Oracle  11.2g добавили пропроцессор. В этом случае,я так же описываю поток данных, только прежде чем прочитать файл могу провеси над ним некие преобразования. Например лежит у меня заархивированный csv, до того как гнать поток данных  в базу, необходимо его распаковать. Все это возможно с помощью препроцессора (в этом случае препроцессором будет команда unzip).
Ноу-хау NoSQL v2 заключается в создании програмы пропроцессора.
Наверное я Вас окончательно запутал? Вот тут действительно лучше один раз увидеть.
Давайте разберем конкретный пример. Наберитесь терпения и шаг за шагом внимательно прочтите последовательность действий.

1) Подготовительный этап - создание дирректорий, назначение прав в RDBMS

-Создание необходимых директорий
SQL> CREATE DIRECTORY ext_tab AS '/home/oracle/nosql/data/';
SQL> CREATE DIRECTORY nosql_bin_dir AS '/home/oracle/nosql/bin/'; 

-Назначение пользователю Oracle RDBMS необходимых прав:
SQL> GRANT READ, WRITE ON DIRECTORY ext_tab TO nosql;
SQL> GRANT READ, EXECUTE ON DIRECTORY nosql_bin_dir TO nosql;

В файл препроцессора nosql_stream прописываем переменные окружения:
export KVHOME= ...
export CLASSPATH= ...

Cам файл необходимо взять из архива дистрибутива Oracle NoSQL Database.
В моем случае я его переложил в /home/oracle/nosql/bin/nosql_stream

2) Подготовим данные в NoSQL базе, которые мы потом будет считывать из Oracle.
Загрузим данные в формате “/profile/Имя/Фамилия/-/phone/:номер телефона” (несколько строчек).
Если не знаете как это делать смотрите вот здесь

3) Cоздайте свой собственный formatter, который будет преобразовывать входную пару ключ-значение в формат внешней таблицы (string с разделителями, указанными при создании внешней таблицы). Java код ниже:


import java.io.ByteArrayInputStream;
import java.io.DataInput;
import java.io.DataInputStream;
import java.io.IOException;
import java.util.List;
import java.util.logging.Level;
import java.util.logging.Logger;

import oracle.kv.Key;
import oracle.kv.KeyValueVersion;
import oracle.kv.KVStore;
import oracle.kv.Value;
import oracle.kv.exttab.Formatter;

public class b_NewFormatter implements Formatter {

    private static final String USER_OBJECT_TYPE = "profile";

    public b_NewFormatter() {
    }

    @Override
    public String toOracleLoaderFormat(final KeyValueVersion kvv,
            final KVStore kvStore) {
        final Key key = kvv.getKey();
        final Value value = kvv.getValue();
        final String sValue = new String(value.getValue());

        final List<String> majorPath = key.getMajorPath();
        final List<String> minorPath = key.getMinorPath();

        final String objectType = majorPath.get(0);

        if (!USER_OBJECT_TYPE.equals(objectType)) {
            throw new IllegalArgumentException("Unknown object type: " + key);
        }

        final String Name = majorPath.get(1);
        final String Surname = majorPath.get(2);
        final String atr = minorPath.get(0);

        final StringBuilder sb = new StringBuilder();
        sb.append(Name).append("|");
        sb.append(Surname).append("|");
        sb.append(atr).append("|");
        sb.append(sValue).append("|");
        return sb.toString();

    }

    private String readString(final DataInput in)
            throws IOException {

        if (!in.readBoolean()) {
            return null;
        }

        return in.readUTF();
    }
}


4) В Oracle RDBMS создаем внешнюю таблицу


CREATE TABLE profile_external (name VARCHAR2(64),
                                surname varCHAR2(64),
                                atr VARCHAR2(64),
                                sValue varchar2(256))
        ORGANIZATION EXTERNAL
            (type oracle_loader
             default directory ext_tab
             access parameters (records delimited by newline
             preprocessor nosql_bin_dir:'nosql_stream'
            fields terminated by '|')
       LOCATION ('profile.dat'))
       PARALLEL;

5) Создаем конфигурационный файл для описания NoSQL базы и Oracle
В моем примере:


[oracle@localhost ~]$ cat /home/oracle/nosql/conf/config2.xml
<config version="1">
  <component name="publish" type="params">
    <!-- Fill in appropriate values for
        oracle.kv.exttab.connection.url and oracle.kv.exttab.connection.user
       -->
    <property name="oracle.kv.exttab.connection.url"
              value="jdbc:oracle:thin:/@//localhost:1521/XE"
              type="STRING"/>
    <property name="oracle.kv.exttab.connection.user"
              value="nosql" type="STRING"/>
    <property name="oracle.kv.exttab.tableName" value="profile_external"
              type="STRING"/>
    <!-- If you use a wallet to access your Oracle Instance, uncomment
         this and fill in a suitable value for the

              oracle.kv.exttab.connection.wallet_location

         property. -->
    <!--
    <property name="oracle.kv.exttab.connection.wallet_location"
              value="PATHNAME TO YOUR WALLET DIRECTORY" type="STRING"/>
    -->
  </component>
  <component name="nosql_stream" type="params">
    <!-- Fill in appropriate values for
        oracle.kv.kvstore and oracle.kv.hosts
       -->
    <property name="oracle.kv.kvstore"
              value="kvstore"
              type="STRING"/>
    <property name="oracle.kv.hosts"
              value="LOCALHOST:5000"
              type="STRING"/>
    <property name="oracle.kv.batchSize"
              value="100"
              type="INT"/>
    <property name="oracle.kv.depth"
              value="PARENT_AND_DESCENDANTS"
              type="STRING"/>
    <property name="oracle.kv.parentKey"
              value="/profile"
              type="STRING"/>
    <property name="oracle.kv.formatterClass"
              value="Answers_part3.b_NewFormatter"
              type="STRING"/>
    <!-- Other properties that are not needed for the cookbook example. -->
    <!--
    <property name="oracle.kv.subRange"
              value="I/login/"
              type="STRING"/>
    <property name="oracle.kv.consistency"
              value="tIme(10 seconds, 10 seconds)"
              type="STRING"/>
    <property name="oracle.kv.keyDelimiter"
              value="|"
              type="STRING"/>
    <property name="oracle.kv.variableSizeBytes"
              value="0"
              type="INT"/>
    <property name="oracle.kv.timeout"
              value="10 seconds"
              type="STRING"/>
    -->
  </component>
</config>

6) Используя утилиту publisher создаем конфигурационный файл на который указывает внешняя таблица

[oracle@localhost ~]$ cat /home/oracle/nosql/sh/publish_config.sh
#!/bin/bash
source ~/.bash_profile
java -classpath $KVHOME/lib/*:$ORACLE_HOME/jdbc/lib/ojdbc6.jar oracle.kv.exttab.Publish -config /home/oracle/nosql/conf/config2.xml -publish

7) Добавьте в конфиг препроцессора (/home/oracle/nosql/bin/nosql_stream) путь к новому Formatter.

[oracle@localhost ~]$ cat /home/oracle/nosql/bin/nosql_stream
#!/bin/bash
export PATH=$PATH
export KVHOME=/home/cloudera/nosql/kv-2.0.23
export CLASSPATH=$KVHOME/lib/kvstore-2.0.23.jar:$KVHOME/lib/kvstore-ee-2.0.23.jar:/home/cloudera/nosql/kv-2.0.23/examples/:/home/oracle/nosql/jar/DeveloperDay.jar
/usr/java/jdk1.7.0_02/bin/java oracle.kv.exttab.Preproc $*

8) Пишем SQL для доступа к данным!

select * from profile_external

Вот вроде бы и все. Если внимательно выполнить шаг за шагом здесь описанное - все получится. Если будут вопросы - не стесняйтесь их задавать!