カテゴリー: テクノロジー

Solr 9をビルドする

はじめに

Solr 9 になって ant, ivy によるビルドから Gradle によるビルドに変わりました。
ソースパッケージに付属の README の手順通りではありますが、一通り手順を確認したのでまとめてみます。

JDKのバージョン

OpenJDK 11 以降が要求されています。

ソースコードの取得

ソースパッケージをダウンロードするか、git clone するかします。

$ git clone https://github.com/apache/solr.git

ビルド

ソースパッケージをダウンロードして展開したら、以下を実行します。

$ ./gradlew assemble

予め Gradle をインストールしておく必要は無く、gradlew スクリプトが必要なバージョンの Gradle をダウンロードして設定した上で実行してくれます。

ビルドが完了すると、成果物は solr/packaging/build/solr-9.0.0-SNAPSHOT 以下に作られます(solr-9.0.0-srcの場合)。 また、配布ようにパッケージングされたファイルが
solr/packaging/build/distributions/solr-9.0.0-SNAPSHOT.tgz に作られます。

起動

ここまで来ればいつも通りの solr コマンドで起動できます。

$ cd solr/packaging/build/solr-9.0.0-SNAPSHOT
$ bin/solr start -c

SolrをPHPで使う(検索編)

前回の記事でSolrをPHPから使う準備ができました。
今回はPHPで Solr の検索を実行する方法です。

検索結果のオブジェクトは以下のような構造になっています。

SolrObject Object
(
    [responseHeader] => SolrObject Object
        (
            [zkConnected] => 1
            [status] => 0
            [QTime] => 0
            [params] => SolrObject Object
                (
                    [q] => *:*
                    [indent] => on
                    [start] => 0
                    [rows] => 2
                    [version] => 2.2
                    [wt] => xml
                )

        )

    [response] => SolrObject Object
        (
            [numFound] => 52
            [start] => 0
            [docs] => Array
                (
                    [0] => SolrDocument Object
                        (
                            [_hashtable_index:SolrDocument:private] => 24804
                        )

                    [1] => SolrDocument Object
                        (
                            [_hashtable_index:SolrDocument:private] => 5340
                        )

                )

        )

)

docs という配列の要素である SolrDocument オブジェクトは SolrDocumentField オブジェクトを複数含んでいます。SolrDocument 内のすべての SolrDocumentField をたどるために current() や next() などのメソッドを利用します。

SolrObject ベースの検索結果は意外と扱いづらいので、JSON で扱えるようにしてみます。

SolrClient 作成時のオプションとして wt=json を追加しています。

getRawResponse() の応答は以下の通りです。

{
  "responseHeader":{
    "zkConnected":true,
    "status":0,
    "QTime":0,
    "params":{
      "q":"*:*",
      "indent":"on",
      "start":"0",
      "rows":"2",
      "version":"2.2",
      "wt":"json"}},
  "response":{"numFound":52,"start":0,"numFoundExact":true,"docs":[
      {
        "id":"0553573403",
        "cat":["book"],
        "name":"A Game of Thrones",
        "price":7.99,
        "price_c":"7.99,USD",
        "inStock":true,
        "author":"George R.R. Martin",
        "author_s":"George R.R. Martin",
        "series_t":"A Song of Ice and Fire",
        "sequence_i":1,
        "genre_s":"fantasy",
        "_version_":1730974266238697472,
        "price_c____l_ns":799},
      {
        "id":"0553579908",
        "cat":["book"],
        "name":"A Clash of Kings",
        "price":7.99,
        "price_c":"7.99,USD",
        "inStock":true,
        "author":"George R.R. Martin",
        "author_s":"George R.R. Martin",
        "series_t":"A Song of Ice and Fire",
        "sequence_i":2,
        "genre_s":"fantasy",
        "_version_":1730974266279591936,
        "price_c____l_ns":799}]
  }}

これを json_decode() することで、通常の PHP 配列として扱うことができます。

Array
(
    [responseHeader] => Array
        (
            [zkConnected] => 1
            [status] => 0
            [QTime] => 0
            [params] => Array
                (
                    [q] => *:*
                    [indent] => on
                    [start] => 0
                    [rows] => 2
                    [version] => 2.2
                    [wt] => json
                )

        )

    [response] => Array
        (
            [numFound] => 52
            [start] => 0
            [numFoundExact] => 1
            [docs] => Array
                (
                    [0] => Array
                        (
                            [id] => 0553573403
                            [cat] => Array
                                (
                                    [0] => book
                                )

                            [name] => A Game of Thrones
                            [price] => 7.99
                            [price_c] => 7.99,USD
                            [inStock] => 1
                            [author] => George R.R. Martin
                            [author_s] => George R.R. Martin
                            [series_t] => A Song of Ice and Fire
                            [sequence_i] => 1
                            [genre_s] => fantasy
                            [_version_] => 1730974266238697472
                            [price_c____l_ns] => 799
                        )

                    [1] => Array
                        (
                            [id] => 0553579908
                            [cat] => Array
                                (
                                    [0] => book
                                )

                            [name] => A Clash of Kings
                            [price] => 7.99
                            [price_c] => 7.99,USD
                            [inStock] => 1
                            [author] => George R.R. Martin
                            [author_s] => George R.R. Martin
                            [series_t] => A Song of Ice and Fire
                            [sequence_i] => 2
                            [genre_s] => fantasy
                            [_version_] => 1730974266279591936
                            [price_c____l_ns] => 799
                        )

                )

        )

)

SolrをPHPで使う(インストール編)

PHPではPECLで Solr Extension が用意されています。
https://www.php.net/manual/ja/book.solr.php

Solr Extension をインストールするためには、まず PECL を使えるようにします。(以下、Debian での手順です)

$ sudo apt install php-pear php-dev
$ sudo pecl channel-update pecl.php.net
$ ecl search solr

Matched packages, channel pecl.php.net:
=======================================
Package Stable/(Latest) Local
solr    2.5.1 (stable)        The Apache Solr PHP extension is an extremely fast,
                                  light-weight, feature-rich library that allows PHP applications to
                                  communicate easily and efficiently with Apache Solr server instances
                                  using an object-oriented API.

Solr Extension をコンパイルするのに必要なライブラリをインストールします。

$ sudo apt install libcurl4-openssl-dev libxml2-dev
$ mkdir -p /tmp/libcurl4/include
$ ln -s /usr/include/x86_64-linux-gnu/curl /tmp/libcurl4/include
$ mkdir -p /tmp/libxml2/include
$ ln -s /usr/include/libxml2/libxml /tmp/libxml2/include/libxml2

PECL が想定しているディレクトリ構成に合わせるためにシンボリックリンクを張っています。

ここまで準備ができたらインストール。

$ sudo pecl install solr
(略)
Build process completed successfully
Installing '/usr/lib/php/20190902/solr.so'
install ok: channel://pecl.php.net/solr-2.5.1
configuration option "php_ini" is not set to php.ini location
You should add "extension=solr.so" to php.ini

途中で libcurl と libxml2 の include パスを聞かれるので、それぞれ /tmp/libcurl /tmp/libxml2 を指定します。

コンパイルが正常に終了したら PHP から利用できるように設定します。

$ sudo sh -c "echo extension=solr.so > /etc/php/7.4/mods-available/solr.ini"
$ sudo ln -s /etc/php/7.4/mods-available/solr.ini /etc/php/7.4/cli/conf.d/30-solr.ini
$ sudo ln -s /etc/php/7.4/mods-available/solr.ini /etc/php/7.4/apache2/conf.d/30-solr.ini
$ sudo service apache2 restart

0.1 + 0.1 は 0.2 ではない

こんにちは。開発担当のマットです。

コンピューターはとても力強い計算機です。
毎秒毎秒、何億回も計算をできる、素晴らしい機械ですけれども、それでも 0.1 + 0.1 のような簡単な計算を正確にできないことは驚きの事実です。

2進法と10進法の違い

我々人間は、だいたい10進法を使います。
(一部の文化で、12進法や26進法などを使うこともあるようですが)

数える時は 0 で始まる。その次は 1, 2, 3, 4, 5, 6, 7, 8, 9。
合わせて、10個の記号を使います。
そのため、「十」以上を数える場合、左に位を上げます。
百と千などは「10×10」と「10x10x10」となります。

つまり、6308 の数は、
     6 x (10 x 10 x 10)
+   3 x (10 x 10)
+   0 x 10
+   8 x 1
です。

コンピュータは、2進法を使います。
数える時は 0 で始まる。その次は 1。その2記号だけです。
でも、同じ
つまり、25 の数は、 
     1 x (2 x 2 x 2 x 2) 
+   1 x (2 x 2 x 2)
+   0 x (2 x 2)
+   0 x 2
+   1 x 1
なので、2進法で書くと、25(二十五) は 「11001」 と表します。
(それは一万一千一ではなく、二十五です。別の書き方をしているだけです。)

2進法は1679年に、ドイツで開発されました。

浮動小数点」を書く時は?

233や3122 のような数字を「整数」と呼びます。
逆に、0.524 や 0.216 のような小数点のある数字を「浮動小数点数」と呼びます。

整数と同じようですが、2 を使うではなく、分数ですので、1/2 を使います。
つまり、 0.125 は
     0 x (1/2)
+   0 x (1/2 x 1/2)
+   1 x (1/2 x 1/2 x 1/2)
なので、2進法で浮動小数点数として書くと、0.125 は 001 と書きます。

ところが、2進法で、綺麗に表せない数字もあります。
例えば、10進法で、1 を 3 に割ると、0.33333333333…. になると同様、
0.1 を浮動小数点数として書く場合、
0.1 = 0.00011001100110011001100110011… になります。
(最後の「0011」の部分が永遠に繰り返します)

永遠に計算できない罠

残念ながら、コンピューターは「永遠」や「無限」の概念を理解できません。
無限に長い数字をメモリーに入れることはできませんので、省略する必要があります。

そのため、0.1 (10分の1)をメモリーに保存する場合、
0.0001100110011001101 として保存されます。

その値は、正確に 0.1 (10分の1) ではなく、0.1000003814697265625 です。
省略しているため、値が微妙にズレてしまいました。

人間として、0.1に0.1を足せば、0.2になるだろう、と思いがちです。
プログラマーも人間なので、その前提でコードを書いてしまいます。
このようなことをすると、変なエラーと予期できない動作が発生してしまいます。

まとめ

コンピューターは完全に思う通りに動くと思いたいですが、あくまでも物理的な機械なので、物理的な限界もあります。

プログラマーになるには、コーディング法や言語の特徴を覚える必要はもちろんありますが、匠と同様に、失敗をしたくない場合、道具として使っているコンピューターのことも、深く理解しなければなりません。

とても面白いと思います。


[Solr]Implicit RequestHander はどのように定義されているか

リファレンスによると、Implicit RequestHander は solrconfig.xml に設定を書かなくても使用できるリクエストハンドラである、と書かれています。
これらの Implicit RequestHander がどこでどのように定義されているのかを調べてみました。

Solr のソースでそれらしいものを探してみると solr/core/src/resources/ImplicitPlugins.json というファイルが見つかりました。

{
  "requestHandler": {
    "/update": {
      "useParams":"_UPDATE",
      "class": "solr.UpdateRequestHandler"
    },
    "/update/json": {
      "useParams":"_UPDATE_JSON",
      "class": "solr.UpdateRequestHandler",
      "invariants": {
        "update.contentType": "application/json"
      }
    },
    "/update/csv": {
      "useParams":"_UPDATE_CSV",
      "class": "solr.UpdateRequestHandler",
      "invariants": {
        "update.contentType": "application/csv"
      }
    },
    "/update/json/docs": {
      "useParams":"_UPDATE_JSON_DOCS",
      "class": "solr.UpdateRequestHandler",
      "invariants": {
        "update.contentType": "application/json",
        "json.command": "false"
      }
    },
(略)

これを読み込んでいるのが
solr/core/src/java/org/apache/solr/core/SolrCore.java
です。該当箇所は以下の通り。読み込んだ定義情報は getImplicitHandlers() で取得できます。

  private static final class ImplicitHolder {
    private ImplicitHolder() { }
    private static final List INSTANCE;
    static {
      @SuppressWarnings("unchecked")
      Map implicitPluginsInfo = (Map) Utils.fromJSONResource("ImplicitPlugins.json");
      @SuppressWarnings("unchecked")
      Map> requestHandlers = (Map>) implicitPluginsInfo.get(SolrRequestHandler.TYPE);
      List implicits = new ArrayList<>(requestHandlers.size());
      for (Map.Entry> entry : requestHandlers.entrySet()) {
        Map info = entry.getValue();
        info.put(CommonParams.NAME, entry.getKey());
        implicits.add(new PluginInfo(SolrRequestHandler.TYPE, info));
      }
      INSTANCE = Collections.unmodifiableList(implicits);
    }
  }
  public List getImplicitHandlers() {
    return ImplicitHolder.INSTANCE;
  }

RequestHanders クラスの初期化処理の中で、solrconfig.xml で定義されて RequestHander と implicit として定義されている RequestHander (SolrCore.getImplicitHanders()で取得)の両方が読み込まれて初期化されています。

  void initHandlersFromConfig(SolrConfig config) {
    List implicits = core.getImplicitHandlers();
    // use link map so we iterate in the same order
    Map infoMap= new LinkedHashMap<>();
    //deduping implicit and explicit requesthandlers
    for (PluginInfo info : implicits) infoMap.put(info.name,info);
    for (PluginInfo info : config.getPluginInfos(SolrRequestHandler.class.getName())) infoMap.put(info.name, info);
    ArrayList infos = new ArrayList<>(infoMap.values());
    List modifiedInfos = new ArrayList<>();
    for (PluginInfo info : infos) {
      modifiedInfos.add(applyInitParams(config, info));
    }
    handlers.init(Collections.emptyMap(),core, modifiedInfos);
    handlers.alias(handlers.getDefault(), "");
    if (log.isDebugEnabled()) {
      log.debug("Registered paths: {}", StrUtils.join(new ArrayList<>(handlers.keySet()), ','));
    }
    if (handlers.get("") == null && !handlers.alias("/select", "")) {
      if (handlers.get("") == null && !handlers.alias("standard", "")) {
        log.warn("no default request handler is registered (either '/select' or 'standard')");
      }
    }
  }

この時点で Implicit RequestHandler は solrconfig.xml で定義されているものと同等の扱いになっている訳です。