タグ: Solr

[Solr] Streaming Expressios と Math Expressions 利用例のページが充実している

Solr はそもそもは検索エンジン・検索サーバですが、Streaming Expressios や Math Expressions という機能を組み合わせることで、データサイエンスのツールとしても使えます。

公式サイトResoucesのページの Documentation の項に Visual Guide to Streaming Expressions and Math Expressions というリンクがあり、そこで数多くの利用例を見ることができます。

目次はこんな感じです。

  • Visualizations
  • Getting Started
  • Data Loading
  • Searching, Sampling and Aggregation
  • Transforming Data
  • Scalar Math
  • Vector Math
  • Variables and Vectorization
  • Matrix Math
  • Text Analysis and Term Vectors
  • Probability
  • Statistics
  • Linear Regression
  • Curve Fitting
  • Time Series
  • Interpolation and Numerical Calculus
  • Signal Processing
  • Simulations
  • Machine Learning
  • Computational Geometry

たとえばこんな感じで、データ分析の各手法とその利用例がずらっと並んでいます。 Visual Guide となっているだけあって、データの可視化にも力が入っています。

Stream Expression には前から興味はあったのですが、このページを取っ掛かりにして勉強してみようと思います。


Solr 9 での追加モジュールの指定方法

従来、Solr の追加モジュールの位置づけにあるものは contrib 配下にありました。

$ ls solr-8.11.1/contrib/
analysis-extras    dataimporthandler-extras  gcs-repository             langid  prometheus-exporter  velocity
dataimporthandler  extraction                jaegertracer-configurator  ltr     s3-repository

Solr 9 では modules という名前に変更されました。

$ ls solr-9.0.0/modules/
analysis-extras  clustering  gcs-repository  hdfs                       jwt-auth  ltr            scripting
analytics        extraction  hadoop-auth     jaegertracer-configurator  langid    s3-repository  sql

いくつか新しいモジュールも増えています。

モジュールを追加して起動する方法も新しくなっています。従来は solrconfig.xml に lib ディレクティブで jar ファイルを指定する必要がありましたが、Solr 9 では solr.in.sh 内で環境変数 SOLR_MODULES に必要なモジュール名を書くだけでよくなっています。

SOLR_MODULES=sql

Solr 9 の Admin UI には SQL エディタが追加されていますが、デフォルトの設定では sql モジュールが動いていないようで SQL を使ったクエリを実行すると Error loading class ‘solr.SQLHandler’ となってしまいます。

そこで上記のように環境変数で SOLR_MODULES=sql を指定して solr を起動し直すと問題なく SQL エディタが動作します。

このあたりの設定の簡便化は非常にありがたいものですね。


SolrをPHPで使う(更新編)

前回の検索編に引き続き、今回はPHPでSolrのインデックスを更新する方法です。

更新リクエストを表すクラスは用意されていないので、XML文字列で直接更新リクエストを記述します。 commit() を実行しないとその場では反映されないので注意。

実行結果は以下の通りです。
正しくドキュメントが追加されていることが分かります。

$ php example_solr_php_update1.php 
{
  "responseHeader":{
    "rf":1,
    "status":0,
    "QTime":3}}

{
  "responseHeader":{
    "zkConnected":true,
    "status":0,
    "QTime":2,
    "params":{
      "q":"id:PHPUpdateTest",
      "indent":"on",
      "version":"2.2",
      "wt":"json"}},
  "response":{"numFound":1,"start":0,"numFoundExact":true,"docs":[
      {
        "id":"PHPUpdateTest",
        "name":"PHPからの更新テスト",
        "manu":"splout",
        "cat":["software",
          "search"],
        "features":["テストです。",
          "説明です。"],
        "price":1.0,
        "price_c":"1.0,USD",
        "inStock":true,
        "_version_":1734261680380051456,
        "price_c____l_ns":100}]
  }}

Solr 9をビルドする

はじめに

Solr 9 になって ant, ivy によるビルドから Gradle によるビルドに変わりました。
ソースパッケージに付属の README の手順通りではありますが、一通り手順を確認したのでまとめてみます。

JDKのバージョン

OpenJDK 11 以降が要求されています。

ソースコードの取得

ソースパッケージをダウンロードするか、git clone するかします。

$ git clone https://github.com/apache/solr.git

ビルド

ソースパッケージをダウンロードして展開したら、以下を実行します。

$ ./gradlew assemble

予め Gradle をインストールしておく必要は無く、gradlew スクリプトが必要なバージョンの Gradle をダウンロードして設定した上で実行してくれます。

ビルドが完了すると、成果物は solr/packaging/build/solr-9.0.0-SNAPSHOT 以下に作られます(solr-9.0.0-srcの場合)。 また、配布ようにパッケージングされたファイルが
solr/packaging/build/distributions/solr-9.0.0-SNAPSHOT.tgz に作られます。

起動

ここまで来ればいつも通りの solr コマンドで起動できます。

$ cd solr/packaging/build/solr-9.0.0-SNAPSHOT
$ bin/solr start -c

SolrをPHPで使う(検索編)

前回の記事でSolrをPHPから使う準備ができました。
今回はPHPで Solr の検索を実行する方法です。

検索結果のオブジェクトは以下のような構造になっています。

SolrObject Object
(
    [responseHeader] => SolrObject Object
        (
            [zkConnected] => 1
            [status] => 0
            [QTime] => 0
            [params] => SolrObject Object
                (
                    [q] => *:*
                    [indent] => on
                    [start] => 0
                    [rows] => 2
                    [version] => 2.2
                    [wt] => xml
                )

        )

    [response] => SolrObject Object
        (
            [numFound] => 52
            [start] => 0
            [docs] => Array
                (
                    [0] => SolrDocument Object
                        (
                            [_hashtable_index:SolrDocument:private] => 24804
                        )

                    [1] => SolrDocument Object
                        (
                            [_hashtable_index:SolrDocument:private] => 5340
                        )

                )

        )

)

docs という配列の要素である SolrDocument オブジェクトは SolrDocumentField オブジェクトを複数含んでいます。SolrDocument 内のすべての SolrDocumentField をたどるために current() や next() などのメソッドを利用します。

SolrObject ベースの検索結果は意外と扱いづらいので、JSON で扱えるようにしてみます。

SolrClient 作成時のオプションとして wt=json を追加しています。

getRawResponse() の応答は以下の通りです。

{
  "responseHeader":{
    "zkConnected":true,
    "status":0,
    "QTime":0,
    "params":{
      "q":"*:*",
      "indent":"on",
      "start":"0",
      "rows":"2",
      "version":"2.2",
      "wt":"json"}},
  "response":{"numFound":52,"start":0,"numFoundExact":true,"docs":[
      {
        "id":"0553573403",
        "cat":["book"],
        "name":"A Game of Thrones",
        "price":7.99,
        "price_c":"7.99,USD",
        "inStock":true,
        "author":"George R.R. Martin",
        "author_s":"George R.R. Martin",
        "series_t":"A Song of Ice and Fire",
        "sequence_i":1,
        "genre_s":"fantasy",
        "_version_":1730974266238697472,
        "price_c____l_ns":799},
      {
        "id":"0553579908",
        "cat":["book"],
        "name":"A Clash of Kings",
        "price":7.99,
        "price_c":"7.99,USD",
        "inStock":true,
        "author":"George R.R. Martin",
        "author_s":"George R.R. Martin",
        "series_t":"A Song of Ice and Fire",
        "sequence_i":2,
        "genre_s":"fantasy",
        "_version_":1730974266279591936,
        "price_c____l_ns":799}]
  }}

これを json_decode() することで、通常の PHP 配列として扱うことができます。

Array
(
    [responseHeader] => Array
        (
            [zkConnected] => 1
            [status] => 0
            [QTime] => 0
            [params] => Array
                (
                    [q] => *:*
                    [indent] => on
                    [start] => 0
                    [rows] => 2
                    [version] => 2.2
                    [wt] => json
                )

        )

    [response] => Array
        (
            [numFound] => 52
            [start] => 0
            [numFoundExact] => 1
            [docs] => Array
                (
                    [0] => Array
                        (
                            [id] => 0553573403
                            [cat] => Array
                                (
                                    [0] => book
                                )

                            [name] => A Game of Thrones
                            [price] => 7.99
                            [price_c] => 7.99,USD
                            [inStock] => 1
                            [author] => George R.R. Martin
                            [author_s] => George R.R. Martin
                            [series_t] => A Song of Ice and Fire
                            [sequence_i] => 1
                            [genre_s] => fantasy
                            [_version_] => 1730974266238697472
                            [price_c____l_ns] => 799
                        )

                    [1] => Array
                        (
                            [id] => 0553579908
                            [cat] => Array
                                (
                                    [0] => book
                                )

                            [name] => A Clash of Kings
                            [price] => 7.99
                            [price_c] => 7.99,USD
                            [inStock] => 1
                            [author] => George R.R. Martin
                            [author_s] => George R.R. Martin
                            [series_t] => A Song of Ice and Fire
                            [sequence_i] => 2
                            [genre_s] => fantasy
                            [_version_] => 1730974266279591936
                            [price_c____l_ns] => 799
                        )

                )

        )

)