Solrのパッケージ管理機能

はじめに

Solr 8.4 からパッケージ管理機能が追加されました。リファレンスによると、ここでいうパッケージは1つまたは複数のプラグインを1つにまとめたものという意味のようです。
Solr におけるパッケージ管理について調べました。

パッケージ管理機能

従来、プラグインを利用するためには
・jar ファイルを特定の場所に置く
・solrconfig.xml の lib ディレクティブで jar ファイルの場所を指定する
という作業が必要でした。

SolrCloud環境では、複数のノードでこの作業を行う必要があります。 jar ファイルのアップデートの際に異なるノードでのバージョン違いが発生するリスクもあります。

パッケージ管理機能により、複数ノードへのプラグインのインストールやアップデートを一括で操作できるようになります。

パッケージ管理を有効にする

デフォルトではパッケージ管理機能は無効になっているので、起動時のオプションを指定して有効にします。

bin/solr -c -Denable.packages=true

リポジトリを追加する

パブリックなSolrパッケージリポジトリというものは存在していないようなので、Solr のソースに含まれていた、以下のサンプルプラグインをローカルのウェブサーバでホストして試してみました。

$ ls solr-8.4.1-src/solr/core/src/test-files/solr/question-answer-repository/
publickey.der  question-answer-request-handler-1.1.jar.tmp
question-answer-request-handler-1.0.jar.tmp  repository.json
$ cp solr-8.4.1-src/solr/core/src/test-files/solr/question-answer-repository/* $DOC_ROOT/solr/repo/

ウェブサーバ上の特定のディレクトリがパッケージリポジトリであるとSolrに認識されるためには repository.json ファイルが必要であるようです。

$ cat solr-8.4.1-src/solr/core/src/test-files/solr/question-answer-repository/repository.json
[
  {
    "name": "question-answer",
    "description": "A natural language question answering plugin",
    "versions": [
      {
        "version": "1.0.0",
        "date": "2019-01-01",
        "artifacts": [
          {
            "url": "question-answer-request-handler-1.0.jar.tmp",
            "sig": "TTzgh5/usbyWg7oZ7lRwz4eQfh1FeXWvv4U85tsVthVz0MRDz9t7SmonDkegZ7OyqeoiQ4I207pifpVW+DRd9Q=="
          }
        ],
        "manifest": {
          "version-constraint": "8 - 9",
          "plugins": [
            {
              "name": "request-handler",
              "setup-command": {
                "path": "/api/collections/${collection}/config",
                "payload": {"add-requesthandler": {"name": "${RH-HANDLER-PATH}", "class": "question-answer:fullstory.QA\
RequestHandler"}},
                "method": "POST"
              },
              "uninstall-command": {
                "path": "/api/collections/${collection}/config",
                "payload": {"delete-requesthandler": "${RH-HANDLER-PATH}"},
                "method": "POST"
              },
              "verify-command": {
                "path": "/api/collections/${collection}/config/requestHandler?componentName=${RH-HANDLER-PATH}&meta=tru\
e",
                "method": "GET",
                "condition": "$['config'].['requestHandler'].['${RH-HANDLER-PATH}'].['_packageinfo_'].['version']",
                "expected": "${package-version}"
              }
            }
          ],
          "parameter-defaults": {
            "RH-HANDLER-PATH": "/mypath"
          }
        }
      },
      {
        "version": "1.1.0",
        "date": "2019-01-01",
        "artifacts": [
          {
            "url": "question-answer-request-handler-1.1.jar.tmp",
            "sig": "LypqlmbJ76AWa5jx0XhjKxO4lrcQAvpSuYddfzcE6TnX0VDPFhrlQHSSX6cZLtvNbQ+74xUMKgsoX1IUnEnKYw=="
          }
        ]
      }
    ]
  }
]

同じパッケージのバージョン違いがrepository.json で定義されています。

Solr稼働中に以下のコマンドでリポジトリを追加します。

$ bin/solr package add-repo question-answer http://localhost/solr/repo/

利用できるパッケージのリスト

インストール対象となるパッケージのリストを表示します。

$ bin/solr package list-available
Available packages:
-----
question-answer                 A natural language question answering plugin
        Version: 1.0.0
        Version: 1.1.0

インストール

$ bin/solr package install question-answer:1.0.0
Posting manifest...
Posting artifacts...
Executing Package API to register this package...
Response: {"responseHeader":{
    "status":0,
    "QTime":42}}
question-answer installed.

インストール済みパッケージの確認

$ bin/solr package list-installed
Installed packages:
-----
{
  "name":"question-answer",
  "version":"1.0.0"}

デプロイ

コレクションを指定してデプロイします。

$ bin/solr package deploy question-answer -collections test
Executing {"add-requesthandler":{"name":"/mypath","class":"question-answer:fullstory.QARequestHandler"}} for path:/api/\
collections/test/config
Execute this command (y/n):
y
Executing http://localhost:8983/api/collections/test/config/requestHandler?componentName=/mypath&meta=true for collecti\
on:test
{
  "responseHeader":{
    "status":0,
    "QTime":0},
  "config":{"requestHandler":{"/mypath":{
        "name":"/mypath",
        "class":"question-answer:fullstory.QARequestHandler",
        "_packageinfo_":{
          "package":"question-answer",
          "version":"1.0.0",
          "files":["/package/question-answer/1.0.0/question-answer-request-handler-1.0.jar.tmp"],
          "manifest":"/package/question-answer/1.0.0/manifest.json",
          "manifestSHA512":"a91ab5a2c5abd53f0f72c256592c2be8b667cecb8226ac054aeed4d28aac9d743311442f2d58539bb83663a19bd\
1efb310aaadfd77bea458f3d475161721a114"}}}}}

Actual: 1.0.0, expected: 1.0.0
Deployed on [test] and verified package: question-answer, version: 1.0.0
Deployment successful

repository.json の記述にしたがって /mypath で QARequestHandler が動くように Config API が呼ばれたことが分かります。
/mypath をリクエストしてみます。

$ curl http://localhost:8983/solr/test/mypath
{
  "responseHeader":{
    "status":0,
    "QTime":0},
  "responseHeader":[
    "version","1.0"]}

残念ながら QARequestHandler のソースを見つけることができず、具体的にどんなパラメータでどんな機能が使えるのかが不明ですが、デプロイできていることは確認できました。

パッケージのアップデート

$ bin/solr package install question-answer:1.1.0
Posting manifest...
Posting artifacts...
Executing Package API to register this package...
Response: {"responseHeader":{
    "status":0,
    "QTime":4}}
question-answer installed.

$ bin/solr package list-installed
Installed packages:
-----
{
  "name":"question-answer",
  "version":"1.0.0"}
{
  "name":"question-answer",
  "version":"1.1.0"}

同じパッケージの2つのバージョンがインストールされたことが分かります。

新しい方のバージョンをデプロイします。

$ bin/solr package deploy question-answer:1.1.0 -collections test
Package {
  "name":"question-answer",
  "version":"1.0.0"} already deployed on test. To update to {
  "name":"question-answer",
  "version":"1.1.0"}, pass --update parameter.
Already Deployed on [test], package: question-answer, version: 1.1.0
Deployment failed

失敗しました。
リファレンスを確認すると、上書きデプロイのときは –update オプションが必要とのことです。

$ bin/solr package deploy question-answer:1.1.0 -collections test --update
Executing http://localhost:8983/api/collections/test/config/requestHandler?componentName=/mypath&meta=true for collecti\
on:test
{
  "responseHeader":{
    "status":0,
    "QTime":1},
  "config":{"requestHandler":{"/mypath":{
        "name":"/mypath",
        "class":"question-answer:fullstory.QARequestHandler",
        "_packageinfo_":{
          "package":"question-answer",
          "version":"1.1.0",
          "files":["/package/question-answer/1.1.0/question-answer-request-handler-1.1.jar.tmp"],
          "manifest":"/package/question-answer/1.1.0/manifest.json",
          "manifestSHA512":"be22126df3fbb84284cdb94469fa0f83753961c066451f0b9107312d076f3f016e60fd279951656ee7ff4b17bc2\
57fbd2ce8950533c7d394b1080122f6461606"}}}}}

Actual: 1.1.0, expected: 1.1.0
Deployed on [test] and verified package: question-answer, version: 1.1.0
Deployment successful

今度は成功しました。
/mypath にリクエストを投げて、バージョン1.1にアップデートされたことを確認します。

$ curl http://localhost:8983/solr/test/mypath
{
  "responseHeader":{
    "status":0,
    "QTime":0},
  "responseHeader":[
    "version","1.1"]}

デプロイ中のパッケージをリストするコマンドもあります。

$ bin/solr package list-deployed -c test
Packages deployed on test:
{
  "name":"question-answer",
  "version":"1.1.0"}

おわりに

Solrのパッケージ管理機能の使い方を見てきました。次回はリポジトリを設定して自分で作ったパッケージを扱えるようにしてみます。

コメント