はじめに
SolrCloudのエイリアス機能には大きく分けて Standard Aliases と Routed Aliases があります。基本的な機能はどちらも共通で、Routed Aliases には特定のフィールドの値に応じて特定のコレクションを対象として指定できるという特徴があります。
この記事では、Routed Aliases の中の Time Routed Aliases を採り上げます。
Time Routed Aliases の作成
Time Routed Aliases を作るときの基本的なリクエストは以下のようなものです。
$ curl -s 'http://localhost:8983/solr/admin/collections?action=CREATEALIAS&name=timedata&router.start=NOW/DAY&router.field=date&router.name=time&router.interval=%2B1DAY&router.maxFutureMs=3600000&router.autoDeleteAge=/DAY-90DAYS&create-collection.collection.configName=aliasConfigSet&create-collection.numShards=1'
指定されているパラメータの説明
- action=CREATEALIAS
- router.name=time
- Time Routed Aliases の場合は “time” を指定
- name=timedata
- エイリアス名
- コレクション名は、この文字列をプレフィックスとして”timedata_2019-12-25″のようになる
- router.field=date
- 振り分けの基準にするフィールド名
- router.start=NOW/DAY
- 起点の時刻
- この時刻を含むコレクションが最初のコレクションとして生成される。それより古いデータはエラーになる。
- router.interval=+1DAY
- 1つのコレクションが受け持つ時間の範囲
- router.maxFutureMs=3600000
- 現在時刻よりもどのくらい先の時刻までのデータを受け入れるか(ミリ秒)
- 3600000が指定された場合、1時間先のデータまでは受け入れる
- router.autoDeleteAge=/DAY-90DAYS
- ここで指定された期間を過ぎたコレクションは自動的に削除される
- create-collection.collection.configName=aliasConfigSet
- Time Routed Aliases に属するコレクションが共通して持つコンフィグセットの指定
- create-collection.numShards=1
- Routed Aliases では CREATEALIAS の際にコレクションを作成するので、CREATE アクションでコレクションを作成する際に指定できるパラメータをcreate-collection.* という形で指定できる。
たとえば2019年12月25日に上に示したリクエストを実行したとすると、以下のような運用になります。
- エイリアス名 timedata
- コレクション名 timedata_2019-12-25
- 現在時刻から1時間先のデータまで受け付る
- 2019年12月26日のデータを受け付けると timedata_2019-12-26 が作られる
- 90日よりも古くなったコレクションは削除
コレクションの自動追加
上述の通り、最新のコレクションが timedata_2019-12-25 であるときに12月26日のデータを追加しようとすると、新しく timedata_2019-12-26 が作られます。 新しいコレクションの作成には数秒を要し、その間 timedata_2019-12-26 への更新処理はブロックされます。
秒あたりのデータ数が多く、このブロック発生が許容できない場合には、CREATEALIAS アクションのオプションとして router.preemptiveCreateMath を指定できます。ここで例えば60分を指定しておくと、12月25日の23:00のデータを処理した時点で先に timedata_2019-12-26 を非同期に作成しておくことができます。
おわりに
Time Routed Aliases は以下の特徴を持つ Routed Aliases です。
- エイリアス配下のコレクションそれぞれが一定の時間範囲のデータを担当する
- (例)12月10日用のコレクション、11日用のコレクション、12日用のコレクション…
- 時刻のフィールドによる振り分け
- 更新を許容する時間範囲の設定
- 現在時刻に応じて自動的に新しいコレクションを追加
- 現在時刻に応じて古いコレクションを自動的に削除
時間的に連続するログデータやセンサの計測データなどを扱うのに向いています。