Solrのドキュメントルーティングで複数階層のシャードキーを指定するとどうなるのか

はじめに

SolrのcompositeIdを使ったドキュメントルーティングではシャードキーを複数指定することができます。シャードキーを複数指定した場合の動作をちゃんと考えたことが無かったので調べてみました。

compositeIdを使ったドキュメントルーティング

compositeIdを使ったドキュメントルーティングではドキュメントIDとシャードキーから計算されたハッシュ値に基づいて、インデッ クス先のシャードが決まります。シャードキーが指定されなければドキュメントIDのハッシュだけが使われます。

1レベルのシャードキー

シャードキーを指定する場合、ドキュメントIDのフィールドを以下のように記述します。
“シャードキー!ドキュメントID”
以前サンプルに利用した大阪市の施設情報のデータの場合、区名に基づいてシャードを分けるには
“中央区!1234”
のようにドキュメントIDのフィールドを指定します。
こうすることで、同じ区の施設データは必ず同じシャードに配置されるようにインデックスされます。

2レベルのシャードキー

2段階目のシャード分けの条件として施設タイプを使うとすると、ドキュメントIDの指定の仕方は以下のようになります。
“中央区!官公庁!1234”
こう書けるところまではドキュメントを読めば書いてあります。ではこう書いた場合に具体的にはどのような配置になるのでしょうか。

ドキュメントIDのハッシュとシャードの対応付け

ハッシュは32ビットです。00000000からffffffffまでの値をシャード数に応じて均等に区分けします。たとえばシャード数が8の場合、以下のように分けられます。

8等分なので上位3ビットで分類するわけです。

シャード最初の3ビット(2進数)最初の1桁(16進数)
shard10000〜1
shard20012〜3
shard30104〜5
shard40116〜7
shard51008〜9
shard6101a〜b
shard7110c〜d
shard8111e〜f

シャードキーが指定されたときにハッシュがどう計算されるのか

こちらの記事によると、
シャードキーが1つの場合
ハッシュの上位16ビット:シャードキーのハッシュから
ハッシュの下位16ビット:ドキュメントIDのハッシュから

シャードキーが2つの場合
ハッシュの上位8ビット:シャードキー1のハッシュから
ハッシュの次の8ビット:シャードキー2のハッシュから
ハッシュの下位16ビット:ドキュメントIDのハッシュから
となるようです。

シャードキーを2つ指定したとしても、最上位の8ビットをシャードキー1が占めているため、シャード数が256より小さい限りはシャードキー2は影響を与えることができません。

実際に8シャードのコレクションに2パターンのデータを投入して、シャード毎のレコード数をカウントしてみました。シャードキーが1つの場合も2つの場合も同じになっていることが分かります。

$ head -3 data1.json
[
{"id":"住之江区!158","type":"官公庁","area":"住之江区","name":"軽自動車検査協会大阪主管事務所","address":"住之江区南港東3-4-62"}
{"id":"住之江区!157","type":"官公庁","area":"住之江区","name":"大阪陸運支局なにわ自動車検査登録事務所","address":"住之江区南港東3-1-14"},
$ curl 'http://localhost:8983/solr/compositeid/update?commit=true&indent=true' --data-binary @data1.json -H 'Content-Type: application/json'
$ for i in {1..8}; do curl -s "http://localhost:8983/solr/compositeid/select?q=*:*&rows=0&shards=shard${i}"|jq '.response.numFound'; done
580
509
1471
1203
2092
761
545
2077
$ head -3 data2.json
[
{"id":"住之江区!官公庁!158","type":"官公庁","area":"住之江区","name":"軽自動車検査協会大阪主管事務所","address":"住之江区南港東3-4-62"},
{"id":"住之江区!官公庁!157","type":"官公庁","area":"住之江区","name":"大阪陸運支局なにわ自動車検査登録事務所","address":"住之江区南港東3-1-14"},
$ curl 'http://localhost:8983/solr/compositeid/update?commit=true&indent=true' --data-binary @data1.json -H 'Content-Type: application/json'
$ for i in {1..8}; do curl -s "http://localhost:8983/solr/compositeid/select?q=*:*&rows=0&shards=shard${i}"|jq '.response.numFound'; done
580
509
1471
1203
2092
761
545
2077

ビット数の制限付きでシャードキーを指定する

シャードキーと共にビット数を指定することもできます。たとえば
“中央区/2!官公庁/14!1234”
とすると、
ハッシュの上位2ビット:区名のハッシュから
ハッシュの次の14ビット:施設タイプのハッシュから
ハッシュの下位16ビット:ドキュメントIDのハッシュから
となります。
2ビットということは、区名により4つに分類されるということです。
たとえば8シャード用意されている場合、特定の区は特定の2シャードのどちらかに配置されることになり、そのどちらになるのかは施設タイプにより決定される、という訳です。

このパターンで先程同様にデータを投入すると、シャードごとのレコード数が大きく変化したことが分かります。

$ head -3 data3.json
[
{"id":"住之江区/2!官公庁/4!158","type":"官公庁","area":"住之江区","name":"軽自動車検査協会大阪主管事務所","address":"住之江区南港東3-4-62"},
{"id":"住之江区/2!官公庁/4!157","type":"官公庁","area":"住之江区","name":"大阪陸運支局なにわ自動車検査登録事務所","address":"住之江区南港東3-1-14"},
$ curl 'http://localhost:8983/solr/compositeid/update?commit=true&indent=true' --data-binary @data4.json -H 'Content-Type: application/json'
$ for i in {1..8}; do curl -s "http://localhost:8983/solr/compositeid/select?q=*:*&rows=0&shards=shard${i}"|jq '.response.numFound'; done
578
511
1414
1260
1572
1281
1390
1232

それほど大規模なシステムではない場合、このように少ないビット数で制限を掛けるやり方が、現実的なシャードキーの利用方法になるでしょう。


脳トレ、始めました

こんにちわ。
リエです。

いきなりですが、「脳トレ、始めました。」(本当いきなりすぎる)
というのも脳の劣化を感じたからです。
人は年齢を重ねるたびに身体が少なからず劣化の一途をたどるものですが、使っていないと当然劣化の速度は早まります。

まぁ理由は何であれ「脳トレ、始めました。」

【脳トレ】とググるとたくさんヒットしますが、効果的な脳トレの法則は脳に負担をかけすぎないシンプルな計算、読み・書きやパズルをすることだそうです。
参考サイト:https://atamanavi.jp/specials/brain-training/

なるほどな〜と思いながら、わたしが選んだのは塗り絵です。
塗り絵アプリをiPadでやっているのですが、Apple Pencilは便利ですね。
Apple社に感謝( ̄人 ̄)

わたしが使っている塗り絵アプリは、ペンで該当部分を塗りつぶすタイプではなく、番号をタップして色付けしていくタイプです。ちなみに使っているアプリはHappy Colorというアプリでございます。

完成した絵がこちら。

着色部分が多い絵もたくさんあるので(使用色が100種類の絵とかめっちゃある)完成したときは結構達成感があります。

ほとんどの絵が30分以内に完成するので、ほぼ毎日やっております。
塗り絵もカニと一緒で無言になって黙々やっちゃいますね(;´∀`)

紙の塗り絵も好きなので、今度そっちも挑戦してみたいと思います。
ちなみにわたしは枠を塗ってから中を塗りつぶすタイプですという世界一どうでもいい情報でこのブログは終わりたいと思います。

まだまだ暑い日が続きますので、皆さまどうぞご自愛くださいませ。


「PHPカンファレンス2019」に協賛させていただきます

「PHPカンファレンス2019」に、Bronzeスポンサーとして協賛させていただきます。
 
<期間>
2019年12月1日(日)
<会場>
東京都大田区南蒲田1丁目20-20
大田区産業プラザ PiO

<主催>
日本PHPユーザ会

https://phpcon.php.gr.jp/2019/


【コピペOK!】ちょっと使うだけで、なんかいい感じになるデザインcssまとめ

こんにちは。デザイナーのMです。
最近久しぶりにコーディングをすることがあり(日々しろよ)、css3の進化に驚愕しました⚡

今回は “なんかいい感じ” にデザインが捗るcss3をいくつかご紹介したいと思います。
コピペですぐに使えるので、ぜひちょちょっと使ってみて下さい。

なんかいい感じの「シャドウ」

box-shadow: 0px 1px 5px rgba(0,0,0,0.05);

その名の通り、なんかいい感じのシャドウを付けるcssです。
普段から皆さん普通に使われているのだと思いますが、まずは基本としてご紹介します💁🏻‍♂️
ポイントは「うっすら」。シャドウの透過を濃くしたら安っぽくなるので、うっすらふわっとシャドウが見えるを目安に付けるといいと思います。

なんかいい感じの「マーカー」

display: inline;
background: linear-gradient(transparent 60%, rgba(255,255,102,0.5) 60%);

文中の文字を強調させるのに、太字や文字色を使ってたけどなんか面白みが無い、という人におすすめです。マーカーを使うと人肌感といいますか、少し温かみのある表現になる気がします。小学校の頃を思い出します。
カラーコードを変更してお好きな色のマーカーにしちゃいましょう🖍

なんかいい感じの「グラデーション文字」

color: #a6c0fe;
background: linear-gradient(135deg, #a6c0fe 0%, #f68084 100%);
-webkit-background-clip: text;
-webkit-text-fill-color: transparent;

グラデーションカラーやフォントとの組み合わせ次第で、とてもオシャレな装飾をすることができます。
非対応ブラウザのために “color” の設定はお忘れなく😎

なんかいい感じの「ぼかし文字」

filter: blur(8px);

ちょこっと隠したいときとか、、に使うのはどうでしょう?
あんまり使うことはないかもしれませんが、続きを読ませたいときやコンテンツを隠して気になるようなデザインにしたいときに使うと相性が良さそうです。ただ、使いすぎはやめましょう😂

なんかいい感じの「めくれ画像」

.mekure {
	display: inline-block;
	position: relative;
}
.mekure:after {
	position: absolute;
	content: "";
	box-shadow: 0 15px 10px rgba(0,0,0, .5);
	transform: rotate(3deg);
	right: 5px;
	left: auto;
	top: auto;
	bottom: 15px;
	z-index: -1;
	width: 50%;
	height: 20%;
}

画像にめくれ風処理をするcssです。
こちらもシャドウは控えめに付けるのがポイントです。アニメーションと併用しても相性が良さそうです。

以上、すぐに使えるデザインcssまとめでした。
今回少ししかご紹介できなかったので、またこのシリーズはやろうと思います🔥


Server-Sent Events に光を

採用機会がなかなかやってこない Server-Sent Events (以下SSE) を使用してみたときのメモです。
想定している環境は nginx + php-fpm です。

SSE を利用すると、サーバーからウェブページにメッセージをプッシュ送信できます。

ここに下手な説明を書くよりも翻訳済みの MDN を見ていただいた方が何万倍も分かりやすいはず。

Server-sent events – Web API | MDN

https://developer.mozilla.org/ja/docs/Web/API/Server-sent_events

SSE API を利用すると、SSE を簡単に扱うことができます。

今回は、オンラインゲームのログテキストっぽいものをサーバーから受信し、ページに表示するページを作成してみます。

ログテキストの内容は架空のものです。

ログっぽいものを表示するページ

SSE 受信の様子

上記で作成した HTML と PHP をブラウザで表示するとこうなります。

やっていること

index.html でやっていることは、「読込」ボタンを押すとサーバーからのメッセージを待機する状態になります。

サーバーからメッセージを受信する度に onmessage イベントが発火し、ログが追加されていきます。

メッセージを待つ間はサーバーとの接続が維持され、10件受信すると接続を解除します。

イベントは “event:%s\n” の形式で色々作れます。

ここでは control、invite、system を イベントとして addEventListener に登録し、ログの色を変えたり接続を切ったりさせています。

はまったこと

地味にはまったのが、nginx で出力がバッファリングされてしまいリアルタイムとは程遠いタイミングでしかメッセージを受信できなかったこと。

その場合は X-Accel-Buffering: no を指定することでバッファリングさせないようにできます。

header(‘X-Accel-Buffering: no’);

MS Edge 非対応がつらい

一方通行ではありますが、非常に簡単に実装できる SSE 。

Web アプリケーション として実装するには MS Edge の非対応がやっぱつらいわ…です。

MS的には WebSocket でいいじゃんってことなんでしょうか。

SSE だけで完結することはなかなかないと思いますが、便利なものは積極的に使いたい。

SSE に光を。

星に電力を (暑いので)