カテゴリー: テクノロジー

Solrの記事リスト(〜2020年12月)

はじめに

ふと気付けばこのブログの Solr の記事が40本を超えていました。Solr タグで検索していただくこともできますが、もう少し見やすくなるようにトピックで分類して記事タイトルとリンクの形でリスト化してみました。

Prometheus連携

パッケージ管理

JSON Request API

Docker

日付表現

SolrCloudのリーダー選出

SolrCloud

インデックス作成

distinct

その他


SolrのCirtcuit Breakerは具体的に何を見ているのか

はじめに

前回紹介した Circuit Breaker には MemoryCircuitBreaker と CPUCircuitBreaker の2種類があります。それぞれメモリとCPUの使い過ぎに対応しているのだなと何となくは想像が付きますが、具体的にはシステムの何を参照しているのかを調べてみました。

MemoryCircuitBreaker

リファレンスによると、JVMのヒープ使用率が設定値を超えると503を返すと書かれています。MemoryCircuitBreaker の実装をみると、取得しているのは ManagementFactory.getMemoryMXBean().getHeapMemoryUsage().getUsed() でした。これは現在のヒープ使用量をByteで返すものです。

一方、設定ではヒープの使用率を記述するので、比較するには使用率か使用量かのどちらかに変換して合わせる必要があります。
ソースを確認すると、MemoryCircuitBreaker のコンストラクタで memThreashold を読み込んだときに、ヒープの最大値 * memThreshold / 100 で閾値となるメモリ使用量を計算しておき、MemoryMXBean から取得したメモリ使用量がその値を超えたらリクエストを拒否するという実装になっていました。

CPUCircuitBreaker

CPUCircuitBreaker で監視しているのは ManagementFactory.getOperatingSystemMXBean().getSystemLoadAverate() なので OS から取得するロードアベレージです。設定するのはCPU使用率なので、こちらも何らかの変換をしているのかと思いきや、何とソースコードではCPU使用率の閾値(%)とロードアベレージ(0以上の数値、CPUの数にもよるが通常はせいぜい10未満)を直接比較していました。

これだと使用率のつもりで75などと設定しても全く引っ掛からないのはずで不思議に思って調べてみたところ、どうやらバグのようで JIRA に Issue が作られていました。

CPU circuit breaker needs to use CPU utilization, not Unix load average

タイトルそのまんまですね。
ManagementFactory.getOperatingSystemMXBean().getSystemLoadAverate() の代わりに ManagementFactory.getOperatingSystemMXBean().getSystemCPULoad() (0.0-0.1の間のCPU使用率)を使うことが提案されており、近いうちに修正されることと思います。


Solr 8.7で追加されたCircuit Breaker機能

はじめに

Solr 8.7 に Circuit Breaker 機能が追加されました。
いわゆるブレーカーは一定以上の電流が流れたときに回路を遮断する仕組みです。Solr においては想定を超える負荷が掛かったときにサーバが落ちる前にリクエストの受付を停める仕組みになっています。

設定方法

Solr 8.7 に付属の solrconfig.xml には Circuit Breaker 関係の設定が追加されています。説明のコメント部分を除くと以下のような内容です。

    <circuitBreakers enabled="true">
      <!--
       <memBreaker enabled="true" threshold="75"/>
      -->
      <!--
       <cpuBreaker enabled="true" threshold="75"/>
      -->
    </circuitBreakers>

circuitBreakers 要素の enabled 属性が true のときだけ Circuit Breaker 機能が有効になります。
他の部分はコメントを外して設定を有効にすれば良いのかと思ったのですが、リファレンスにはちょっと違うことが書いてあります。リファレンスによると、JVMのヒープ使用率ベースの Circuit Breaker の設定は以下の2項目です。

<str name="memEnabled">true</str>
<str name="memThreshold">75</str>

また、CPU使用率ベースの Circuit Breaker の設定は以下の通りと記載されています。

<str name="cpuEnabled">true</str>
<str name="cpuThreshold">75</str>

CircuitBreakerManager.java を確認すると以下のような読み込み処理があるので、solrconfig.xml ではなくリファレンスの記述の方が正しいようです。

      if (args != null) {
        cpuCBEnabled = Boolean.parseBoolean(args._getStr("cpuEnabled", "false"));
        memCBEnabled = Boolean.parseBoolean(args._getStr("memEnabled", "false"));
        memCBThreshold = Integer.parseInt(args._getStr("memThreshold", "100"));
        cpuCBThreshold = Integer.parseInt(args._getStr("cpuThreshold", "100"));
      }

以下は SearchHandler で circuitBreakerManager によるチェックを実行している箇所です。チェックに引っ掛かると SolrQueryResponse オブジェクト(rsp)に SERVICE_UNAVAILABLE をセットして終了していることが分かります。

    if (req.getCore().getCircuitBreakerManager().isEnabled()) {
      List trippedCircuitBreakers;

      if (timer != null) {
        RTimerTree subt = timer.sub("circuitbreaker");
        rb.setTimer(subt);

        CircuitBreakerManager circuitBreakerManager = req.getCore().getCircuitBreakerManager();
        trippedCircuitBreakers = circuitBreakerManager.checkTripped();

        rb.getTimer().stop();
      } else {
        CircuitBreakerManager circuitBreakerManager = req.getCore().getCircuitBreakerManager();
        trippedCircuitBreakers = circuitBreakerManager.checkTripped();
      }

      if (trippedCircuitBreakers != null) {
        String errorMessage = CircuitBreakerManager.toErrorMessage(trippedCircuitBreakers);
        rsp.add(STATUS, FAILURE);
        rsp.setException(new SolrException(SolrException.ErrorCode.SERVICE_UNAVAILABLE, "Circuit Breakers tripped " + errorMessage));
        return;
      }
    }

おわりに

Circuit Breaker 機能は地味ながら、安定運用のためには便利な機能といえます。今後監視項目をプラグインできるようになる可能性もあり、要注目です。


ContactForm7とGoogleスプレッドシートを連携してみよう!

弊社でお受けするサイト制作案件では主にWordPressを使用しています。
そして基本的にお問い合わせフォームの設置もご依頼されることが多くあります。
弊社ではお問い合せフォーム設置の際は、おそらく国内のプラグインでは1番有名なContactForm7を利用して実装するようにしています。
カスタマイズが簡単にできたり、自動返信メールなども対応可能ということで大変便利なプラグインなのですが、たまに「お問い合わせ内容をGoogleのスプレッドシートに記録されるようにしてほしい」というご相談をいただくことがありました。

そこで今回はContactForm7とGoogleスプレッドシートを連携させる方法をご紹介したいと思います。

「CF7 Google Sheet Connector」をインストール

【WordPress管理画面】プラグイン > 新規追加


プラグイン管理画面から「新規追加」をクリックして「CF7 Google Sheet Connector」で検索します。

赤枠のプラグインをインストールします。

連携用のスプレッドシートの作成

次にお問い合わせ内容を連携させるためのスプレッドシートを新規作成します。
いくつか設定しないといけないことがあるので順に説明します。

「スプレッドシート名」と「タブ名」を設定する


今回は、
スプレッドシート名 : cf7-contact
タブ名 : contact-sheet
とそれぞれつけました。
名前は何でもいい(半角英数字)のですが、あとから見たときにわかりやすい名前がいいと思います。

「お問合せフォームの項目」を設定する


次に、ContactForm7で利用しているお問い合わせ内容の全項目をスプレッドシートの1行目に入力します。
この設定をして次の項目の連携設定をすると、スプレッドシートの2行目以降にお問い合わせ内容が反映されていきます。

スプレッドシート連携の設定

【WordPress管理画面】お問い合わせ > お問合せフォーム > Google Sheetsタブ

まず、Google Sheet Settingsの項目に必要事項を入力していきます。

上から「スプレッドシート名」「スプレッドシートID」「タブ名」「タブID」となっています。

スプレッドシート名は先ほど作成したスプレッドシートの「cf7-contact」、タブ名は「contact-sheet」を入力します。
「スプレッドシートID」と「タブID」は以下を参考にして入力してください。

・スプレッドシートIDの確認方法

スプレッドシートのURLの「*****」の部分がスプレッドシートIDになります。

https://docs.google.com/spreadsheets/d/*****/edit#gid=0

・タブIDの確認方法

スプレッドシートのURLの最後の「edit#gid=0」内の数字「0」がタブIDになります。

https://docs.google.com/spreadsheets/d/*****/edit#gid=0

必要事項を入力したら、「保存」ボタンをクリックします。


次にスプレッドシートとの連携をします。

【WordPress管理画面】お問い合わせ > Google Sheets

「Google Access Code」の横にある「Get Code」をクリックすると、Googleアカウント認証のページへ遷移します。

順番に3つ承認画面が表示されるので、全て「許可」を選択します。

最後の画面でコードが表示されるので、そのコードをコピーしてください。
※このコードは非常に大切なものなので、他人には絶対に共有しないようにしてください。

その後、先程の管理画面のコード入力欄にコードを入力して「保存」ボタンをクリックします。

これでお問い合せフォームとスプレッドシートの連携設定は完了です。

動作確認

最後にお問い合せフォームを送信して、送信内容がスプレッドシートに反映されているか確認してみましょう。

問題なく反映されていれば連携は完了です!
もし反映されないなどエラーが発生した場合は、もう一度最初からやり直してみてください。認証したGoogleアカウントがスプレッドシートを作成したGoogleアカウントと同一のものでないと連携はできません。

さいごに

CF7 Google Sheet Connectorを利用すれば、簡単にGoogleスプレッドシートとお問い合わせフォームを連携させることができるようになります。
お問い合わせの管理が非常に効率的に行えると思いますので、お困りの方はぜひお試しください!


JavaScriptのおもしろシンタックス

SNSみてるとセカオワのドラゲナイはもう懐メロなんだろうなって感じました。
マエダです。
(´-`).。oO (え?懐メロって死語ですか?

javascript

さて、みんな大好きJavaScript。
おもしろいシンタックスをご紹介します。

文字列型へのキャスト

var a = 1;
console.log(typeof(a)); // number
var b = "" + a;
console.log(typeof(b)); // string

数値型へのキャスト

var a = "1";
console.log(typeof(a)); // string
var b = ~~a;
console.log(typeof(b)); // number

配列の重複削除

const array1 = ["a","b","b","c","a"];
const array2 = [...new Set(array1)];
console.log(array2); // ["a","b","c"]

オブジェクトの値渡し

var object1 = ["a","b"];
var object2 = object1;
object2[0] = "c";
console.log(object1); // ["c","b"]
console.log(object2); // ["c","b"]

JavaScriptではオブジェクト型は参照渡しとなります。
以下のようにすればプリミティブ型のように値渡しとすることができます。

var object1 = ["a","b"];
var object2 = JSON.parse(JSON.stringify(object1));
object2[0] = "c";
console.log(object1); // ["a","b"]
console.log(object2); // ["c","b"]

僕の場合、どんなプログラミング言語もなのですが、ときどき触るとはじめましてになりがちです;

ドラゲナイ