カテゴリー: テクノロジー

[Android 11] USBテザリング時の IP アドレスが変わっていた話

Android が 11 にアップデートされてから、
USB テザリングで使われるIPアドレスが変更になっているようです。

Android 10 のときは、USB テザリングを有効にしたときのIPアドレスには 192.168.42.* が使用されていました。

USB、Bluetooth、Wifi のテザリングに加え、
新たに有線LANテザリングに対応した影響ではないかと思います。

 

Windows は設定がおかしいと自動的に別のネットワークで繋いでくれるようで場合によっては気付きにくいかもしれません。

同じような使い方をしている人向けに確認する方法を一応書いておくと、
タスクマネージャーのリソースモニターからネットワークの欄を見ると、
ローカルアドレスとリモートアドレスが表示されています。

 

テザリング時の端末のIPアドレスを固定してしまうと楽かもしれませんが、
仕様変更があったときに面倒なのと、
IPアドレス自体は簡単に分かるので何もしていません。

新しく対応した有線LANテザリングは、
余ったSIMフリー端末でもあれば遊べそうな気はします。

 

脱線しそうなのでここまで。
以上、USBテザリング時に使われるIPアドレスが変わっていたという話でした。

 

192.168.42.* が USB テザリング用に割り当てられるというのは後からググって知った情報ですが、設定が有効だった頃は常に 192.168.42.129 が使われていた気がします。調べてみるとハードコーディングされているという記事がヒットして、それについては自分で確認はしていませんが実際にそうだった可能性はありそうです。 ただ、固定だった場合はUSBやBluetooth複数でテザリングするとどうなるのか試してみたいと思いつつ、その実験のためだけに複数回線を契約するのは厳しい。にも関わらず世の中には実際に複数接続を実現している人もいるようですごい…。

【Solr】3種類の言語判定ライブラリの対応言語

はじめに

Solrでのインデックス作成の際の言語判定には以下の3種類のライブラリが利用できます。

  • Apache Tika
  • LangDetect
  • Apache OpenNLP

ただし、Solrのリファレンスを読んでも、どのライブラリがどの言語をサポートしているかの情報がありません。詳細についてはそれぞれのプロジェクトページを参照するようにと書かれているので確認してみました。

Apache Tika

プロジェクトのページには言語判定について詳しい情報が無かったので、ソースコードを確認しました。

LanguageIdentifierクラスを見ると、各言語のプロファイルとして .ngp という拡張子のファイルを読み込んでいることが分かります。そこで、solr-8.6.1 同梱の tika-core-1.2.jar に含まれる .ngp ファイルをリストアップしました。

$ jar tvf ./contrib/extraction/lib/tika-core-1.24.jar | grep .ngp
 10960 Wed Mar 11 18:05:28 JST 2020 org/apache/tika/language/be.ngp
 10411 Wed Mar 11 18:05:28 JST 2020 org/apache/tika/language/ca.ngp
 10004 Wed Mar 11 18:05:28 JST 2020 org/apache/tika/language/da.ngp
  9999 Wed Mar 11 18:05:28 JST 2020 org/apache/tika/language/de.ngp
 12664 Wed Mar 11 18:05:28 JST 2020 org/apache/tika/language/el.ngp
  9897 Wed Mar 11 18:05:28 JST 2020 org/apache/tika/language/en.ngp
 10292 Wed Mar 11 18:05:28 JST 2020 org/apache/tika/language/eo.ngp
  9960 Wed Mar 11 18:05:28 JST 2020 org/apache/tika/language/es.ngp
  9648 Wed Mar 11 18:05:28 JST 2020 org/apache/tika/language/et.ngp
 11479 Wed Mar 11 18:05:28 JST 2020 org/apache/tika/language/fa.ngp
 10081 Wed Mar 11 18:05:28 JST 2020 org/apache/tika/language/fi.ngp
 10050 Wed Mar 11 18:05:28 JST 2020 org/apache/tika/language/fr.ngp
 10416 Wed Mar 11 18:05:28 JST 2020 org/apache/tika/language/gl.ngp
  9738 Wed Mar 11 18:05:28 JST 2020 org/apache/tika/language/hu.ngp
  9301 Wed Mar 11 18:05:28 JST 2020 org/apache/tika/language/is.ngp
  9960 Wed Mar 11 18:05:28 JST 2020 org/apache/tika/language/it.ngp
 12509 Wed Mar 11 18:05:28 JST 2020 org/apache/tika/language/lt.ngp
  9923 Wed Mar 11 18:05:28 JST 2020 org/apache/tika/language/nl.ngp
  9373 Wed Mar 11 18:05:28 JST 2020 org/apache/tika/language/no.ngp
  9165 Wed Mar 11 18:05:28 JST 2020 org/apache/tika/language/pl.ngp
 10023 Wed Mar 11 18:05:28 JST 2020 org/apache/tika/language/pt.ngp
 10456 Wed Mar 11 18:05:28 JST 2020 org/apache/tika/language/ro.ngp
 11783 Wed Mar 11 18:05:28 JST 2020 org/apache/tika/language/ru.ngp
 10431 Wed Mar 11 18:05:28 JST 2020 org/apache/tika/language/sk.ngp
 10329 Wed Mar 11 18:05:28 JST 2020 org/apache/tika/language/sl.ngp
 10081 Wed Mar 11 18:05:28 JST 2020 org/apache/tika/language/sv.ngp
 14302 Wed Mar 11 18:05:28 JST 2020 org/apache/tika/language/th.ngp
 11942 Wed Mar 11 18:05:28 JST 2020 org/apache/tika/language/uk.ngp

サポートされている言語は28。日本語はサポートされていないようです。

LangDetect

リファレンスからリンクされているプロジェクトページがgithubになっており、ほとんど情報が無いため、こちらもソースコードを確認しました。

profiles というディレクトリの下に各言語のプロファイルが置かれています。

$ ls profiles
af  bg  cs  de  en  et  fi  gu  hi  hu  it  kn  lt  mk  mr  nl  pa  pt  ru  sl  sq  sw  te  tl  uk  vi     zh-tw
ar  bn  da  el  es  fa  fr  he  hr  id  ja  ko  lv  ml  ne  no  pl  ro  sk  so  sv  ta  th  tr  ur  zh-cn

サポートされている言語は53。日本語も含まれています。

Apache OpenNLP

こちらはREADMEにしっかり記載されていました。

サポートされている言語は103。日本語も含まれています。

【Solr】インデックス作成時に言語判定してフィールドを振り分ける

はじめに

Solrでインデックスしたいドキュメントが日本語だけと限らない場合があります。日本語の場合なら形態素解析ベースのトークナイザーを使いたいが、英語の場合は空白区切りベースのトークナイザーを使いたい。そういうときに使える言語判定の仕組みをSolrは備えています。

言語判定とスキーマ定義の方針

以下のような簡単なドキュメントを考えます。

[
    {
        "id" : "1",
        "text" : "Solr 8.4 からパッケージ管理機能が追加されました。リファレンスによると、ここでいうパッケージは1つまたは複数のプラグインを1つにまとめたものという意味のようです。Solr におけるパッケージ管理について調べました。",
    },
    {
        "id" : "2",
        "text" : "Starting in Solr 8.4, package management features have been added. According to the reference, package here means one or several plug-ins in one package. We looked at package management in Solr.",
    }
]

“text”が本文のフィールドで、ここに日本語の文章が入るかもしれないし、英語の文章が入るかもしれないという設定です。

日本語の場合は形態素解析を行う text_ja というフィールドタイプ、英語の場合は空白区切りベースの text_en というフィールドタイプにします。以下のようなスキーマ定義のイメージです。

<field name="text_ja"      type="text_ja"    indexed="true" stored="true"/>
<field name="text_en"      type="text_en"    indexed="true" stored="true"/>

言語判定の設定

以下を solrconfig.xml に追加して必要なライブラリを読み込みます。

<lib dir="${solr.install.dir:../../../..}/dist/" regex="solr-langid-.*\.jar" />
<lib dir="${solr.install.dir:../../../..}/contrib/langid/lib/" regex=".*\.jar" />

LangDetectLanguageIdentifierUpdateProcessor を使う updateRequestProcessorChain を設定します。

 <updateRequestProcessorChain name="langdet">
    <processor class="org.apache.solr.update.processor.LangDetectLanguageIdentifierUpdateProcessorFactory" name="langdet">
      <lst name="defaults">
        <str name="langid.fl">text</str>
        <str name="langid.langField">language</str>
        <str name="langid.whitelist">ja,en</str>
	<str name="langid.map">true</str>
        <str name="langid.fallback">other</str>
      </lst>
    </processor>
    <processor class="solr.LogUpdateProcessorFactory" />
    <processor class="solr.RunUpdateProcessorFactory" />
  </updateRequestProcessorChain>

上で設定した langdet チェインを update リクエストのときに使うように設定します。

  <initParams path="/update/**">
    <lst name="defaults">
      <str name="update.chain">langdet</str>
    </lst>
  </initParams>

langid パラメータの意味

langid.fl

言語判定処理の対象とするフィールド名。上の設定では text フィールドを対象としています。

langid.langField

言語判定結果の文字列(jaとかenなど)を格納するフィールド。上の設定では language フィールドを対象としています。

langid.whitelist

言語判定の対象とする言語名。上の設定では日本語と英語を対象としています。

langid.map

言語判定結果をフィールドにマッピングするかどうか。マッピングする場合はtrueを指定します。デフォルトでは {元のフィールド名}_{言語名} というフィールドにマッピングされます。上の設定では日本語判定の場合は text_ja フィールドに、英語判定の場合は text_en フィールドにマッピングされます。

langid.fallback

langid.whitelist で指定した言語にあてはまらない場合のマッピング先を決定するための文字列。上の設定では other を指定しているので、日本語でも英語でもない場合は text_other フィールドにマッピングされます。

スキーマ定義

言語判定の設定に基づいてフィールドを定義します。

<field name="text_ja"      type="text_ja"    indexed="true" stored="true"/>
<field name="text_en"      type="text_en"    indexed="true" stored="true"/>
<field name="text_other"      type="text_ngram"    indexed="true" stored="true"/>
<field name="language"  type="string"  indexed="true" stored="true"/>

updateリクエストで送られてきた text フィールドの内容を言語判定して、日本語なら形態素解析して text_ja フィールドに、英語なら StandardTokenizer を通して text_en フィールド に、それ以外なら ngram 分割して text_other フィールドに格納されます。

動作確認

上記の設定でコレクションを作成してサンプルドキュメントを投入してみます。

$ cd server/solr/configsets
$ cp -r _default langdet
[langdet/conf/{solrconfig.xml,managed-scheme}を編集
$ (cd langdet/conf && zip -r - *) |curl --user user:pass -X POST --header "Content-Type:application/octet-stream" --data-binary @- "http://localhost:8983/solr/admin/configs?action=UPLOAD&name=langdet"
$ curl --user user:pass 'http://localhost:8983/solr/admin/collections?action=CREATE&name=langdet&numShards=1&replicationFactor=1&collection.configName=langdet&wt=json'
$ cat ~/sample.json 
[
    {
        "id" : "1",
        "text" : "Solr 8.4 からパッケージ管理機能が追加されました。リファレンスによると、ここでいうパッケージは1つまたは複数のプラグインを1つにまとめたものという意味のようです。Solr におけるパッケージ管理について調べました。",
    },
    {
        "id" : "2",
        "text" : "Starting in Solr 8.4, package management features have been added. According to the reference, package here means one or several plug-ins in one package. We looked at package management in Solr.",
    }
]
$ bin/post -u user:pass -c langdet ~/sample.json

最近のSolrでは、認証を設定しないとsolrconfig.xml内にlibディレクティブでライブラリを追加できないので注意が必要です。

$ curl -s -u user:pass "http://localhost:8983/solr/wikipedia_langdet/select?omitHeader=true&q=*%3A*"
{
  "response":{"numFound":2,"start":0,"numFoundExact":true,"docs":[
      {
        "id":"1",
        "language":"ja",
        "text_ja":"Solr 8.4 からパッケージ管理機能が追加されました。リファレンスによると、ここでいうパッケージは1つまたは複数のプラグインを1つにまとめたものという意味のようです。Solr におけるパッケージ管理について調べました。",
        "_version_":1682039285845327872},
      {
        "id":"2",
        "language":"en",
        "text_en":"Starting in Solr 8.4, package management features have been added. According to the reference, package here means one or several plug-ins in one package. We looked at package management in Solr.",
        "_version_":1682039286023585792}]
  }}

正しく言語判定されて、それぞれのフィールドに振り分けされました。

PCをキッチンと考える

こんにちは。開発担当のマットです。

私はプログラミングが好きでパソコンをほぼ毎日触っていますが、パソコンを買う時はどんなパソコンを買えばいいのか悩みます。スペックが複雑でどれを買えば1番良いのか見るだけではすぐにわからないからです。

パソコンに詳しくない方はもっと困るのではないかと思います。

でもパソコンに慣れていない方でもパソコンをキッチンに例えて考えると、それぞれのスペックの意味がわかりやすくなるので、この記事でその考え方を紹介したいと思います。

日常に見慣れているキッチンの光景
日常に見慣れているキッチンの光景

CPU

CPUはコンロです。

CPUのスペックで、重要のはクロックスピードだと思います。(だいたい、「GHz」で表記されるもの)
CPUのスピードが速いほど、パソコンの処理が速い。

料理は弱火で温めるより強火で温める方が速いのと同じです。

ガスコンロです。強火で温めると早く終わります。
ガスコンロです。強火で温めると料理が早く終わります。

なお、購入する時、デュアルコア(2コア)とクアッドコア(4コア)の言葉もよく見ることがあります。(最近は6コアも8コアもあります)
これは、コンロのバーナー(火が出るところ)に例えたら良いと思います。

1つのバーナーしかなければ、作りたい料理を1つずつ調理しなければいけません。
複数のバーナーがあれば、同時に複数の鍋を温めることができるので、その分調理が早く終わります。
しかし、調理と同じく複数のバーナーに分けれるレシピ(プログラム)もあれば、そうでもないものもあります。
使っているレシピ(プログラム)が、複数のバーナーを使えるようになっている場合(コンピューター用語では「スレッディング」と言います)、複数のコアを持った方がいいです。そうではない場合、複数のコアがあっても変わりません。

プラグラムがどれほどスレッディングに対応しているかは開発者がそのプログラムのコードを書く時に決めます。何かのオプションをONに切り替えるものではありません。

*上記でクロックスピードが速いほど処理が速いと言いましたが、厳密にいうと1部の処理を省略できるCPUもありますので、場合によってはクロックスピードが遅いCPUは速いCPUに勝つことはありえます。複雑ですね。

容量

容量(だいたい、「TB」や「GB」で表記されるもの)は冷蔵庫と考えていいと思います。
パソコンは使っているうちに多くの画像ファイル、音楽ファイル、アプリケーションなど段々といっぱいになってきます。
しかし容量が大きいほどパソコンに保存できるものが多くなります。

いっぱいになってしまうと、何かを捨てないといけません。
いっぱいになってしまうと、何かを捨てないといけません。

この容量の媒体はディスクと言います。ディスクは2種類あり、SSDとHDです。

簡単にいうと、SSDの方が最新型の冷蔵庫です。中にある具材(データ)が引き出しやすく、多くのファイル、多くのデータを頻繁に使う方には速くていいと思います。しかし、その分値段が高くなります。HDとSSD、両方入っているパソコンもあります。

メモリー

メモリーは「まな板」です。パワフルなコンロと、大きい冷蔵庫があっても、具材を調理する場所が必要ですよね。

例えば、グリーンサラダを作る時、レタス、トマト、キュウリなどを1つずつ冷蔵庫から出して、準備しないといけません。
しかし、まな板が小さいとスペース不足で同時に材料を切るこができず一時的にその切った材料を冷蔵庫(ディスク)に戻さないといけません。この手間で調理の効率が悪くなります。

手元に多くのものを置けると、仕事が楽になります
手元に多くのものを置けると、仕事が楽になります

なお、レシピ(プログラム)によって、まな板のスペースが足りないと具材がこぼれてしまって、調理が大失敗に終わる場合もあります(メモリー不足エラー)。

メモリーは容量の1種類(まな板も冷蔵庫も具材を置くところ)なので、これもGBで表記されます。

まとめ

もちろん、たくさんの技術的な情報を省略しているため完璧な例えではないですが、上記のようにパソコンの部分をキッチンの部分と思って想像するとなんとなくわかりやすくなると思います。

少しでもパソコンの購入に悩んでいる方の力になれたら嬉しいです。

PrometheusとAlertmanagerでSolrの異常を通知する

はじめに

前回の記事では Prometheus と Grafana による可視化を採り上げました。今回はさらに Alertmanager を組み合わせてメール通知を試してみました。

前回の続きで Solr と Prometheus と prometheus-exporter が動いている前提です。

Alertmanager のインストールと起動

$ wget https://github.com/prometheus/alertmanager/releases/download/v0.21.0/alertmanager-0.21.0.linux-amd64.tar.gz
$ tar zxf alertmanager-0.21.0.linux-amd64.tar.gz
$ cd alertmanager-0.21.0.linux-amd64
$ ./alertmanager --config.file=alertmanager.yml

今回はメール通知の動作確認用の alertmanager.yml を作成しました。メール以外にも Slack や Pushover など、様々な通知手段が用意されています。

global:
  resolve_timeout: 5m
  smtp_from: 'solr-alert@example.com'
  smtp_smarthost: 'localhost:25'

route:
  receiver: 'mail_test'

receivers:
- name: 'mail_test'
  email_configs:
    - to: 'alert-receiver@example.com'
      require_tls: false

Prometheus の設定

prometheus.yml でルールファイルを設定

rule_files:
  - "alert_rules.yml"

alert_rules.yml の内容

Solr の Ping API が正常応答しなかったら通知する設定です。

groups:
- name: sample_alert
  rules:
  - alert: solr_test_alert
    expr: absent(solr_ping) == 1
    for: 1m
    labels:
      severity: test
      test_type: SampleAlert
    annotations:
      summary: 'Solr Ping Error'

試してみる

正常な状態では、Prometheus の Alerts のページは以下のような表示です。

ここで Solr のプロセスを落としてみます。しばらく待つと異常を検知してPending状態に入ります。

このまま回復しなければメール通知されます。

受信したメールの内容です。

おわりに

簡単な例でメール通知できるところまで設定してみました。

Prometheus と Alertmanager の組み合わせでは、promQL による条件の記述や振り分けルールの設定などを使ってかなり複雑なこともできるようになっており、Solr 自体の監視だけでなく、インデックスの内容に基づいたアラートも可能です。