Powered by Google App Engine

elasticsearch

 

elasticsearch.ymlの設定

elasticsearch.ymlを設定します。【注意】英語のリファレンスを見ながら研究中なので、間違いが多い可能性があります。

新サイト、tree-mapsを公開しました!!

tree-maps: 地図のWEB TOOLの事ならtree-mapsにお任せ!

地図に関するWEB TOOL専門サイトです!!

大画面で大量の緯度経度を一気にプロット、ジオコーディング、DMS<->DEGの相互変換等ができます!

◯ 広告

elasticsearchの設定ファイルです。

solrで言うところのsolrconfig.xmlに当たります。

では早速 /usr/local/elasticsearch/config/elasticsearch.yml を見ていきます。

solrconfig.xmlより少ないとはいえ、それなりの量なので軽く流し見しましょう。

##################### ElasticSearch Configuration Example #####################

# This file contains an overview of various configuration settings,
# targeted at operations staff. Application developers should
# consult the guide at <http://elasticsearch.org/guide>.
# このファイルは様々な設定を含んでいます。
# オペレータを対象としています。
# アプリの開発者はサイトのガイドページを参照して下さい。
#
# The installation procedure is covered at
# <http://elasticsearch.org/guide/reference/setup/installation.html>.
インストール手順はリファレンスを参照して下さい。
#
# ElasticSearch comes with reasonable defaults for most settings,
# so you can try it out without bothering with configuration.
elasticsearchには妥当なほとんどの設定が最初から含まれています。
従って設定で悩む事無く試す事ができます。
#
# Most of the time, these defaults are just fine for running a production
# cluster. If you're fine-tuning your cluster, or wondering about the
# effect of certain configuration option, please _do ask_ on the
# mailing list or IRC channel [http://elasticsearch.org/community].
ほとんどの場合、これら初期設定で本番環境のクラスタは正常に動くでしょう。
もしあなたはクラスタの調整をしていて、設定の効果が解らない場合、MLかIRCで聞いてみて下さい。

# Any element in the configuration can be replaced with environment variables
# by placing them in ${...} notation. For example:
いくつかの設定は、環境変数に置き換える事ができます。サンプルは以下になります。
#
# node.rack: ${RACK_ENV_VAR}

# See <http://elasticsearch.org/guide/reference/setup/configuration.html>
# for information on supported formats and syntax for the configuration file.
設定ファイルサポートしている書式・シンタックスについての情報はサイトを参照して下さい。


################################### Cluster ###################################

# Cluster name identifies your cluster for auto-discovery. If you're running
# multiple clusters on the same network, make sure you're using unique names.
クラスタ名はオートディカバリでクラスタ名を識別する際に使われます。
もし同一ネットワーク上に複数のクラスタが稼働している場合、ユニークなクラスタ名を定義して下さい。
#
# cluster.name: elasticsearch


#################################### Node #####################################

# Node names are generated dynamically on startup, so you're relieved
# from configuring them manually. You can tie this node to a specific name:
ノード名は起動時に動的に生成されます。
手動で設定する事もできます。ノードに特定の名前を紐付ける事ができます。
#
# node.name: "Franz Kafka"

# Every node can be configured to allow or deny being eligible as the master,
# and to allow or deny to store the data.
全てのノードはマスタとして起動する/しないを設定する事ができます。
また、データを保存する/しないも設定できます。
#
# Allow this node to be eligible as a master node (enabled by default):
このノードをマスタとする事を許可するか。
#
# node.master: true
#
# Allow this node to store data (enabled by default):
このノードにデータを保持するか。
#
# node.data: true

# You can exploit these settings to design advanced cluster topologies.
高度なクラスタトポロジを設定するためこれらの設定を活用できます
#
# 1. You want this node to never become a master node, only to hold data.
#    This will be the "workhorse" of your cluster.
もしこのノードをマスターにしないなら、データを保持します。
これでこのクラスタは馬車有無になります。
#
# node.master: false
# node.data: true
#
# 2. You want this node to only serve as a master: to not store any data and
#    to have free resources. This will be the "coordinator" of your cluster.
もしこのノードをマスターにするなら、データは保持しません。
その場合、このクラスタはコーディネーターとなります。
#
# node.master: true
# node.data: false
#
# 3. You want this node to be neither master nor data node, but
#    to act as a "search load balancer" (fetching data from nodes,
#    aggregating results, etc.)
このノードをマスタとする場合はデータを持たないが、検索用ロードバランサとして機能させます。
検索ロードバランサとは、ノードからデータをフェッチし、検索結果を集計したりします。
#
# node.master: false
# node.data: false

# Use the Cluster Health API [http://localhost:9200/_cluster/health], the
# Node Info API [http://localhost:9200/_cluster/nodes] or GUI tools
# such as <http://github.com/lukas-vlcek/bigdesk> and
# <http://mobz.github.com/elasticsearch-head> to inspect the cluster state.
クラスタのヘルスチェックAPIは http://localhost:9200/_cluster/health を、
ノード情報取得APIは http://localhost:9200/_cluster/nodes を、
クラスタの状態を検査するためのGUIツールは http://github.com/lukas-vlcek/bigdesk と http://mobz.github.com/elasticsearch-head、
があります。

# A node can have generic attributes associated with it, which can later be used
# for customized shard allocation filtering, or allocation awareness. An attribute
# is a simple key value pair, similar to node.key: value, here is an example:
ノードは一般的な属性が関連付き、それらはカスタマイズされたシャードのの割り当てフィルタを後で使用できます。
その属性は単純なキーヴァリューのペアで、ノードのキーバリューと似ています。以下がサンプルです。
#
# node.rack: rack314

# By default, multiple nodes are allowed to start from the same installation location
# to disable it, set the following:
デフォルトでは、同一サーバから複数のノードを起動する事は許可されています。
それを無効化するには次のように設定します。
#
# node.max_local_storage_nodes: 1


#################################### Index ####################################

# You can set a number of options (such as shard/replica options, mapping
# or analyzer definitions, translog settings, ...) for indices globally,
# in this file.
このファイルでインデックスの多くの設定をする事ができます。
(シャード・レプリカ、型マッピング、アナライザー、トランザクションログ等)
#
# Note, that it makes more sense to configure index settings specifically for
# a certain index, either when creating it or by using the index templates API.
メモ
インデックスを生成又はインデックステンプレートAPIを使用した時、
特定のインデックスに具体的なインデックスの設定をした方がいいです。
#
# See <http://elasticsearch.org/guide/reference/index-modules/> and
# <http://elasticsearch.org/guide/reference/api/admin-indices-create-index.html>
# for more information.
詳しくはサイトを参照して下さい。

# Set the number of shards (splits) of an index (5 by default):
シャードの分割数の設定。5分割がデフォルトです。
#
# index.number_of_shards: 5

# Set the number of replicas (additional copies) of an index (1 by default):
インデックスのレプリカ数の設定。1がデフォルトです。
#
# index.number_of_replicas: 1

# Note, that for development on a local machine, with small indices, it usually
# makes sense to "disable" the distributed features:
メモ
小規模なインデックスでローカルで開発している際は、分散に関する設定はオフの方がいいです。
#
# index.number_of_shards: 1
# index.number_of_replicas: 0

# These settings directly affect the performance of index and search operations
# in your cluster. Assuming you have enough machines to hold shards and
# replicas, the rule of thumb is:
これらの設定は、インデクシングと検索のパフォーマンスに直接影響します。
シャードとレプリカを持てるだけのスペックのマシンであるなら、以下を考慮して下さい。
#
# 1. Having more *shards* enhances the _indexing_ performance and allows to
#    _distribute_ a big index across machines.
巨大なインデックスをマシン間で分散できる場合で、インデクシングのパフォーマンスを向上させたい場合は、シャードを増やしましょう。
# 2. Having more *replicas* enhances the _search_ performance and improves the
#    cluster _availability_.
クラスタの可用性を含み、検索パフォーマンスを向上させたい場合は、レプリカを増やしましょう。
#
# The "number_of_shards" is a one-time setting for an index.
number_of_shardsはインデックスのための一回限りの設定です。
#
# The "number_of_replicas" can be increased or decreased anytime,
# by using the Index Update Settings API.
number_of_replicasを増減させたい場合、インデックス更新設定APIを使いましょう。
#
# ElasticSearch takes care about load balancing, relocating, gathering the
# results from nodes, etc. Experiment with different settings to fine-tune
# your setup.
elasticsearchは、ロードバランス、再配置、ノードから検索結果を収集、等を行います。
最適な設定になるよう色々な設定を試してみて下さい。

# Use the Index Status API (<http://localhost:9200/A/_status>) to inspect
# the index status.
インデックスステータスAPIでインデックスのステータスを検索できます。

#################################### Paths ####################################

# Path to directory containing configuration (this file and logging.yml):
設定ファイルのディレクトリパス設定です。(elasticsearch.ymlとloggind.yaml)
#
# path.conf: /path/to/conf

# Path to directory where to store index data allocated for this node.
インデックスデータを配置するパスの設定です。
#
# path.data: /path/to/data
#
# Can optionally include more than one location, causing data to be striped across
# the locations (a la RAID 0) on a file level, favouring locations with most free
# space on creation. For example:
RAID0等、ファイルレベルでデータが分割されている場合、最も空き容量がある場所に配置した方がいいです。
#
# path.data: /path/to/data1,/path/to/data2

# Path to temporary files:
一時ファイルのパス設定です。
#
# path.work: /path/to/work

# Path to log files:
ログフィアルのパス設定です。
#
# path.logs: /path/to/logs

# Path to where plugins are installed:
pluginのパス設定です。
#
# path.plugins: /path/to/plugins


#################################### Plugin ###################################

# If a plugin listed here is not installed for current node, the node will not start.
ここに列挙されているプラグインがこのノードにインストールされていない場合、ノードは起動しません。
#
# plugin.mandatory: mapper-attachments,lang-groovy


################################### Memory ####################################

# ElasticSearch performs poorly when JVM starts swapping: you should ensure that
# it _never_ swaps.
JVMがスワップし始めると、elasticsearchは重くなります。スワップしないようメモリを確保しましょう。
#
# Set this property to true to lock the memory:
このプロパティをtrueにすると固定メモリで起動します。
#
# bootstrap.mlockall: true

# Make sure that the ES_MIN_MEM and ES_MAX_MEM environment variables are set
# to the same value, and that the machine has enough memory to allocate
# for ElasticSearch, leaving enough memory for the operating system itself.
ES_MIN_MEMとES_MAX_MEMの環境変数が設定されているか確認し、OSのメモリを十分に残したうえで、マシンが割り当てられる十分なメモリをelasticsearchに振りましょう。
#
# You should also make sure that the ElasticSearch process is allowed to lock
# the memory, eg. by using `ulimit -l unlimited`.
ulimitコマンドで無制限にメモリを割り当てる等し、elasticsearchプロセスがメモリを確保できる事を許可しましょう。

############################## Network And HTTP ###############################

# ElasticSearch, by default, binds itself to the 0.0.0.0 address, and listens
# on port [9200-9300] for HTTP traffic and on port [9300-9400] for node-to-node
# communication. (the range means that if the port is busy, it will automatically
# try the next port).
初期設定のelasticsearchでは、0.0.0.0にバインドされ、http通信に9200-9300portを使用し、ノード間通信に9300-9400portを使います。
(このportの範囲は、portが開いていない場合に次のportを使おうとするために使用されます)

# Set the bind address specifically (IPv4 or IPv6):
IPv4かIPv6でアドレスを具体的に割り当てましょう。
#
# network.bind_host: 192.168.0.1

# Set the address other nodes will use to communicate with this node. If not
# set, it is automatically derived. It must point to an actual IP address.
他のノードとこのノードが通信するためのアドレス設定です。
設定されていない場合、自動的に導出されます。具体的なIPアドレスを指定しなければいけません。
#
# network.publish_host: 192.168.0.1

# Set both 'bind_host' and 'publish_host':
bind_hostとpublish_hostの設定です。
#
# network.host: 192.168.0.1

# Set a custom port for the node to node communication (9300 by default):
ノード間通信のポート設定です。(9300が初期値)
#
# transport.tcp.port: 9300

# Enable compression for all communication between nodes (disabled by default):
全ノード間通信の圧縮設定です。(無効が初期値)
#
# transport.tcp.compress: true

# Set a custom port to listen for HTTP traffic:
http通信のport設定です。
#
# http.port: 9200

# Set a custom allowed content length:
Content-Lengthヘッダの最大値の設定です。
#
# http.max_content_length: 100mb

# Disable HTTP completely:
http通信の無効化設定です。
#
# http.enabled: false


################################### Gateway ###################################

# The gateway allows for persisting the cluster state between full cluster
# restarts. Every change to the state (such as adding an index) will be stored
# in the gateway, and when the cluster starts up for the first time,
# it will read its state from the gateway.
gatewaryは、クラスタが完全に再起動するまでの間、クラスタステータスを永続化します。
インデックス追加等のステータス変更はgateway内に保存され、
クラスタ初回起動時にgatewaryからそれらステータスが読み込まれます。

# There are several types of gateway implementations. For more information,
# see <http://elasticsearch.org/guide/reference/modules/gateway>.
更なるgateway実装はサイトを参照して下さい。

# The default gateway type is the "local" gateway (recommended):
初期gateway種別はローカルgatewayです。(推奨)
#
# gateway.type: local

# Settings below control how and when to start the initial recovery process on
# a full cluster restart (to reuse as much local data as possible when using shared
# gateway).
以下の設定は、全クラスタが再起動する際に、いつ・どこで初期リカバリ処理を実行するかの設定です。
(共有gatewayを利用できる場合、できるだけ多くのローカルデータを再利用します)

# Allow recovery process after N nodes in a cluster are up:
n個のクラスが起動した後にリカバリを実行する設定です。
#
# gateway.recover_after_nodes: 1

# Set the timeout to initiate the recovery process, once the N nodes
# from previous setting are up (accepts time value):
ノード起動後からどれくらい後に、リカバリ開始のタイムアウトとするかを設定します。
#
# gateway.recover_after_time: 5m

# Set how many nodes are expected in this cluster. Once these N nodes
# are up (and recover_after_nodes is met), begin recovery process immediately
# (without waiting for recover_after_time to expire):
クラスタ内の予定ノード数設定です。recover_after_nodes実行後のノードが起動したら、recover_after_timeが過ぎるのを待たずにすぐにリカバリを開始します。
#
# gateway.expected_nodes: 2


############################# Recovery Throttling #############################

# These settings allow to control the process of shards allocation between
# nodes during initial recovery, replica allocation, rebalancing,
# or when adding and removing nodes.
これらの設定は、ノード間の初期リカバリ、レプリカ割り当て、リバランス、ノード追加・削除、
の間にシャードの割り当てを制御する設定です。

# Set the number of concurrent recoveries happening on a node:
ノード上で同時リカバリ実行数の設定です。
#
# 1. During the initial recovery
初期リカバリ中
#
# cluster.routing.allocation.node_initial_primaries_recoveries: 4
#
# 2. During adding/removing nodes, rebalancing, etc
ノードの追加・削除・リバランス等
#
# cluster.routing.allocation.node_concurrent_recoveries: 2

# Set to throttle throughput when recovering (eg. 100mb, by default unlimited):
リカバリ中のスロットルのスループット設定です。(100MByte等。初期値は無制限)
#
# indices.recovery.max_size_per_sec: 0

# Set to limit the number of open concurrent streams when
# recovering a shard from a peer:
ぴあからシャードをリカバリする際のストリームのオープン制限数の設定です。
#
# indices.recovery.concurrent_streams: 5


################################## Discovery ##################################

# Discovery infrastructure ensures nodes can be found within a cluster
# and master node is elected. Multicast discovery is the default.
ディカバリのインフラは、確実にクラスタ内からマスターノードを選出します。
マルチキャストディスカバリがデフォルトです。

# Set to ensure a node sees N other master eligible nodes to be considered
# operational within the cluster. Set this option to a higher value (2-4)
# for large clusters (>3 nodes):
クラスタ内から使用可能と判断された適切な複数のマスターノードを確保する設定です。
3ノードより多い巨大なクラスタの場合、このオプションは2-4以上を設定します。
#
# discovery.zen.minimum_master_nodes: 1

# Set the time to wait for ping responses from other nodes when discovering.
# Set this option to a higher value on a slow or congested network
# to minimize discovery failures:
ディスカバリ中に他のノードからpingのレスポンスを何秒待つかを設定します。
遅かったりネットワークが混み合っている時にディスカバリの失敗を最小限に抑える為には、大きめの数値を設定します。
#
# discovery.zen.ping.timeout: 3s

# See <http://elasticsearch.org/guide/reference/modules/discovery/zen.html>
# for more information.

# Unicast discovery allows to explicitly control which nodes will be used
# to discover the cluster. It can be used when multicast is not present,
# or to restrict the cluster communication-wise.
ユニキャストディスカバリは、ノードがクラスタを発見することを明示的に制御する事ができます。
マルチキャストが存在しない場合、また、クラスタの賢い通信を制限する際に使用されます。
#
# 1. Disable multicast discovery (enabled by default):
マルチキャストディスカバリの無効設定です。(初期値は有効)
#
# discovery.zen.ping.multicast.enabled: false
#
# 2. Configure an initial list of master nodes in the cluster
#    to perform discovery when new nodes (master or data) are started:
新規(マスタorデータ)ノードが起動する際にディスカバリを実行する、+クラスタ内のマスターノードの初期リストを設定します。
#
# discovery.zen.ping.unicast.hosts: ["host1", "host2:port", "host3[portX-portY]"]

# EC2 discovery allows to use AWS EC2 API in order to perform discovery.
AmazonEC2ディスカバリはディスカバリを実行するためにAWS EC2 APIを使用します。
#
# You have to install the cloud-aws plugin for enabling the EC2 discovery.
EC2ディスカバリを有効にするには、クラウドAWSプラグインをインストールする必要があります。
#
# See <http://elasticsearch.org/guide/reference/modules/discovery/ec2.html>
# for more information.
#
# See <http://elasticsearch.org/tutorials/2011/08/22/elasticsearch-on-ec2.html>
# for a step-by-step tutorial.


################################## Slow Log ##################################

# Shard level query and fetch threshold logging.
シャードレベルクエリの閾値設定です。
#index.search.slowlog.threshold.query.warn: 10s
#index.search.slowlog.threshold.query.info: 5s
#index.search.slowlog.threshold.query.debug: 2s
#index.search.slowlog.threshold.query.trace: 500ms

#index.search.slowlog.threshold.fetch.warn: 1s
#index.search.slowlog.threshold.fetch.info: 800ms
#index.search.slowlog.threshold.fetch.debug: 500ms
#index.search.slowlog.threshold.fetch.trace: 200ms

#index.indexing.slowlog.threshold.index.warn: 10s
#index.indexing.slowlog.threshold.index.info: 5s
#index.indexing.slowlog.threshold.index.debug: 2s
#index.indexing.slowlog.threshold.index.trace: 500ms

################################## GC Logging ################################

#monitor.jvm.gc.ParNew.warn: 1000ms
#monitor.jvm.gc.ParNew.info: 700ms
#monitor.jvm.gc.ParNew.debug: 400ms

#monitor.jvm.gc.ConcurrentMarkSweep.warn: 10s
#monitor.jvm.gc.ConcurrentMarkSweep.info: 5s
#monitor.jvm.gc.ConcurrentMarkSweep.debug: 2s
◯ 広告