Elasticsearchにはどうやってデータ入れるのが良いのか、調べていたらEmbulkというものがあるらしいです。流行っているらしく、これを利用してデータを投入します。
Embulkについてまとめ。
Fluentdのバッチ版Embulk(エンバルク)のまとめ - Qiita
Elasticsearchにcsvファイルをインポートするためのレシピが公式に公開されていますので、それに沿って作業を実施。
Scheduled bulk data loading to Elasticsearch + Kibana 4 from CSV files — Embulk 0.8 documentation
まず、モジュールをダウンロードしてきます。
# wget http://dl.embulk.org/embulk-latest.jar -O /usr/local/bin/embulk # chmod +x /usr/local/bin/embulk # embulk --version embulk 0.8.13
Embulkにはたくさんpluginが作成されているようで、Elasticsearchへアウトプットするためのpluginを追加してあげます。pluginはかなり充実してます。
# embulk gem install embulk-output-elasticsearch
で、Elasticsearchへぶち込むための、Embulk設定ファイルを作成する必要があります。しかしながら、以下のような必要最低限の情報を与えてあげれば、Embulk側で勝手に設定ファイルを作成してくれるみたいです。
[seed.yml]
in:
type: file
path_prefix: ./output/
out:
type: elasticsearch
index: shikiho
index_type: shikiho
nodes:
- host: localhost
以下のguessコマンドを実行することで、実際の設定ファイルであるconfig.ymlを作成してくれます。
# embulk guess ./seed.yml -o config.yml
以下の通り、config.ymlが作成されます。
[config.yml]
in:
type: file
path_prefix: ./output/output
parser:
charset: UTF-8
newline: CRLF
type: csv
delimiter: ','
quote: '"'
escape: '"'
trim_if_not_quoted: false
skip_header_lines: 1
allow_extra_columns: false
allow_optional_columns: false
columns:
- {name: code, type: long}
- {name: creadtedDate, type: string}
- {name: meigaraName, type: string}
- {name: url, type: string}
- {name: accountingPeriod, type: string}
- {name: establishmentDate, type: string}
- {name: listingDate, type: string}
- {name: feature, type: string}
- {name: business, type: string}
- {name: assets, type: string}
- {name: finance, type: string}
- {name: nullColumn1, type: string}
- {name: comment1, type: string}
- {name: comment2, type: string}
- {name: industryType, type: string}
- {name: vendor, type: string}
- {name: customer, type: string}
- {name: rival, type: string}
- {name: headOffice, type: string}
- {name: branchOffice, type: string}
- {name: workerNumber, type: string}
- {name: security, type: string}
- {name: bank, type: string}
- {name: affiliate, type: string}
- {name: nullColumn2, type: string}
- {name: progress, type: string}
- {name: holderNumber, type: string}
out:
type: elasticsearch
index: shikiho
index_type: shikiho
nodes:
- {host: localhost}
作成したconfig.ymlを指定して、runを実行してあげればファイルを読み込んでくれます。
# embulk run config.yml
無事検索できるようになりました。
# curl -XGET 'http://localhost:9200/shikiho/shikiho/_search?q=code:1301'
{
"took": 6,
"timed_out": false,
"_shards": {
"total": 1,
"successful": 1,
"failed": 0
},
"hits": {
"total": 1,
"max_score": 8.500806,
"hits": [
{
"_index": "shikiho",
"_type": "shikiho",
"_id": "AVfWtm-63dgHhWAY7GX3",
"_score": 8.500806,
"_source": {
"code": 1301,
"creadtedDate": "作成日：2016年09月16日",
"meigaraName": "1301 (株)極洋 きょくよう ［水産・農林業］",
"url": "【ＵＲＬ】 http://www.kyokuyo.co.jp/",
"accountingPeriod": "【決算】3月",
"establishmentDate": "【設立】1937.9",
"listingDate": "【上場】1949.5",
"feature": "【特色】水産品の貿易、加工、買い付け主力。すしネタに強み。加工食品は業務用が軸。海外加工比率高い",
"business": "【連結事業】水産商事50(1)、冷凍食品30(0)、常温食品8(2)、物流サービス1(5)、鰹・鮪11(1)、他0(8) <16・3>",
"assets": "",
"finance": "",
"nullColumn1": "",
"comment1": "【大幅増益】冷凍・常温食品は拡大、塩釜新工場本格稼働が奇与。水産商事はサケ・マスなど魚価が安 定、加工品が拡大、米国市場も堅調。冷蔵運搬船から撤退し物流効率化。新工場償却負担増でも営業増益。",
"comment2": "【養殖】完全養殖のクロマグロは18年初に初出荷へ、天然種苗の確保にも全力。業務用冷食では、すし向けなど商品群の拡充を図る。９月末基準日で10株を１株に併合。",
"industryType": "【業種】 食品 時価総額順位 56/172社",
"vendor": "【仕入先】KAMEC",
"customer": "【販売先】三菱食品",
"rival": "【比較会社】1333 マルハニチ,2875 東洋 水産,1332 日本水産",
"headOffice": "【本社】107-0052東京都港区赤坂3-3-5 TEL03-5545-0701",
"branchOffice": "【支社】大阪TEL06-6315-1251,東京,福岡,他",
"workerNumber": "【従業員】<16.3>連2,249名 単599名(39.8歳)[年]661万 円",
"security": "【証券】[上]東京[幹]日興,野村,大和[名]三菱Ｕ信[監]井上",
"bank": "【銀行】りそな,農中,三井住友信,三菱Ｕ信,三菱Ｕ",
"affiliate": "【連結】極洋水産,極洋商事,極洋食品",
"nullColumn2": "",
"progress": "【四半期進捗率】3期平均19.6% 今期13.3%(-6.3%)",
"holderNumber": "33702"
}
}
]
}
}
