Elasticsearchの検索結果をcsvで取得できると良いのに、と思っていたところ、jqってコマンドがあるんですね。 Linux系のコマンドラインで利用できるコマンドで、jsonをsedとかawkとかgrepみたいにできるやつらしいです。 公式サイトはこちら。 jq こちらのサ…

四季報のデータをネガポジ判定してみました。 四季報の文章を、mecabで形態素分析して(辞書はIPA辞書を利用)、単語感情極性対応表を利用して各単語のネガポジ値を求め、銘柄毎にその値の平均を求めました。結論から言ってしまうと、今回の方法では有効な結果…

四季報の文章をネガポジ分析で評価して、株価のパフォーマンスを調べてみたいなあと、その手順についてまとめておきます。 WEBスクレイピングで取得してきた四季報のデータを、「MeCab」で形態素解析して、「単語感情極性対応表」という辞書で文章内の単語の…

四季報のデータを用いて簡単な分析をしてみます。 2016年秋号の四季報で「最高益」という文字列が含まれている銘柄は２８５件ありました。これらの銘柄のパフォーマンスに何かしら傾向があるかざっくりと調べてみます。 四季報発売日は9/16(金)でしたので、…

Elasticsearchにはどうやってデータ入れるのが良いのか、調べていたらEmbulkというものがあるらしいです。流行っているらしく、これを利用してデータを投入します。 Embulkについてまとめ。 Fluentdのバッチ版Embulk(エンバルク)のまとめ - Qiita Elasticsea…

実際に取得した四季報データを投入するにあたり、Elasticsearch側で必要な設定をしていきます。 まずElasticsearchですが、以下のような仕組みとなっているそうです。 RDB: Databases => Tables => Rows => Columns Elasticsearch: Indices => Types => Docu…

実際にデータを投入し検索できる環境を整える前に、ElasticsearchのAnalyzerに関してもメモを残しておきます。 ElasticsearchのAnalyzerに関する部分は、なかなか難解でした。Elasticsearchには「Character Filter」と「Tokenizer」と「Token Filter」の３つ…

Elasticsearchではplugin(追加モジュール)が多数公開されています。結構あるので、何を入れれば良いんだとなりますが、Elasticsearchの中の人が紹介してくれていました。 いつも入れているElasticsearchのプラグイン - @johtaniの日記 2nd 参考に以下を入れ…

Elasticsearchを運用する上で、細かい初期システムパラメータについてもメモしておきます。CentOS7でElasticsearchのバージョンは2.4.1です。 基本的にマニュアル通りです。 Configuration | Elasticsearch Reference [2.4] | Elastic ES_HEAP_SIZE Javaで利…

取得した四季報データを全文検索するため、Elasticsearchを構成しようと思います。 ElasticsearchのSupportMatrixは以下です。今回構築する環境はCentOS7です。 Elastic Support Matrix · Elasticsearch | Elastic Elasticsearchの構築手順をメモしておきま…

四季報データをWEBスクレイピングするスクリプトを作成したのですが、取得に約１日かかった。。。 証券コードを1000から9999までの連番で１件ずつ総当りして、四季報の情報あれば取得する処理を書いているのですが、 直列で実行して、１件あたり１０秒くらい…

前回の続き。 PhantomJS + selenium を使ってみる - goodbyegangsterのブログ 取得したhtmlソースを解析する方法として、PyQueryかBeautifulSoupを利用する方法があるようです。ネット上でのコメントを読む限り、どっち使っても結局変わらないよ。ただし、Py…

四季報の文章を検索できたり、ネガポジ分析できたりしたら便利だなと思い、 おそらく四季報CD-ROMや有料版四季報オンラインであれば可能なのでしょうが、 そのためだけにお金払うの嫌だし、 証券会社に口座を作ると無料で四季報を見られるのを利用して、 自…

Pythonでちょっとした処理を書いてみようと思い、 CentOSに標準で入っているPythonを調べたところ、バージョンは「2.7.5」でした。 (CentOSのバージョンは7.2.1511） せっかくなので３系を使ってみたいなと、 バージョンアップの方法を調べていたら、「pyenv…