goodbyegangsterのブログ

備忘録的な

AWSのRDSを停止したら、stoppingのステータスで止まってしまった話

AWS

AWSのRDSインスタンスを停止できるようになりましたね。使っていないならお金の無駄だし、ちまちま停止処理をしていました。(ちなみにRDSインスタンスを停止していても、1週間経過すると自動的に起動してきてしまうので、この点は注意です。) ある日、暫…

AWSのWindowsインスタンスでAuto Recoveryを設定しようとして、できなかった話

AWS

題名の通り、AWSのEC2コンソールから、WindowsインスタンスのAuto Recoveryを設定しようとしたところ、Auto Recoveryの選択肢がグレイアウトしており、選択できないという事がありました。こんな感じです。 原因調べるのに苦労したのですが、以下のknowledge…

powershell:OS設定値の確認いろいろ

参加ドメイン > (Get-WMIObject -class Win32_ComputerSystem).Domain IPアドレス > (Get-WmiObject -class Win32_NetworkAdapterConfiguration | Where-Object {$_.IPEnabled -eq "TRUE"}).IPAddress IPアドレス:DHCP設定 > (Get-WmiObject -class Win32_N…

powershell:カレントフォルダ配下のある特定ファイルを再帰的に開く

stdoutという名前のファイルが対象。 > foreach($i in Get-ChildItem ./ -Recurse -Name | ?{ $_ -like "*stdout*" }){more $i} PowerShell 2.0 or later

AWSで作成したamiに紐づくsnapshotを確認する方法

AWS

AWS利用していてamiは日常的に作成しますが、作成しっぱなしになること多いですよね。結果として、削除可否不明のamiやsnapshotが出来てしまったり。。。結構あるあるだと思っています。AWS CLIのdescribe-imagesコマンドであれば、対象のamiと紐づくsnapsho…

RDS for OracleでREDOログファイルの追加方法

RDS for Oracleでは"alter system"や"alter database"コマンドの利用が制限されています。そのため、OracleでREDOログを追加するような"alter database add logfile member"といったコマンドが利用できません。その代わりにRDS用プロシージャが提供されてお…

AWS上のRHEL7, CentOS7 でホスト名を静的に変える方法

これもいつも忘れてるのでメモ。 参考はこちら。 Amazon EC2 Linux Static Hostname RHEL7 Centos7 CentOS7からは、ファイルをいじらず「hostnamectl」というコマンドを利用しろとのこと。 $ sudo hostnamectl set-hostname --static zunda このままだと、AW…

AWSのRHEL7にて参照先DNSサーバを静的に設定する方法

RHEL7になっていろいろ変わって大変ですな。 いっつも忘れるのでメモ。 AWS標準では、OS再起動時にDHCPオプションセットに設定された値で上書きされてしまいます。 resolv.confを書き換えていても、上書きされちゃいます。そのための対応方法。 公式でtipsを…

Elasticserach 5.2.1 で elasticsearch-head を利用する

前回のアップグレード時、elasticsearch-headを利用する方法を記載しなかったので、記載しておきます。 Elasticsearchのバージョンアップ - goodbyegangsterのブログ Elasticsearch 5.X よりsite plugin は利用不可になりました。詳しくは過去の公式ページに…

Elasticsearchのバージョンアップ

ElasticSearchがいつの間にやらメジャーバージョンアップしているので、僕の環境のもバージョンアップしてみます。(2から5にバージョンアップしていますが、3と4はどこへ。。。) (→ 2017/04/10追記:コメントで教えてくれた方がいました!!Kibanaとバ…

Elasticsearchのバックアップ

ElasticSearchではインデックスのバックアップ方法として、snapshotの機能を提供しています。今回その機能を利用したので、備忘録しておきます。 環境です。尚、ざっと確認した限り、バージョン5のElasticSearchでも手順は同じっぽいです。 CentOS 7.2 Elas…

D3.jsでローソク足チャートを描く

株価のローソク足チャートを描いてみます。これを描いてみたかったので、D3.js触ってみたんですよね。D3.jsには「TechanJS」というファイナンス用のライブラリが存在しており、これを利用することで簡単にチャートを作成できます。 TechanJSのギャラリー。い…

RailsでD3.jsを使う

D3.jsはいろんなグラフを描けるJavaScriptのライブラリですね。柔軟性は高いけど、その分学習コストも高いとの噂。描画できるグラフサンプルはこちら。 Gallery · d3/d3 Wiki · GitHub これをRails環境で利用してみます。環境です。 Rails 5.0.1 D3.js 4.4.1…

Railsで既存のデータベース(MariDB)を利用する

PHPで作成していたシステムをRailsに置き換えようと色々調べているのですが、移行にあたって最大の問題は「既存のデータベースをRailsでどのように利用するか」ですね。RailsではCoC(Convention over Configuration:設定より規約)の精神が貫かれており、そ…

RailsでSQLiteでなくMariadbを利用する

RailsでSQLite以外のDBを利用する方法です。今更の内容ですが、備忘録として。Railsのバージョンは「5.0.1」です。 デフォルトではSQLiteを利用する設定になっているので、まずGemfileを更新します。sqlliteの部分をコメントアウトして、MySQL(MariaDB)のラ…

WindowsからCentOSへ、MySQLをMariaDBに移行する

db

以下の環境間で、DBを移行したときのメモです。MariaDBデビューです。 [移行元] Windows7 Pro MySQL 5.6(InnoDB) [移行先] CentOS 7.2 MariaDB 10.1 MySQLからMariaDBへのアップグレードは、公式で手順が公開されていますが、異なるプラットフォーム間でとい…

SELinux有効時に、MariaDBの起動に失敗する件

db

MariaDB新規インストール時にはまったので、そのメモです。 環境です。 CentOS 7.2 MariaDB 10.1 以下の条件時に発生するようです。 SELinux有効時 データファイルのパスをデフォルトから変更している OS上のファイルアクセスのパーミッションは正しく与えて…

リモートのMySQLからデータをpandasに取ってくる

リモートサーバ上のMySQLからデータを引っ張ってきて、pandasで処理したかったのです。環境は以下です。 python 3.5.2 pandas 0.19.2 rdbからデータ取得するための関数が、pandasには用意されています。「pandas.read_sql_query」は、実行したSQL結果をデー…

firewalldについて最低限まとめておく

CentOS7になり、ネットワークまわりの設定がかなり変わりましたね。地味に困りますねえ。。。設定の都度ググっては忘れてを繰り返しているので、備忘録としてまとめておきます。 以下のサイトを参考にしていますので、詳しくはこちらを見たほうが良いと思い…

vim8.0をインストールする

Rails開発用にvimの環境を整えようと思います。 今年、vimのメジャーバージョンアップがあったんですね。知りませんでした。せっかくなので、新しいバージョンを利用しようとvimアップグレード作業をしたのですが、これがかなりしんどかった。たかだかvimを…

CnetOS上にRails環境を作成する

はるか昔にphpで作成したwebサイトをRailsで作り直したい。ということで、まずはRails環境を作ります。Railsに関しては、ずっと前に「Ruby on Rails チュートリアル」を一度やっただけです。 環境作成にあたって、以下のサイトにお世話になりました。 Linux…

CentOS7.2のpyenv上python3.5.2環境でtkinterを利用する方法

pandasからグラフを表示させようとしたところ、ちょっと躓いたのでそのメモです。環境は件名のものです。 plot関数を呼び出したところ、'_tkinter'がないよと怒られました。 >>> import pandas as pd >>> import numpy as np >>> import matplotlib.pyplot a…

CentOS7にGUI環境を追加する

CentOS7となり、内部の仕組みやコマンドが変わったことで、地味に大変ですね。分からない都度ネットで調べるのですが、調べた内容も、僕の薄い脳みそではあっという間に忘れていきますし。あはは。 ということで、CentOS7ミニマムインストール環境にGUI環境…

pandasで移動平均乖離率を求める

以下の前回の続きです。 csvファイルをpandasに取り込む - goodbyegangsterのブログ 取り込んだドル円日足データをもとに、25日単純移動平均の乖離率を求めたいと思います。pandasけっこう便利なんで驚きました。 初めに、csvファイルをpandasに取り込みま…

csvファイルをpandasに取り込む

分析したいcsvデータをpandasに取り込んでみます。 例として、ドル円の日足データを取り込みます。実際のデータは以下で、m2jのサイトからダウンロードしてきました。 日付,始値,高値,安値,終値 2016/01/04,120.21,120.44,118.69,119.43 2016/01/05,119.33,1…

pandasを触ってみる

株価や為替のデータをあーだこーだいろいろ分析したいぞ、ということでpandasを触ってみます。 公式サイトで「10 Minutes to pandas」とnew user向けのintroductionがあるのですが、出てくる用語がそもそもよく分からない。 10 Minutes to pandas — pandas 0…

Elasticsearchの検索結果をcsv形式で取得する

Elasticsearchの検索結果をcsvで取得できると良いのに、と思っていたところ、jqってコマンドがあるんですね。 Linux系のコマンドラインで利用できるコマンドで、jsonをsedとかawkとかgrepみたいにできるやつらしいです。 公式サイトはこちら。 jq こちらのサ…

四季報をネガポジ分析する

四季報のデータをネガポジ判定してみました。 四季報の文章を、mecabで形態素分析して(辞書はIPA辞書を利用)、単語感情極性対応表を利用して各単語のネガポジ値を求め、銘柄毎にその値の平均を求めました。結論から言ってしまうと、今回の方法では有効な結果…

mecabのインストール

四季報の文章をネガポジ分析で評価して、株価のパフォーマンスを調べてみたいなあと、その手順についてまとめておきます。 WEBスクレイピングで取得してきた四季報のデータを、「MeCab」で形態素解析して、「単語感情極性対応表」という辞書で文章内の単語の…

四季報を使って株価を分析してみる(1)

四季報のデータを用いて簡単な分析をしてみます。 2016年秋号の四季報で「最高益」という文字列が含まれている銘柄は285件ありました。これらの銘柄のパフォーマンスに何かしら傾向があるかざっくりと調べてみます。 四季報発売日は9/16(金)でしたので、…