Prophetを触ってみる
同僚が試していたので自分も少しさわってみることにした。
Prophetはfacebookが公開している過去の時系列のデータから長期的なトレンドと周期成分、突発的な成分を踏まえて以後の動向予測ができるツールで、自分が試してみようと思ったのは現在単純に線形予測だったり回帰予測でおこなっているところの置き換えができたりするのかなというところがモチベーション。
pyenvでPythonとpipをインストールする
以下のエントリのmatplotlibの手前までを実施してPythonをインストールした。
[macOS] Python3をインストールしてmatplotlibでグラフを表示する - Qiita
Prophetの素振り
以下のエントリに倣って試してみる。 qiita.com
m.plot(forecast)
で以下のエラーが出てくる。
RuntimeError: Python is not installed as a framework. The Mac OS X backend will not be able to function correctly if Python is not installed as a framework. See the Python documentation for more information on installing Python as a framework on Mac OS X. Please either reinstall Python as a framework, or try one of the other backends. If you are using (Ana)Conda please install python.app and replace the use of 'python' with 'pythonw'. See 'Working with Matplotlib on OSX' in the Matplotlib FAQ for more information.
これを解決するには先のエントリにある通り、 ~/.matplotlib/matplotlibrc
を新規に作成して設置する。
backend : TkAgg
こうすると上のエントリで書かれている様なProphetを試す一連の流れを再現できる。
import pandas as pd import numpy as np from fbprophet import Prophet df = pd.read_csv('example_wp_peyton_manning.csv') df['y'] = np.log(df['y']) m = Prophet() m.fit(df) future = m.make_future_dataframe(periods=365) forecast = m.predict(future) m.plot(forecast).show()
ちなみにCSVに落としたかったら forecast.to_csv("file.csv")
といった具合。
実際に手元にあった時系列のデータを読み込ませてみた所かなりカジュアルに周期成分と長期トレンドを予測することができて最初の印象としてはとてもよさそうなのでもう少しいろいろ扱ってみたい。
ファイルが大量にあるところでgrepしようとしてArgument list too long
findしたのをxargsで渡してgrepに流し込むと大丈夫とのことを知った。 あるあるなんだな。
find . -name "*.html" -print0 | xargs -0 -I{} grep -oEH "hoge foo" {}
テキストファイルに列挙されているURLを利用して該当サイトのトップページHTMLをwgetで保存する
メモ用エントリ。
http://hideack.hatenablog.com/ http://www.remp.jp/ http://www.storyboards.jp/
の様なURLが列挙されたテキストファイルが手元にあったときに wget
を利用してトップページのHTMLファイルを特定のディレクトリに保存することをしたいと思ったので数少ない知識を活用して試してみた。
xargs
と wget
でこんな感じで試してみたのだけれどもどうだろう。MacOSだとデフォルトで入っている xargs
だとGNU拡張オプションの -a
のオプションが使えなかったのでbrewで
$ brew install findutils
で、 gxargs
を入れて以下の様な形。
$ gxargs -a urls.txt -I {} wget -t 1 -T 3 -w 0.5 -O archives/{}.html {} --user-agent="Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/61.0.3163.100 Safari/537.36"
- リトライは一回 (-t)
- タイムアウトは3秒 (-T)
- 出力はarchivesディレクトリ以下に "URL名.html" (-O)
- UserAgentはChromeとして認識させる (--user-agent)
- リクエスト間隔は0.5秒 (-w)
こうすることでURL一覧のテキストファイルで与えたサイトのトップページのHTMLを一つのディレクトリに保存していくことができる。
映画「別れかた 暮らしかた」上映会&トークにいってきた
渋谷ヒカリエの8/COURTで開催されたこれからの暮らしかた展 関連イベント「映画「別れかた 暮らしかた」上映会&トーク」に参加してきた。 暮らしかた冒険家・伊藤菜衣子さんが監督された作品で、3つの「暮らしかた」を紹介するドキュメンタリー映画。
個人的には映画中に出られていた震災後に地元を離れ自給自足の生活とカフェをはじめられたたべるとくらしの研究所 安齋夫婦のお話、地方出身で東京で成形を立てる自分にとっても胸にぐっとくる内容だった。これがきっと一つの別れかたと暮らし方なんだろうな。と。
一方、東京にいることで出会いもあるのも事実な訳で自分の中で、どこにバランスの中心を置くかをもっとしっかり考えていくときも出てきそうな気がした。
映画の上映の後、トークショーもあった後、映画にも登場されていた熊本ののはら農研塾の野原さんご一家にもお会いすることができてとても嬉しかった。映画の中の野原さんは男から見てもとてもかっこいいし、実際お会いするともっとかっこいい。