テキストファイルに列挙されているURLを利用して該当サイトのトップページHTMLをwgetで保存する
メモ用エントリ。
http://hideack.hatenablog.com/ http://www.remp.jp/ http://www.storyboards.jp/
の様なURLが列挙されたテキストファイルが手元にあったときに wget を利用してトップページのHTMLファイルを特定のディレクトリに保存することをしたいと思ったので数少ない知識を活用して試してみた。
xargs と wget でこんな感じで試してみたのだけれどもどうだろう。MacOSだとデフォルトで入っている xargs だとGNU拡張オプションの -a のオプションが使えなかったのでbrewで
$ brew install findutils
で、 gxargs を入れて以下の様な形。
$ gxargs -a urls.txt -I {} wget -t 1 -T 3 -w 0.5 -O archives/{}.html {} --user-agent="Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/61.0.3163.100 Safari/537.36"
- リトライは一回 (-t)
- タイムアウトは3秒 (-T)
- 出力はarchivesディレクトリ以下に "URL名.html" (-O)
- UserAgentはChromeとして認識させる (--user-agent)
- リクエスト間隔は0.5秒 (-w)
こうすることでURL一覧のテキストファイルで与えたサイトのトップページのHTMLを一つのディレクトリに保存していくことができる。
映画「別れかた 暮らしかた」上映会＆トークにいってきた
渋谷ヒカリエの8/COURTで開催されたこれからの暮らしかた展 関連イベント「映画「別れかた 暮らしかた」上映会＆トーク」に参加してきた。 暮らしかた冒険家・伊藤菜衣子さんが監督された作品で、3つの「暮らしかた」を紹介するドキュメンタリー映画。
個人的には映画中に出られていた震災後に地元を離れ自給自足の生活とカフェをはじめられたたべるとくらしの研究所 安齋夫婦のお話、地方出身で東京で成形を立てる自分にとっても胸にぐっとくる内容だった。これがきっと一つの別れかたと暮らし方なんだろうな。と。
一方、東京にいることで出会いもあるのも事実な訳で自分の中で、どこにバランスの中心を置くかをもっとしっかり考えていくときも出てきそうな気がした。
映画の上映の後、トークショーもあった後、映画にも登場されていた熊本ののはら農研塾の野原さんご一家にもお会いすることができてとても嬉しかった。映画の中の野原さんは男から見てもとてもかっこいいし、実際お会いするともっとかっこいい。
2017年9月に読んだ本を振り返る
readlineで標準入力を受け付ける(対話型シェル)
Node.jsで書いたコマンドラインツールに対話型のシェルを設けたかったので試してみた。 (参照にしたgistほぼそのままなのだけれども)
アロー関数で書き直そうとしたのだけれども詰まったので一旦メモとして残しておく。
var readline = require('readline'); function Cli(handler) { this.handler = handler; } Cli.prototype.run = function() { var self = this; var rli = readline.createInterface(process.stdin, process.stdout); rli.setPrompt('> '); rli.on('line', function(line) { var args = line.split(/\s+/), cmd = args.shift(); if (self.handler[cmd]) { self.handler[cmd].call(rli, args, function(err, res) { console.log(res); rli.prompt(); }); } else if (cmd.length > 0) { console.log('cmd not found.'); rli.prompt(); } else { rli.prompt(); } rli.prompt(); }).on('close', function() { console.log(''); process.stdin.destroy(); }); rli.prompt(); }; function Handler() {} Handler.prototype.echo = function(args, fn) { fn(null, args); }; (new Cli(new Handler())).run();
参照
2017年8月に読んだ本を振り返る
突然の小池龍之介ブームの月。
ブッダにならう 苦しまない練習から心に残ったフレーズ。
ですから、まず他人に何かを言う前に、自分がそういうことをするのをやめて、確信や説得力を持って言える自分になる必要があります。 一番良いのは、まず自分を整えてから、他人を諭すことです。 二番目に良いのは、自分が実践できていない事柄に関しては何も言わないことです。一般的には何か言った方が良いと思われがちですけれども、あえて沈黙してみる。 そして三番目に、最も賢明でないのは、自分が実践できないことを人に諭すこと。 (第2章 不機嫌な心を静める - 自己を整える) ー 98ページ
耳が痛い。
過去と未来という脳内データ処理に飲み込まれずに、今、目の前のことに集中し直しましたら、明日の心配など消えてなくなってしまう、ということなのです。 (第2章 不機嫌な心を静める - この瞬間を生きる) ー 154ページ
今を生きるってことかな。
hideackの本棚 - 2017年08月 (14作品)
powered by Booklog
