プログラム

転置インデックスを利用した検索とgrepによる検索を比較してみる

検索エンジン自作入門 ~手を動かしながら見渡す検索の舞台裏を読んでみたところから続く検索してみるシリーズ。 前回作成した検索の処理をもって転置インデックスを作成するところから、それを利用した検索までの一連の流れができたので次は実際にいくらか大…

redisで作成した転置インデックスで検索してみる

検索エンジン自作入門 ~手を動かしながら見渡す検索の舞台裏を読んでみたところから続く検索してみるシリーズ。 前回のエントリで転置インデックスをredisに作ってみるところまではできたので、次は実際にこれを利用して検索を行ってみます。 前回はbi-gram…

転置インデックスをredisで永続化する

検索エンジン自作入門 ~手を動かしながら見渡す検索の舞台裏を読んでみたところから続く検索してみるシリーズ。 過去に転置インデックスを利用して検索してみるといったエントリを書いてJavaScriptのハッシュで構成された転置インデックスを利用して検索を試…

redisのコマンドリファレンスはページ上で実際に試せた

Command reference – Redis というredisのコマンドがまとめられたページがあるのだけど、各コマンドの詳細が書かれているページにEXAMPLESという項目があって、コマンド例がまとめられているのだけど、この欄実際に自分で試しにコマンドを入力できることに今…

JavaScriptの処理時間を計測する(console.time / console.timeEnd)

肝心なところ知らないこと多い...。 console.time と console.timeEnd で挟んだ部分の時間を計測できる。引数にはラベル名を指定できてそのラベルで対応した範囲の時間が計測される。 // Indexing console.time("indexing"); var stream = byline(fs.createR…

node.jsで1行毎にテキストファイルを読む - byline: buffered Stream for reading lines

素朴に便利だったのでメモエントリ。 byline $ npm install byline --save npmからインストールして以下の様な形で使える。 var byline = require('byline'); var fs = require('fs'); var stream = byline(fs.createReadStream('/tmp/foo.txt', { encoding:…

redisの型について整理した

redisの型の認識が何気だったので改めて整理してみた。自分の頭の整理用に図も描いたりしたのでせっかくなので掲載。 文字列型 一番シンプルな形。 127.0.0.1:6379> SET key1 value1 OK 127.0.0.1:6379> SET key2 value2 OK 127.0.0.1:6379> GET key1 "value…

転置インデックスを利用して検索してみる

n-gram及び、転置インデックス を作ってみたので実際に検索してみます。 ngram や indexing は上の記事で書いた関数がそのまま入ります。 var _ = require('underscore'); // (snip) var search = function(query, n) { var grams = ngram(query, n), firstP…

JavaScriptで転置インデックスを作る

先日ngramに分割する処理を書いたので次は転置インデックスを作ってみます。 今回は完全に単語の位置まで記録するものとし、 {'晴天': { '0': [ 3 ] }} といった具合で2-gramで分割された単語とそれに対応する文書とその位置が管理されるものとします。上の…

JavaScriptでn-gram

素朴に書いてみようと思って書きましたよ。のメモ。 var ngram = function(words, n) { var i; var grams = []; for(i=0; i<=words.length-n; i++) { grams.push(words.substr(i, n).toLowerCase()); } return grams; } var text = "Hi. 本日は晴天なり。"; …

ロジックゲートをnode.jsでシミュレーションする

Rubyで2の補数の話題ぐらいから6年ぶり*1のビット演算の話題。 ロジックゲートをシミュレーションするg8というライブラリがあったので少し触ってみました。 bucaran/g8 サンプル見ればそのままなのですが、一応手元でも試してみました。 なぜか「ぬ」という…

evac - Node.js based simple aggregator

evacというシンプルなアグリゲーターを作りました。個人用途で作っていたのですが、そこそこ形になったのでnpmで公開しています。 よくあるアグリゲータの実装と同様に入力、加工、出力をJSONファイルで定義することでアグリゲーションすることができます。 …

PushbulletのAPI経由でPush通知する

Pushbullet というサービスのAPIを使ってPushbulletがインストールされた端末(iPhone, Android, PCブラウザ) に向けてPush通知する術をあれこれ調べた際のメモです。 そもそもPushbulletは先に書いた様なPushbulletのクライアントアプリがインストールされた…

node.jsで定期処理をさせる

npmにあるcronというモジュールを使うとサーバーでよく扱うcronと同様にスケジュールを指定して定期的な処理を書くことができる。 var CronJob = require('cron').CronJob; var job = new CronJob({ cronTime: "*/5 * * * * *", onTick: function() { consol…

iCalendarフォーマットの予定をNode.jsでparseする

icalというnpmパッケージがあるので、これを利用すると素朴にiCal形式のデータを読み取ってオブジェクトとして扱うことができます。 var parser = require('ical'); var url = "http://〜/plan.ics"; parser.fromURL(url, {}, function(err, data) { for(var…

winstonを使ってみる(node.jsでログを取る)

node.jsでログを取るときにwinstonを使ってみたのでそのメモ。 まずはnpmコマンドでインストール。 $ npm install winston --save で、詳しくはGithub上のREADMEを参照するとかなり詳しくかかれているので、それを参照しながら実際にログを取ってみます。 や…

node.jsで素朴にMySQLへ接続する

素朴 = ORMなどを利用せずに素朴なクエリを1行程度発行したい場合にどうしたんだっけ。と少し調べたのでメモエントリ。 npmのmysqlを利用する。 $ npm install mysql --save あとは、接続→クエリ発行→切断の順で書いていく。 var db = require('mysql'); var…

gulpを利用してmochaで書かれたテストを実行する

定例の2周り遅れエントリ。Castoや、STORYBOARDSではtask runnerにGruntを利用していたのですが、glupも触ってみようということで使ってみました。 最近はnode.jsでちょっとしたツールを書いていたりすることが多く、そのテストにmochaを使って書いていたり…

node.jsでヒアドキュメント

Node.jsでプログラムを書いている時、JavaScriptでヒアドキュメント書きたいとき*1が稀にあって、そんなときはnpmパッケージのhereを使うと実現できたりします。 $ npm install here --save した後に、 var here = require('here').here; var testDoc = here…

sails+MongoDBでJSONベースのAPIを作成してみる

先日からAPIサーバをsailsとMongoDBを使って作ってみようとあれこれしてみたのでその際のメモです。 sailsの特徴に 最初からsocket.io(websocket)が利用できる JSONベースのAPIが簡単に作れる があるのですが、ここでは後者のJSONベースのAPIを作ってみるこ…

sailsでsocket.ioを無効にする方法

最近sailsを使ってAPIサーバを書いて見る試みをしていたりするのですが、sailsでは sails new コマンドでプロジェクトを作成するとデフォルトでsocket.ioが有効になるので、これを無効にする方法を調べたのでメモ。 結論としては .sailsrc というファイルを…

TOKYOAMEDAYO - 東京が雨予報ならYo

YoのAPIキーを取ってみたので試しに何か作ってみようということで、 東京地方に雨の予報が出ていたらYoしてくれるアカウントを作ってみました。 TOKYOAMEDAYO というアカウントに利用中の端末からYoしてもらえれば以降、毎朝7時30分に東京地方に雨の予報が出…

Yo APIを利用するためにAPI Keyを取得する

2周り遅れぐらいでYo APIを利用してみたので、API Keyを取得する際に行った作業のメモ。 Yoをインストールする tokenの取得にはYoのアカウントが必要なので、iPhoneにYoをインストール。 ここで取得したアカウント名を利用してAPI経由でYoはできないので、そ…

Coffee scriptでstep.jsを使う (Hubotで3秒毎に発言させる)

Hubotに3秒おきに発言させるため setTimeout 使う時、あれこれ試してみて以下の様に書いてみた。step.jsを利用してコールバックのネストが深くならなくて多少見やすいかなと思ったのですが、もっと良い書き方があったら是非知りたい。 cronJob = require('cr…

lxc-cpu-usageというツールを作った

VPSの上で複数のLXCを作ってRubyやnode.jsのアプリケーションサーバを動かしたり、DBサーバを動かしたりしているのですが、 稀に「このコンテナでどのくらいCPUが利用されているのだろう?」*1と調べることがあって、その時には 該当のLXCのinitプロセスを見…

Hubotを定期的に動かして発言させる

Hubotでcronでスクリプトを定期的に実行させる様に定期的に動かして例えばサービスのパラメータ等を通知させるのはどうするとよいのか調べたのでその際のメモ。 node-cronというnpmパッケージがあるので、これを利用するとcronと同じ書式でスケジューリング…

npm_lazyを使ってみた - A lazy local cache for npm

CastoやSTORYBOARDSでnode.js周りのアプリケーションのデプロイをする際にnpm installされる際、稀にnpm自体が重くなっていたりすることもあるので、ローカルにnpmのキャッシュサーバ的なものを立てられないかと調べていたらお手軽にできるものを見つけたの…

minaで過去にデプロイしたreleaseディレクトリを整理する

2回調べたので記録。 mina でデプロイを行った場合、以下の様にデプロイ先のホストでは管理されます。 lrwxrwxrwx current -> releases/86/ -rw-rw-r-- last_version drwxrwxr-x releases/ drwxrwxr-x scm/ drwxrwxr-x shared/ drwxrwxr-x tmp/ で、この rel…

ライブコーディングアプリ「Casto」ができるまで ep.2

もう既に@hika69 がまとめエントリを書いていてくれるのですが、別の視点でまとめてみようかなと思いまして書いてみます。ということで、ep.2。 "Casto"(キャスト)は一言でまとめると「リアルタイムで更新できるGist」といった形のWebアプリケーションです。…

Rendrで作られたnode.jsアプリをminaでデプロイする

Rendrで新しくアプリを作ろうとしていて、rendr-cliで プロジェクトの雛形を作ったので、では実際にデプロイどうしようと考えた時にminaを使ってやってみたので その際のメモ。 手順としては、 rendrアプリをデーモン化して稼働させるためにforeverで動く様…