Hadoopのコマンドメモ

コンピュータ

2週間触っていなかったら忘却である。情けない…。
すぐ忘れるのでメモしておく。特に頭から抜けていたものだけ。逐次記事更新予定。

  • HDFS操作関連
    • ローカルからHDFSへのファイル転送
      • $ hadoop dfs -put (ローカルファイル名) (HDFS転送先)
    • HDFSからHDFSへのファイル転送
      • $ hadoop dfs -get (HDFS上ファイル名) (ローカル転送先)
    • 再帰削除(rm -r コマンド)
      • $ hadoop dfs -rmr (削除対象dir名)
  • Hadoopのプロセス操作関連
    • プロセスの一覧確認
      • $ hadoop job -list

1 jobs currently running
JobId State StartTime UserName Priority SchedulingInfo
job_xxxxxxxxxxxx_0010 1 1264381513643 hadoop NORMAL NA

    • プロセスの削除
      • $ hadoop job -kill (JobId)
      • JobIdは一覧で表示される最も左の値(Job_〜)