A Big Fish in a Little Pond (もきログ)

2012年6月17日日曜日

異動

前の職場を離れて新天地へ
これで密かに（？）目標にしていた"日本の端から端へ"を達成できた。

引越し作業も全て終了。
荷解きにはまだまだ時間がかかりそうだけど、まあゆっくり進めましょう。

それでは皆様よろしくお願いいたします。

2012年5月31日木曜日

解析でAMeDASのデータを使いたいので、こちらのページで紹介されている気象庁のAMeDASデータの取得を参考に、データを自動取得するシェルスクリプトを作成してみました。
おそらく気象庁さんのサーバーには負担をかけているのだと思いますが...

BioEosさんのページではRubyを使っているのですが、私がRubyに不心得なのでシェルスクリプトで同様の作業を行います。
必要なのはw3mとawkなどなどですが、わりと簡単にできました。

まずはprec_noの取得
こちらのページを参考に。

w3m -dump_source 'http://www.data.jma.go.jp/obd/stats/etrn/select/prefecture00.php?prec_no=&prec_ch=&block_no=&block_ch=&year=&month=&day=&elm=&view=' | grep prec_no | sed 's/=/ /g' | sed 's/&/ /'g | awk '{print $10}' | grep ^[1-9] | tr '\n' ' ' > prec_no.dat

が、しかし................
実は正規表現がとっても苦手なもので、ここでは小癪にもsedとawkを多用しています....(汗)

そしたら次はblock_noの取得。
取得したprec_noを使って

for i in `cat prec_no.dat`
do
 w3m -dump_source 'http://www.data.jma.go.jp/obd/stats/etrn/select/prefecture.php?prec_no='${i} | grep onmouseover= | sed 's/,/ /g' | sed 's/(/ /g' | sed 's/)/ /g' | sed "s/'//g" | awk '{print "'${i}'", $2, $3, $4, $5, $6,$7,$8,$9,$10,$11,$12,$13,$14,$15,$16,$17,$18,$19}' | uniq | sed 's/;"//g' >> prec.dat
done

お恥ずかしながら、ここでもsedとawkを多用しています....(汗)

prec_noとblock_noが取得できたので、いよいよデータをダウンロードします。
w3mでページを表示して、grepで表の部分だけを抽出するという単純なものです。

こちらはアメダス全ポイントの日々のデータをゲットするコード

for ((i=1; i< 1639; i++))
do
 prec=`awk 'NR=='$i'{print $1}' prec.dat`
 type=`awk 'NR=='$i'{print $2}' prec.dat`
 block=`awk 'NR=='$i'{print $3}' prec.dat`
 mkdir -p ./da/$prec/$block
 for ((j=1980; j<2000; j++))
 do
  for k in 01 02 03 04 05 06 07 08 09 10 11 12
  do
   cd ./da/$prec/$block
   w3m 'http://www.data.jma.go.jp/obd/stats/etrn/view/daily_'${type}'1.php?prec_no='${prec}'&block_no='${block}'&year='${j}'&month='${k}'&day=&elm=daily&view=p1' | grep ^[1-9] > ${prec}_${block}_${j}_${k}.dat
   s=`du ${prec}_${block}_${j}_${k}.dat | awk '{print $1}'`
   case $s in
    0)
     rm ${prec}_${block}_${j}_${k}.dat
     ;;
   esac
   echo $block $type $prec $i $j $k
   cd ../../../
  done
 done
done

同様にURLを変更すると月々データもゲットできます。
当然、時間ごとも可能。

for ((i=1; i< 1639; i++))
do
 prec=`awk 'NR=='$i'{print $1}' prec.dat`
 type=`awk 'NR=='$i'{print $2}' prec.dat`
 block=`awk 'NR=='$i'{print $3}' prec.dat`
 mkdir -p ./mo/${prec}/${block}
 for ((j=1980; j<2000; j++))
 do
  cd ./mo/${prec}/${block}
  w3m 'http://www.data.jma.go.jp/obd/stats/etrn/view/monthly_'${type}'1.php?prec_no='${prec}'&block_no='${block}'&year='${j} | grep ^[1-9] > ${prec}_${block}_${j}.dat
  s=`du ${prec}_${block}_${j}.dat | awk '{print $1}'`
  case $s in
   0)
    rm ${prec}_${block}_${j}.dat
    ;;
  esac
  echo $block $type $prec $i $j
  cd ../../../
 done
done

2012年5月17日木曜日

我苦心

おそらく世の若手の皆様が苦しんでいると思われる申請書をどうにか提出しました。

人事を尽くし切れたかどうかは判断しかねますが....あとは天命を待つのみです。

しかし、準備不足、知識不足だ....やっぱり専門分野外にチャレンジするのはキツイな〜

明日は山梨のとある山の中へお邪魔します

2012年5月12日土曜日

大山沢に行ってきた

モニ1000の調査で大山沢に行って来ました。
今日は動物と遭遇する日のようで、道中アナグマとカモシカに出会いました。

2012年5月12日　埼玉県秩父市中津川

こちらはカモシカ。
調査を終わって中津川から秩父へ帰る途中、トンネルの上に物陰がと思ってみてみると、そこにはどうやらお食事中のカモシカが。

2012年5月12日　埼玉県秩父市中津川

しかも法面保護の金網ネットの上を上手に歩いている（？）ようで。
で、こちらに気づいても逃げることはなく。

動けないのかな？それとも余裕？

こんな芸当はシカにはできないですよね〜？どうでしょうか。

2012年5月12日　埼玉県秩父市中津川

2012年5月2日水曜日

雑文投稿

一年間塩漬けにした記事を投稿しました。
２０１１年の日本生態学会第５８回大会企画集会で発表した内容です。
紆余曲折ありましたが、とりあえずひとつ宿題が終わりました。
編集者・校閲者の皆様、よろしくお願いします。

2012年1月25日水曜日

投稿

リジェクトされて放置していた某論文を投稿!!

この論文は今月１日にPlant Ecologyに投稿したのだが、１１日にはエディターリジェクトで戻ってきていた。
それから、生態学会の要旨や職場の報告会の準備に追われて放置していた。

今回はエディターを通ってくれますように!!
そして今回が３度目の投稿なので、三度目の正直となりますように!!

2011年12月5日月曜日

Vimにvim-r-pluginをインストール

ubuntuで、VIMからRを使えるようにするため、vim-r-pluginをインストールする

まず必要なライブラリ等々をインストール

sudo apt-get install libevent-1.4-2 libevent-dev libncurses5-dev

tmux（>=1.3）も必要なのだが、ubuntuのリポジトリには1.1しかないので、ソースからインストール
tmuxのサイトから最新版（1.5）をダウンロード
適当なディレクトリに展開してインストール

$ .configure
$ make
$ sudo make install

screen.vim pluginもインストール
Screen (vim + gnu screen/tmux)のページからscreen.vbaの最新版をダウンロード

vimでscreen.vbaを開いて

$ vim screen.vba

インストール

:so %

Vim-R-plugin : Plugin to work with Rからvim-r-plugin-****.zipをダウンロード。
今日現在の最新版は、vim-r-plugin-111114.zip

ホームディレクトリ直下の.vim以下に展開

$ unzip vim-r-plugin-111114.zip -d ~/.vim

vimを起動してヘルプタグを追加

$ vim

:helptags ~/.vim/doc

.vimrcに以下を書き込にホームディレクトリに保存

set nocompatible
syntax enable
filetype plugin on
filetype indent on

以上で完了

使うにはスクリプトファイルをvimで読み込み\rfとタイプするとRが起動する

$ vim test.R

\rf

使い方を勉強しよう...