ページ

2009年6月28日日曜日

山梨のとある山の中(4回目)

さて今週も実習に行ってきた!!
これで前期の実習は終わりである!!

5月,6月とせわしない日々を過ごしていたので,これでようやく論文書きやら論文書きやらに専念することができる!!

だけどなにやらちょっと落ち込み気味な感じ!!

というのも今回の実習でも自分の植物の同定能力,というか知識のなさを思い知らされたためである!!

こればっかりは自ら反省して,自習するしかない!!
油断してあぐらをかいてばかりでは,足下をすくわれかねない

がんばらねば

2009年6月22日月曜日

データの出力

まえまえから取り組んでいる、研究データの整備が一段落をむかえようとしている

これからは、整備したデータをつかって難しげな解析をしないといけない!!

というわけでここ数日、"GRASSにつっこんだデータをどうやって取り出すか"に
チャレンジしていた!!

GRASSの場合には、コマンドラインからRのライブラリのspgrass6()を使って直接
Rに送り込む&難しい解析をすることもできる!!

だけど今回の場合にはこの方法を選択することはスマートじゃないような気がする!!

それは、今回のデータには一つのポイントに複数のデータ(レイヤー)があるため!

なのでこれから同じポイントにある複数データを選別しないといけない

この作業はおそらくRでもできると思う

だけどちょっと心許ないので、初めのうちはデータを切り出して、手前で整形し
てからRに送り込むことに

というわけで、ここ数日はこの作業をどうやって進めるかを思案していた!!

今日までの感じではr.statsを使ってデータを切り出すというところまではわかった!

だけど出力されたデータがちょっとおかしい

また数日悩んでみることにしよう!!

2009年6月21日日曜日

”はまち”がすごい

タイトルにも書いたように"はまち"がすごい!!

このソフトにはかなり感激!!

何をそんなに感激しているかというと、Hamachiというソフトを使って研究室か
ら家のPCのデータにアクセスすることができたのである!!

これで出先から家のPCに計算なんかを送り込むことができる!!
さらに音楽ファイルや写真なんかを取り出すこともできる!!

マルチプラットフォームで、WindowsでもMacOSXでもLinuxでも稼働することができる!

入手先はこちら

使い方はいたって簡単でグループを作成してニックネームを登録するだけ!!

WindowsではGUIでいろいろ操作ができるんだけど、Linuxの場合にはCUIでインストールと操作をすることになる。

でもよくよく探してみるとLinuxでもGUIで操作できるフロントエンドがあるとのこと!

早速こちらこちらからダウンロードしてみる!

いや〜すごいね〜!!

設定もとても簡単で快適!!

セキュリティの面がちょっと心配だけど、様子を見ながら運用してみよう!!

2009年6月20日土曜日

かわらさいこ

写真はちょうど花の時期をむかえたカワラサイコ(Potentilla chinensis Ser.

2009年6月20日埼玉県荒川

今日も調査に行ってきたので、写真はその成果!

カワラサイコはいろいろなところで絶滅危惧種に指定されている。

だけど、場所によってはかなりの数をみることができる。
調査地の荒川河川敷がそのうちの一つ!!

ここでは、いたるところに生えていて、踏まずに歩くのは至難の業!
特に、ちょっと藪になったところでは、道の真ん中や脇で多く見られる
車の通った轍なんかがそう!!

この場所で初めてカワラサイコをみたときには、絶滅危惧種なのに人や車の通る
道ばたに生えているミスマッチにかなり衝撃を覚えた!


所変われば品変わるとはまさにこのことである!!
本の知識だけではなく、野外で実際に観察する必要性を痛感させられた!

2009年6月15日月曜日

山梨のとある山の中(3回目)

さてさて今日で3回目の実習が終わった!
今回は木曜日から連続で4日間(自分の調査が2日間と実習が2日間)、家出して
いる!

気温が上がってきたせいか、炎天下での作業が続くからちょっと疲れた感じもす
る...
だけど、1週間とある場所でデスクワークしているよりはかなりマシ!!

やっぱり野外で植物と触れ合うなかで、研究についていろいろと考えていかない
と、ちょっとキモチが悪い!

さてつぶやきも程々にして、今回もいろいろな花が咲いていた
コアジサイ
バイカウツギ
ウツギ
マルバウツギ
ムサシアブミ
オドリコソウ
などなど

今回の実習は活動範囲が広くなかったので、花を観察できた植物が少ない...
ちょっと残念...

でも、コアジサイが満開で、すごくれいだった

写真はかなりぼけてるけど2年前のもの

2008年6月18日山梨県

今の時期、アジサイの花は特にオススメです

2009年6月13日土曜日

あらかわのどこかのかわら

今日は荒川に調査に行ってきた!

この調査は数年前から口にしてきたテーマなので、そろそろちゃんとした結果を
出さないといけない!

そんなわけで仕事が休みの時(じつは3つくらい仕事を掛け持ちしている)は、
なるべく調査に行くようにしている!

そんなわけで荒川に調査に行ってきたのだが、そこで珍しい植物に出会うことが
できた!
その写真がこれ

そうミゾコウジュ(Salvia plebeia R.Br.)!!

2009年6月12日埼玉県

この調査地では前回もカワラニガナ(Ixeris tamagawaensis (Makino) Kitam.)を見つけているので、これで新たに見つかったRDB種は2種類になった〜!!



2009年5月1日埼玉県

他にも見つけられるかな〜!!

調査の合間の幸せな休み時間になりました

2009年6月9日火曜日

ubuntuにインストールしたソフト一覧

この前からの続き...
先週末にあれやこれやとあったおかげでOSを再インストールするはめになった...

もうかなり手慣れたもので復帰作業にはそれほど時間がかからなかった

まぁそのついでに今回インストールしたソフトを記録しておこう


wine : Linux上でWindowsのソフトを走らせるソフト
AVG for Linux Workstation : ウイルス対策ソフト
Conduit Synchronizer : 同期ソフト(まだ使い方がよくわからん)
Leafpad : テキストエディタ
Kate : テキストエディタ
Metamorphose : リネームソフト
Dropbox : 一度使ったら手放せません!webフォルダ
Wifi-radar : ワイヤレスネットワークソフト
gFTP : FTPクライアント
Thunderbird : メールソフト
JabRef : 論文管理ソフト
Winefish LaTex Editor : Texエディタ
PowerPoint Viewer : パワーポイントを見るソフト
ImageMagick : とても便利な画像処理ソフト
Inkscape : ベクタ画像処理ソフト(学会発表用のポスターはこれで作ってます!)
PDF Editor : PDF編集ソフト
Scribus : 組版・DTPソフト
Xara Xtreme : ベクタ画像処理ソフト
Amarok : 音楽プレイヤー
Mplayer : マルチィメディアプレイヤー
VLC media player : マルチィメディアプレイヤー
WinFF : 動画変換ソフト
Gmount-iso : イメージマウントソフト
Ubuntu Tweak : ubunntuの各種設定ソフト
Bluefish Editor : HTMLエディタ
Meld差分ビューアー : ファイル・フォルダ比較ソフト
MySQL Administrator : MySQL(データベース)のフロントエンド
MySQL Query Browser : MySQL(データベース)のフロントエンド
Quantum GIS : GISファイルビューアー
GRASS GIS : GISソフト
R : データマイニングソフト
dbf2mysql : mysqlとdbfの相互変換ソフト
pstoedit : ポストスクリプトファイルをベクトル形式に変換するソフト
Conky : ハードディスク情報表示ソフト

※ソフトの説明は調べもせずに思いつきで書いたため、正しくないものもあります!

研究関連のソフトと趣味のソフトが入り交じっていていい感じ!

データ解析にLinuxが手放せなくなってしまった今日この頃です!

r.watershed

ようやくわかった!!
r.watershedの使い方が!!

この前のエントリに書いたように、r.watershedで流路のデータを作りたかった
んだけど、これまでなぜかうまくいかなかった

でもその解決法(というかつまずいていたところ)がようやく分かった
それは、何のことはないリージョンセッティングが間違っていただけだった

自分の研究では日本列島スケールのデータを扱っている
なのでデフォルトのリージョンがかなり広い!

でr.watershedがうまくいかなかった理由はというと、このリージョンセッティ
ングがあまりにも広すぎたためだった!!

なので解決法は目的の領域に合わせてリージョンを変更してやるだけでいい

g.region n=<北端> s=<南端> e=<東端> w=<西端> nsres=<南北方法解像度>
ewres=<東西方向解像度>

または

g.region rast=<ファイル名>

これで解決!!

普段あまり気にすることがないけれど(私が)、このリージョンセッティングは
実はかなり重要!!

特に、自分みたいに広域で&膨大なデータファイルを扱っている場合には、この
リージョンの設定をこまめに変えないと、データの処理速度にも影響してくる!

リージョン設定を怠ると数分で終わる処理が、数十分から数時間もかかってしま
うこともある←(これ実話)


なのでスクリプトを書くときや演算をする時には、リージョン設定を確認してお
いて損はないだろう

斯く言う私もこれからは必ず注意しよう!!

さていろいろと与太話をしてきたけどこれまでの成果をひとつ

この画像は日本を流域ごとにわけたもの
データソースは毎度お馴染みの国土数値情報の統一フォーマット


もう少し細かくわけることもできるみたいだけど、とりあえずこんなもんでいい
でしょう

関東・中部周辺を拡大するとこんな感じ

このデータを基に流域ごとに流路を書いてみよう

2009年6月8日月曜日

ベクターデータの取扱い

このまえから延々と続いていることだけど、ベクターデータってのはかなり扱い
にくい...

そもそもデータがいくつかに分かれていることがよく分からん!
それがファイルサイズを少なくすることに貢献しているのだろうけど...

そんななかでGRASSでベクターデータを扱うときのコツが分かってきた!

今取り組んでいることは、国土数値情報の統一フォーマットからベクターデータ
を作るというもの!

やりかたは、統一フォーマットのデータファイルからデータを抜き出して、既成
のシェープファイルのdbfファイルと結合するという方法
をとっていた

でもこの方法はデータ量が多するし、処理も少し煩雑な気がしていた

そこで新たに思いついた方法が、統一フォーマットのデータから直接ベクター
データを作成する方法!!

やってみると、これまでの方法よりもいいみたい!!
ただしメッシュコードや座標データなど位置情報があるデータでしかできないけ
れど!

方法は

1.国土数値情報の統一フォーマットからdbfファイルの元となる部分のデータ
(メッシュコードを含む)だけを抽出してテキストファイルで保存する
2.テキストファイルに記載されているメッシュコードから、awkを利用してGRASS
にインポート可能なアスキー・スタンダードフォーマットのポリゴンを作成する
3.作成したベクターデータをGRASSにインポートする
4.インポートしたベクターデータをすぐにESRIシェープファイル形式でエクス
ポートする
5.ちょっと前の手順に戻って、統一フォーマットから作成したデータテキスト
(CSV)をMySqlにインポートする
6.その後、すぐにmysql2dbfでdbf形式でエクスポートする!
7.GRASSでエクスポートしたdbfファイル(データなし)を削除し、MySqlでエク
スポートしたdbfファイル(データ含む)と置き換える。
8.最後にすべてのベクターデータ(shp)をGRASSに再インポートすると完成!

という流れ

ここには他の方法も書いてあるけど、おそらくこっちの方が楽
試しにここの方法(dblnの修正)とかもしてみたけれどうまくいかなかった...

この方法ももう少し改良できるかもしれないので、いろいろ試してみよう

上手くいったらまたまとめて報告しま〜す!

2009年6月7日日曜日

いろいろと

だんだんとGRASSが使えるようになっていくのが実感できて楽しい今日この頃!

先週末はなにかといろいろなことがあった

まず一つにメインマシンのノートPC(X200)にインストールしているubuntuが突
如起動しなくなったこと...

まぁ下手な計算ばかりさせていたのが悪いんだけど...

GRASSで計算させる用の下手なスクリプトを実行していたら、それがあまりにも
非現実的な計算速度だったから、しょうがなく再起動することに...

そしたらそのままエラーを吐いて起動しなくなってしまったというわけ!

まぁいろいろググって対処法を探すのもいいんだけど、ちょっと面倒くさいので
ubuntuを再インストールすることにした!

というのもこの頃は経験値が上がって、ちょっとぐらいこけてもデータを救出で
きることが分かったからあまり無理をしなくなった!

まぁハードディスクさえ壊れなければいいかなと!
こんな考えだからより致命傷になることも多いのだけど...

そんなこんなで再インストールすることにしたのだけれど、ここでちょっと問題
が...

これまでCDドライブは方々から借りてきていたので、ウチには外付けのCDドライ
ブがないのである

買えない金額ではないのだけど、そんなに使用頻度が高くないのでちょっともっ
たいない気がする

ちなみに近くのPCデポまで散歩したらDVD書き込み機能があるやつで7000円だった...

う〜ん、ちと高いなぁ〜


しょうがないからしばらく再インストール作業を保留してデータ解析に専念する
ことに!

このデータは早々にまとめないといけないやつだけど、なかなか気が進まなくて
終わらない...

まぁ早めに終わらせようということで、しばらく解析を進めてみるも状況はあま
り変わらず...

まぁ続きは通勤時間にでもやるとして、この週末にどうしてもやらないといけな
いことがあとひとつだけあった!

それは今進めている(データはほとんど集まっていないけれど)調査について、
共同で調査をしてくれるひとと連絡をとること...

相手は一般の方なので電話でどのくらい伝えられるかが心配だったけど、なんと
か引き受けてもらえることになった!!

ありがたい!
とてもありがたい!!

今後の調査の励みになる!

とてもありがたい!

頑張って早めに調査を終わらせよう!!

2009年6月5日金曜日

今日の成果

今日も一仕事が終わったので,記録として載せておく
今日やっていたのは地質図の凡例の統合作業!


1枚目はこの前紹介したのと同じデータで,岩石の地質学的に区分したもの。
つまり堆積岩とか火成岩,深成岩,変成岩とかいうやつ



ちなみに関東平野の黄色い部分は未固結の堆積物で,ピンク色はローム層を表している。そのほか箱根や富士山の周りには火山噴出物なんかもみることができる。


でもこの区分はいまいちよくないので,ちょっと整理統合したものが2枚目と3枚
目の地質図


2枚目は地質を12の凡例に区分したやつで,3枚目は8つに区分したやつ。



色のセンスがないから見栄えがイマイチだけど,3枚目の画像はかなりすっきりした印象がある。これなら解析に使えるかも!!

ちなみに3枚目の画像のオレンジ色の部分は,いわゆる酸性岩(今は酸性岩とか塩基性岩という言葉は使わないみたいだけど)が分布する地域を表している。


おぉ! なんかいい感じだなぁ〜

dbfファイル攻略

今日ついにやった!!

これまでずっと長い間苦しめられてきたdbfファイルの呪縛からようやく解放された!
かなりうれしい!

これまで何にそんなに苦しめられていたかというと,
  1. エクセル(2003まで)では扱えないデータ量(行数)のdbfファイルの作成・編集
  2. dbfファイルのデータ型(文字型とか数値型とかいうやつ)の変換・修正
がどうしてもできなかったからだ。

1は,例えば1次メッシュファイルが50〜100mの解像度で入力されている場合(エクセルで編集可能な行数を上回る)に起こる現象。QGISのftoolとかArcVIewとかで何とかできるのだけれど,正直処理に時間がかかりすぎて現実的ではない。

2は,国土数値情報のXMLデータを変換ソフトでシェープファイルにした場合に直面する現象。これが非常にやっかいで,国土数値情報のコンバーターでXMLを変換した場合には,数値型のデータでも変換されたdbfファイルには文字型で格納されている。Arcシリーズでこの現象が問題かどうかは分からないのだけど,GRASSでは結構問題がある。なぜなら,ベクターデータはRに放り込む前に,ラスターデータに変換しないといけないからだ。

GRASSには標準でラスター・ベクター相互変換の機能がついているのだけど,ベクターデータのdbfファイルに数値が文字列として格納されている場合には,ベクターからラスターへの変換をしてくれない... おぉ困った...
GRASS本にはこの問題を解決するための方法が載ってるんだけど,ちょっと方法がややこしい...正直,こんな方法よりももっと簡単な方法があるんじゃないのと思っていた


そんなこんなで,ここ数週間,いかにしてdbfファイルを編集するかを悩んでいたのである


それが全部試したわけではないけど,ある程度解決のめどが立ったわけだから,今日の帰り道はとても足取りが軽い!!

解決方法は特に珍しくもない,というかおきまりだけれどもSOLを使うというもの。

これがGRASS本に載っている方法よりもとっても簡単で,処理時間も早い!

この方法についてはまた改めて紹介することにしよう!

2009年6月3日水曜日

流域

またまたデータができあがった!!
今度は日本の地域を流域別に区分したラスターデータ!

これは国土数値情報の統一フォーマットのデータを整形しただけのもの...

でもこれがなかなかやっかいもので,数日かけてようやく整形が終わった!

データファイルには,1行に3次メッシュをさらに100mごとに細分した解像度で
流域のID番号が記載されている。

ようはこれをいつものようにGRASSにインポート可能なラスターデータ(アス
キー形式)
に変換すればいいだけ。

だけど整形するためのアルゴリズムがちょっとめんどくさい。
流れをまとめるとこうだ...

1.まず各行(3次メッシュ)を10×10の行列に整形する
2.この行列をファイルに書き込み,ファイル名を3次メッシュコードとする
3.できあがった3次メッシュファイルから同じ2次メッシュに属するファイルを
集めて,100×100の行列を作る
4.このとき海の上かなんかで,もとのファイル(国土数値情報の統一フォー
マット)にデータのない領域については,別途作成しておいた10×10のゼロ行列
をコピーして穴を埋める(コピーしたゼロ行列を3次メッシュコード名で保存する)
5.できあがった100×100の行列をファイルに書き込み,ファイル名を2次メッ
シュコードで保存する。
6.最後に,できあがった2次メッシュファイルから同じ1次メッシュに属する
ファイルを集めて800×800の行列を作成する
8.3次メッシュファイルを結合したときと同じように,2次メッシュデータのな
い領域については,別途作っておいた100×100のゼロ行列で埋める
9.最後にヘッダ部分にデータの範囲(北端,南端,西端,東端,行数,列数,
ヌルデータの値)
を計算して記入する(例えばこんな感じ
10.GRASSに読み込めば完成!!

何とも伝わりにくい表現ですみません...

要はデータから3次メッシュの行列を作成・結合して2次メッシュの行列を作り,
さらにこれを結合して1次メッシュのデータ行列を作るということ!

でもこれには大きな穴があってさらに一工夫をする必要があった。
それは,一つのフォルダに格納できるデータファイルの数である。
どうやら一つのフォルダには6000だか60000だか(詳しいことはもう忘れてし
まった)しかファイルを格納することができないらしく,3次メッシュのデータ
行列を作ろうと思うと全部保存することができない。
ということで,作ったそばから消していくことが必要になる。
これは2次メッシュのデータ行列を作成したところでやらないといけない。

というわけでデータを整形するときに,まず同じ2次メッシュに属する3次メッ
シュファイルを作成して,2次メッシュの行列を作成してから,次の2次メッシュ
コードに移る。という作業になる。

なんだかごちゃごちゃいってても訳が分からんので,詳しくはスクリプト(bash)を読んでください。

3つのスクリプトがありますが,方法は3つをダウンロードして実行権限を与え,mesh1.shを実行するだけです。

この流れで整形することで,一応目的の流域のラスターデータを作ることができ
ます。

余談ながら,このスクリプトを走らせるとCPUの50%ぐらいを使って,作業が終わ
るまでに約6日間かかるそうな...
ああ恐ろし...

なので私は2次メッシュ行列を作るところまでの作業を3つのスクリプトで並列
して行い,CPUを100%稼働させて約4日ぐらいで終わりました。

めでたしめでたし!!

あとは1次メッシュを結合させて日本全国の流域データを作るとしよう!

2009年6月1日月曜日

山梨のとある山の中(2回目)

またまた実習のお話

今回はかなりイレギュラーな日程で,実習地にほぼ通勤状態であった。
先週は木曜日からかなり天気が悪く,常に雨が降っている状態だったけど,なぜ
か実習地では2日間とも晴れてくれた!

今年も晴れ男なのかも!

さてさて今回咲いていた花はこんなかんじ

キンラン
ギンラン
ツクバネウツギ
ウツギ
タチドコロ
マルバウツギ
ニガナ
ハナニガナ
ホソエカエデ
ヒトツバカエデ
コゴメウツギ
マムシグサ
サワフタギ
などなど

やっぱりズミやウワミズザクラ,ミヤマザクラ,カマツカ,ミヤマアオダモなん
かは終わってしまって花は残ってなかった。

いつものことだけど後半の実習の学生に残念だよな〜

次回はもうアジサイ(コアジサイ,タマアジサイ,ヤマアジサイ,イワガラミ,
ツルアジサイ,ノリウツギ,ガクウツギ)が咲く季節ですね〜!