趣味で計算流砂水理

Computational Sediment Hydraulics for Fun

QGISでSAGAが動かないときの対処法:windows10-64bit環境

最近は仕事モードになってきて、以前ぶっ飛んだPCの環境を整えてます。

めずらしく備忘録的にあげておきます。

私はなぜかSAGA(System for Automated Geoscientific Analyses)が好きで、QGISで処理をするときは、ほとんどSAGAプラグインを使います。 先日PCがとんだので、QGISをインストールし直したら、SAGAが全然動きませんでした。 で、そのときの対応方法です。

QGIS SAGAのエラー

https://gis.stackexchange.com/questions/209902/problem-with-saga-in-qgis-2-14-6

によると、SAGA2.2.3までしか対応していないとのことです。私がインストールしたQGIS2.18 64bitでは、SAGA2.3.2でした。

修正方法1 ⇒ 駄目でした。

上のサイトにあるように、SAGAをプラグインを2.2.3に変更すれば良いと考えて、2.2.3をダウンロードしてきて、プラグインディレクトリを差し替えてみました。

でも、全く動きませんでした。ちなみに、QGIS2.14では、この対応により解決しました。

修正方法2

https://gis.stackexchange.com/questions/217414/saga-algorithms-not-working-on-qgis-2-18-on-mac-osx

にあるように、saga コマンドの変更により、"INTERPOL"が"RESAMPLING"が変更になったようです。それが、プラグインに反映されていないことが原因です。

なので、上記サイトを参考に修正しました。

  1. 対象フォルダに移動

私の環境では以下でした。

c:\OSGeo4W64\apps\qgis\python\plugins\processing\algs\saga\

  1. bashで以下を実行
mv description description_old
mkdir description
cd description_old
for i in *.txt; do sed "s/|INTERPOL|/|RESAMPLING|/g" $i > ../description/$i ; done

こんなときは、bashが便利ですね。

以上でSAGAが使えるようになりました。

seabornで日本語表示

何かとバタバタしていて全然書けないです。 今月は書きます。

seabornで日本語表示

windowsが変わるごとにフォントが変わるのでもう大変です。 多分この方法が一番ラクかなと思います。

ここを参考にしました。

  • ここからIPAexフォントをダウンロードします。
  • 解凍し、C:\Anaconda3\Lib\site-packages\matplotlib\mpl-data\fonts\ttfにコピー

これだけで、下準備はO.K.です。

後はpython上で

import seaborn as sns
sns.set(font='IPAexGothic', context='notebook', font_scale=1.5, style="whitegrid", palette="deep")

として、普通にmatplotlibでグラフを書けばO.K.です。

windows10と同じ、Yu Gothic UIのttf場所が全然わかりません。

Upwind Flux Schemeの問題点と修正

  • 2d Upwind Flux Schemeの計算で厳しい条件の場合、全然回らなくて苦労していたのですが、1dでいろいろテストして、ようやく見つけました。

  • Upwind Flux Schemeに限ったことではないですが、水面の不連続面が出てきた場合、厄介なことになります。コロケート格子特有かもしれませんが、下のgifのように水面はなんとか解けますが、どんどん水が増えてしまいます。

f:id:SedimentHydraulics:20170928205415g:plain

  • そこで、水面と河床高の関係より、不連続面を判断し、そこの運動量フラックスをキャンセルすることにより、連続性は確保されるようになりました。また、二次元でもテストしてみます。

f:id:SedimentHydraulics:20170928205504g:plain

  • 一次元だとここまで急変する断面はないですが、平面二次元だと普通にでてくるので、注意が必要です。とゆうか、こうゆう話ってどこにも書いてないですよね。あえて挙げると以下を参考にしました。

http://www.impact-project.net/publications/wp3_pub7.pdf

  • さくっと書いてますが、見つけるまでに相当苦労しました。最初はドライベッドの問題だと思い、そこばかりを気にしていたのに全然違いました。

gist4faa1ea740856745c1892422d06de8fd

続:改めて不等間隔格子の河川流一次元計算

冷静に考えたら、座標変換ですね。

基礎式です。


\frac{\partial A}{\partial t} + \frac{\partial \xi}{\partial x}\frac{\partial Q}{\partial \xi} = 0


\frac{\partial Q}{\partial t} + \frac{\partial \xi}{\partial x}\frac{\partial }{\partial \xi} \left( \frac{Q^2}{A} \right) = -gA\frac{\partial \xi}{\partial x}\frac{\partial H}{\partial \xi} -gAI_e


\frac{\partial \xi}{\partial x} = \frac{1}{\Delta x_{i+1} + \Delta x_{i}}\left(\frac{ \Delta x_{i}}{ \Delta x_{i+1} }(\xi_{i+1} - \xi_{i} ) + \frac{ \Delta x_{i+1}}{ \Delta x_{i} }(\xi_{i} - \xi_{i-1} )\right)


\Delta x_{i+1} = x_{i+1} - x_{i}


\Delta x_{i} = x_{i} - x_{i-1}

実河川の問題では必須のような気がします。

今度テスト計算をしてみます。

改めて不等間隔格子の河川流一次元計算

改めて河川流一次元計算を考えていると、計算格子の定義点が測量点で決まるという一般的な流体解析ではあり得ない状況です。

顕著な不等間隔の場合、コロケート、スタッガードに関わらず、コントロールボリュームが以下のようになってしまいます。

f:id:SedimentHydraulics:20170826212244p:plain

なので、観測点が全然セルセンターになりません。あまり気にせず計算していましたが、やっぱりまずい気がします。

いっそのこと、以下のようにしたほうが良い気がします。

f:id:SedimentHydraulics:20170826212236p:plain

良い検証材料があればチャレンジしてみようかと思います。

いろいろ

地理院地図とdeep learnning

http://ccpn.gsi.go.jp/meeting_partners/data/20170608/4.pdf

この前話そうと思っており、忘れてました。 deep learnningの部分を抜きにすると、公開データを一括処理でやっちゃうあたりは、我々がやりたいことと少し近いような気がしてます。 物理モデルと公開データを組み合わせて何かやりたいですね。

環境構築

c++の開発環境で、VC++って話をしていましたが、あえてのBash on windowsはどうでしょうか。もうすぐ、Fedora版がでるので、それで開発するとcentOSとの相性も良いのかなと。gccになるけど科学技術計算+αを書くだけなら十分でしょう。cmakeとか使いたいです。

例のもの

http://www.pref.shizuoka.jp/kensetsu/ke-830/numagawa/gaiyo/

まだ作ってないみたいです。ほんとにこんなにうまく流れるのかな。

twitter連携

始めて見ました。情報は共有してます。基本的には、ブログで書くほどもないことを上げようかなと。

勉強会での話

並列化

大きなプログラムを書きたいため、並列化の勉強をしているですが、気になる内容がありましたので、列挙しておきます。

ハイブリッド並列化

最近の主流っぽいですね。MPI+openmpが基本で。MPIで分割したものに、openmpで並列化をかけるようです。情報はお持ちでしょうか。

ポインタ配列の並列化

ポインタ配列って並列化できないのかなって思ってましたが、openmp3.0からサポートしているようです。

以下のp.36参照。ただし、Cだけっぽいですね。

http://jp.xlsoft.com/documents/intel/seminar/openmp20161202/OpenMP45_2016_Dec_JA_Final.pdf

openmpはMPIと比較して、いろいろと小回りがきくので、ハイブリッド並列化は良いような気がします。

意思決定の自動化

http://jpn.teradata.jp/library/ma/ins_17.html

最近検索に引っ掛かり、気になってます。 いづれは、私のような仕事もこうゆう世界になるのかなと思ってます。 問題解決のために必要な物理モデルの決定から、得られた解より対策を決定する過程が自動化されると仕事がなくなっちゃいますね。 でも、物理モデルを書ければ仕事はあるのかなと。

関係ない話

ちょっとしたことからPCを初期化しました。 インストールに気になったことを忘れないように書いておきます。

Windows 10 Creators Update

結構大幅に変わりましたね。まだ、使いこなせてないです。

vscodeのextensionが入らない

http://qiita.com/KuwabataK/items/f044b037bde50afbbca6#_reference-26d5b85ec3d8b2eafc11

proxy環境下でのバグっぽいです。とりあえずコマンドラインから対応。

visual studio comminityを入れると

勝手にanacondaがインストールされてました。node.jsも入るので、こっちのほうが楽かもしれないですね。ただし、15GBくらいありますが。