趣味で計算流砂水理

趣味で計算流砂水理 Computational Sediment Hydraulics for Fun Learning

数値計算とか河川工学とかプログラミングのことを書いています

MENU

numbaによる並列化の検証:水深平均二次元流計算を例に

R

以前の記事:ALB測量を使って水深平均二次元流計算をすると凄い結果がでた - 趣味で計算流砂水理の計算速度についてのメモです。 numbaによる並列化の話です。numbaについては以下を参照下さい。 numba.jit解説1 : 単純な反復計算の高速化 - 趣味で計算流砂…

hologridgenでサクッと計算格子をつくる

R

最近githubで見つけたhologridgenというpythonモジュール(後述)を使うと、なんと以下の3手順で計算格子が作れました。(作業時間3分程度) 手順1:計算範囲のアウトライン(図中、緑線)を作成 手順2:ノードの属性(後述、図中、赤、青、中抜きの〇)を設…

備忘録:WSL2でjupyter notebook起動時にエラーが出る時の対応

R

リンクから該当箇所を抜粋しました。 Jupyter Lab error out in Windows Subsystem for Linux (WSL2). · Issue #172 · dotnet/interactive · GitHub jupyter_notebook_config.pyを作成 jupyter notebook --generate-config # Writing default config to: /ho…

ALB測量を使って水深平均二次元流計算をすると凄い結果がでた

R

解像度が高過ぎてレンダリングが追いつかない。。。。 この記事のポイント ALB地形を使った超高解像(2.5m間隔、430万メッシュ)の水深平均二次元計算を実施 局所的な流況を再現可能。土砂水理、環境水理の分野では特に重要な知見が得られる オープンデータ…

備忘録:wordで急に文字入力ができなくなる原因がGoogle日本語入力っぽい

R

wordで急に文字入力ができなくなる原因がGoogle日本語入力っぽい。 Microsoft Wordを使用していると文字入力ができなくなるトラブル WindowsのWord(ワード)で文章が入力ができなくなったときの対処法 | complesso.jp 昨年は何回もこの現象が起こっていて毎…

計算機のスペック:BTOパソコン

R

普段使っている計算専用機のスペックです。 CPU : Intel(R) Core(TM) i9-9900K CPU @ 3.60GHz 第9世代 RAM : 64 GB OS : Ubuntu 18.04

備忘録:webページ内の動的iframe内のデータをスクレイピングする

R

webページ内の動的iframe内のデータをスクレイピングする方法のメモです。 サンプルwebサイト 河川屋さんにはお馴染みの水文水質データベースより水質・底質のデータをサンプルとしました。 http://www1.river.go.jp/cgi-bin/DspWquaData.exe?KIND=1&ID=4040…

備忘録:WIFIのドライバーが壊れた時の対応

R

Hyper-Vの設定をいじりまくっていたらなぜかWIFIドライバーが壊れてしまいました。その時の対応です。 WIFIドライバーを削除 NEC LAVIE公式サイト > サービス&サポート > Q&A > Q&A番号 018281 WLAN AutoConfigサービスを自動化 【Windows 10】 WLAN AutoCo…

備忘録:ubuntu計算メモ

R

sshでつないで計算を回すときのよく使うコマンドです。日常使いする方なら誰でも知っていることですが私がすぐに忘れるだけので。 バックグラウンドでジョブを実行 nohup nohupを使ってsshログアウト後もシェルスクリプトを動かす - Qiita CPU使用率を確認 t…

雑談:モデルナワクチン2回目の経過報告

R

モデルナワクチンの2回目を摂取したので経過報告です。 この記事の要点 接種日の次に日は結構きつかった でも接種日の次の日のみで回復 8月2日の11時頃に接種したのでその後の経過です。 接種後14時間後:午前1時 若干腕の痛みはあるが特に問題なく、普通に…

備忘録:Excelのパスワードによるシートの保護やブックの保護をさくっと解除する

R

解析ソフトも販売しているようですが、こういう意味のないパスワードはソースをいじってさくっと解除しましょう。 [ブックの保護]や[シートの保護]のパスワードを忘れてしまったら | Excel 2019 | 初心者のためのOffice講座 処理をpythonで実装したもの…

備忘録:Pyviz Panelでファイルインプット、アウトプットを実装する

R

Panelでファイルインプット、アウトプットを実装しました。 これがあるとWebアプリを作るときに活用できます。 でも、なかなか癖が強いですね。 今回はjsonファイルを例に取り扱っています。 テキストファイルと画像ファイルは、同様に実装できるようです。 …

雑談:日本の夏は暑くなったのか

R

最近暑過ぎて頭がおかしくなったので、かつてより日本の夏は暑くなったを調べてみました。 任意地点の気温データの分析 気象庁の観測データより、神戸地点 のデータを用いて分析を行う。 (なぜ神戸かというと子供の頃に住んでいたからです。) 上記データよ…

備忘録:pandas DataFrameに含まれる文字列データの抽出、処理

R

観測データ等をpandasで取り扱う場合に欠測値等が文字列になっていることがよくあります。 この処理が結構苦労するのですが、現時点での最良案をまとめます。 もっと良い方法があれば教えて下さい。 サンプルデータ サンプルデータは以下の気象庁の公開デー…

自然河道断面の浅水流近似一次元流モデル

R

ようやくまとめることができたので記事にします。 この記事のポイント 実河川の一次元計算モデルの構築:ソースコードあり 断面諸元の計算をクラス化するとコーディングは簡単 pythonは科学技術計算に使える 支配方程式のソースコード 実河川の計算例 対象河…

河道断面データの編集ツールを適当に作った

R

この手のものを作ったのは何パターン目だろうか。。。 大量のデータ処理が必要だったので作りました。出来は過去1かも。 グラフとテーブルを並べてどちらでも編集できるようにしました。 使い込んでバグが取れたら公開しようかなと。 河川のデータは、元デー…

地理情報付きラスタ画像から任意座標のデータを抽出するpythonスクリプト

R

最近よく使うスクリプトなので備忘録的にまとめました。 この記事のポイント ラスタ画像から任意座標のデータの抽出はrioxarrayを使うと超簡単 この手の方法は航空機、ドローン等の高密度測量データから計算データセットを作成する際には必須 environment サ…

最近読んで真似したいと思った河床変動計算の論文

R

研究会お疲れ様でした。 最近読んで真似したいと思った河床変動計算の論文を共有しておきます。 三次元元計算 + 河床変動 www.sciencedirect.com 少し話しましたが流れの三次元元計算と河床変動計算(多分平面二次元)で流路の出現、消失を計算してます。 か…

強調用のcssを導入しました

R

以下のサイトを参考に強調のcssを導入しました。 はてなブログで文章を枠で囲むカスタマイズ - Random Life Blog 【CSS】おしゃれなボックスデザイン(囲み枠)のサンプル30 以下のように記事に書くと、 <div class="box27"> <span class="box-title">ポイント</span> <p>ここに文章</p> </div> こんな感じに表示されます。 …

質問回答:HoloViewsの使い方について

R

以下のような質問を頂いたので回答します。 HoloViewの使い方等はどこで勉強されたのでしょうか?良質な参考書等はございますでしょうか? 質問の回答 それでもHoloViewsは魅力的 こんな人にはHoloviewsが向いてないかも Pythonが書けない オブジェクト指向…

岸・黒木による実験式を修正する

R

実験式修正シリーズの第2段として、前回の岩垣の式(岩垣による限界掃流力の式の不連続部を解消する - 趣味で計算流砂水理)に続いて、河床波の遷移と有効掃流力と無次元有効掃流力の関係を示した岸・黒木による関係式(水理委員会移動床流れの抵抗と河床形状研…

オープンデータのALB測量よりjupyter上で陰影図を作成する

R

こんなのを作りました。 モチベーション 使用データ グリットテキストデータよりgeotiffを作成 陰影図を作成 図化 github モチベーション グリーンレーザありのALB(Airborne Laser Bathymetry)に河川測量成果について、 九頭竜川(code:8606070001) 、那賀川(…

pythonの高速化の基礎:二次元配列の処理を例に

R

結論:何も考えずnumbaを使え。 モチベーション テストケース 計算結果一覧 基本ケース リスト内包表記 スライス スライス ケース2 numba numba + リスト内包表記 numba + スライス おまけ おまけ1:配列へのアクセスは結構時間がかかる おまけ2:ループの順…

WSL2で外部ネットワークにつながらない理由がSymantec Endpoint Protectionだった話

R

気付くのほぼ1日かかってしまいしました。 pingが通るのにwgetやupdateがつながらなくて、いろんな方法を試したのですが、その原因がまさかのSymantec Endpoint Protectionでした。 WSL2のUbutnu18.04 LTSでapt updateするとconnection timed out Could not …

河川横断測量成果のフラグの説明

R

河川横断測量成果では、下のように横断座標値の前に整数型のフラグがついています。 -0.200,-200.000,3.279,1.374,-9999.000,-9999.000,52,-9999.000,-9999.000,-9999.000,0.000,0,20121105,8101010001,天塩川水系,天塩川 0,-18.000,1.980 0,-9.800,2.040 0,…

欠損したグリッド標高テキストデータからgeotiffを作成するpythonスクリプト

R

とてつもなくユーザーが少ない話ですが。。。 目的 ファイル名から図郭北西座標を取得 元データをラスタ用の二次元配列に変更 データをgeotiff化 おまけ:VRTファイルの作成 Environment 目的 航空測量成果に納められているグリッド標高テキストデータは、 …

備忘録:numba.jitclassのロード方法が変わった?

R

以前に以下の記事でも書きましたが、numbaによるクラスの高速化に使用するjitclassのロード方法が変わったようです。 computational-sediment-hyd.hatenablog.jp 以前のnumba 0.46.0では、 from numba import jitclass でロードできましたが、最新のnumba 0.…

備忘録:地理院タイルをQGISに読み込む

R

すぐに忘れるので備忘録として残しておきます。 地理院タイルをQGISに読み込む場合は、githubで公開されている公式のwmtsをロードしておくと便利です。 github.com WMTSメタデータ: https://gsi-cyberjapan.github.io/experimental_wmts/gsitiles_wmts.xml …

河川断面データ処理ツールの開発:途中段階

R

GUIの作成はつらいな。。。アホほど時間がかかる。 参考サイト Param subobjects — Panel 0.11.3 documentation Param — Panel 0.11.3 documentation Parameters and Widgets — PyViz 0.10.1a3 documentation Dynamicmap — HoloViews 1.14.4 documentation C…

備忘録:パソコンの画面をgif化

R

ストアからインストールできるようになっていました。 forest.watch.impress.co.jp