R, Python, DB 備忘録

データベースとか、jupyter(Python)、Rとか色々

Windows

Bluetoothが使えなくなった(デバイスとして認識されていない)とき

通知領域にアイコンがない、とかそういう状態ではなく、パソコンとしてBluetooth機能を認識していない状態。 対処 自分の場合うまくいったのは、完全シャットダウン キーボードのShiftを押しながら、シャットダウンする。

(Windows10/IME不具合)スペースキーを押しても変換候補が表示されない

現象 タイトルのまま。 Googleの検索ボックスに入力しようとしても、メモ帳で何か書こうとしても、2つ目以降の変換候補が出てこない。 自分は「~~宛」、というのを書こうとして「あて」を変換したのだが「充て」にしかならない。 原因 IMEのバージョンアッ…

VairbleInspectorインストールメモ

jupyter labの拡張機能であるVariableInspectorをインストールする際にいくつか詰まった点 インストールのためのメモ インストールのための必要条件 git拡張を外す pip uninstall jupyterlab-git gitdb GitPython latex拡張を外す:自分の環境には入っていな…

Rでは(まだ)parquetファイルが読み込めない

PythonでのDataFrameの保存方法としてCSVは卒業してparquet+zstdにしようと思っているのですが、どうやら日本語環境のWindowsだとRで読み込めない模様 Rのarrowパッケージのread_parquetでparquet形式ファイルは読み込めるはずですが、フリーズしてしまいま…

AWS - Athena:スイッチロールする場合のODBC設定/DBeaver(JDBC)設定

前提 IAMユーザーとしてログイン S3やAthenaを使うときはスイッチロール アクセスキーは付与されている Profileファイルの作成 %UserProfile%\.aws\に認証用プロフィールcredentials(拡張子なし)を作成 記載内容は下記の通り defaultとしてアクセスキーとシ…

ERROR: could not stat file "XX.csv": Unknown error

現象 PostgreSQL 11, 12 で4GB超のファイルをCOPYしようとすると、上記のエラーが出てバルクロードに失敗する。 原因 fstatというプログラムが走るが、そのプログラムが32bitプログラムのため4GB超のファイルに対応できない。 対応 PostgreSQL 10を使う。ま…

MonetDBクライアントで読み込む外部スクリプトはBOM付にしておく

MonetDBに絡むファイル(データCSVやその他諸々)はUTF-8にしておけば問題ないと思っていた。 (実際、ここを始めとしてMonetDB.orgの色々なところに書いてある。)しかし、罠があった。 それは、BOM無しのUTF-8のスクリプトファイル(.sql)の2バイト文字を…

MonetDB+R:入力文字列 5 はこのロケールでは不適切です

内容 ポピュラーなDBは使っているOSに合わせたエンコーディングで結果を返してくれるがMonetDBはUTF-8固定 なので、RODBCをオプションなしで使うと文字化けが発生する。 Warning message in FUN(X[[i]], ...): " 入力文字列 5 はこのロケールでは不適切です …

Python+jupyterの並列処理

つい最近Pythonの並列処理について書いたばかりなんですが rpy.hatenablog.comjupyter上で並列処理ができるipyparallelを使ってみたので、導入から簡単な使い方までまとめました。 ipyparallelは、単一マシン上のマルチプロセスだけでなく、分散コンピューテ…

Pythonの並列処理(マルチプロセス)

Rで並列処理といえばforeach 並列じゃない場合の繰り返しにも使いやすい上に気軽に並列化できる、神ライブラリと言って良いと思う。(2020.12.18追記)最近はRayという素晴らしいライブラリができて非常に簡単に分散処理ができるようになっていたのですね。 do…

無料の列指向DB「MonetDB」

MonetDB(https://www.monetdb.org/)はWindows環境でフリーで使える(おそらく)唯一の列指向DB(Columnar Database) DockerでMariaDB ColumnStoreやPostgreSQl+CFWも試したがMonetDBのがスピード優位 マイナーな印象あるが、Tableauにも対応 なお、ODBC接続…

jupyterで日本語

jupyter環境では特に設定しないとグラフの日本語(軸ラベル等)が□に文字化けしてしまう。 日本語を表示する方法について整理 この設定はAnacondaを使っている場合なので純粋なPythonの場合は適宜パスを読替え Python matplotlib の設定ファイルを修正~~~\Li…

特定の文字を入力するとIRkernelがフリーズする

現象 日本語Windows、つまり文字コードShift-JIS(CP932)環境下のjupyter+Rで特定の文字を表示しようとするとフリーズする。 Windows(Shift-JIS)+jupyter+R というのがミソ。Pythonなら発生しないし、IRkernel+Linuxでも発生しない。 具体的にはSJISで**5Cと…