現象 いつのバージョンアップからかはよくわからないが、最近pandasの最新版をインストールしたところ、接続情報conにpyodbcのconnectionを使うとタイトルのUserWarningが表示されるようになった。 再現イメージ import pandas as pd import pyodbc cnxn = p…

前提 IAMユーザーとしてログイン S3やAthenaを使うときはスイッチロール アクセスキーは付与されている Profileファイルの作成 %UserProfile%\.aws\に認証用プロフィールcredentials(拡張子なし)を作成 記載内容は下記の通り defaultとしてアクセスキーとシ…

現象 PostgreSQL 11, 12 で4GB超のファイルをCOPYしようとすると、上記のエラーが出てバルクロードに失敗する。 原因 fstatというプログラムが走るが、そのプログラムが32bitプログラムのため4GB超のファイルに対応できない。 対応 PostgreSQL 10を使う。ま…

SQLクライアントとしてDBeaverを使っています。 手動コミットモードでも Read Uncommitted を選ぶと、コミット前の変更が確認できて便利なのですが、接続先がMonetDBの場合、この項目がありません。 MonetDBの仕様なんでしょうね。

MonetDB(https://www.monetdb.org/)はWindows環境でフリーで使える（おそらく）唯一の列指向DB（Columnar Database） DockerでMariaDB ColumnStoreやPostgreSQl+CFWも試したがMonetDBのがスピード優位 マイナーな印象あるが、Tableauにも対応 なお、ODBC接続…

MonetDB dumpコマンドはないが、データベース作成時に圧縮CSVを直接bulk loadすることができる。 bz2形式に対応 PostgreSQL カスタム形式（圧縮あり） pg_dump -U postgres -d postgres -Fc --schema=***<スキーマ名> > ***.dump<ダンプファイル名> ダンプフ…

レジストリ データディレクトリはレジストリで設定 postgresql.conf 作業用メモリの割当 shared_buffers = 512MB # min 128kB work_mem = 1GB # min 64kB maintenance_work_mem = 1GB # min 1MB 接続許可 listen_addresses = '*'詳細は pg_hba.conf で設定 p…

my.ini データディレクトリ datadir= 暗号化プラグイン default_authentication_plugin=caching_sha2_password 接続するアプリケーションによっては対応していないこともある。そのときは mysql_native_password デフォルトのストレージエンジン 指定しない…