R, Python, DB 備忘録

データベースとか、jupyter(Python)、Rとか色々

Bluetoothが使えなくなった(デバイスとして認識されていない)とき

通知領域にアイコンがない、とかそういう状態ではなく、パソコンとしてBluetooth機能を認識していない状態。 対処 自分の場合うまくいったのは、完全シャットダウン キーボードのShiftを押しながら、シャットダウンする。

man(マニュアル)だけ日本語で表示したい

基本は英語表記にしつつ、マニュアルのような分量の多いところだけ日本語で読みたいというわがまま 方法 -Lオプションを使う。 $ man -L ja_JP command コマンドによっては日本語訳がないものもあります。

Warning: Key is stored in legacy trusted.gpg keyring(apt-key非推奨)

警告の内容 Ubuntu 22.04から、sudo apt update実行時に下記が表示される(ことがある)。 Key is stored in legacy trusted.gpg keyring (/etc/apt/trusted.gpg), see the DEPRECATION section in apt-key(8) for details. 原因 webminインストール時に公開…

Canon LBP3000をUbuntu 22.04で使う

以前、Canon LBP3000をUbuntuで使う、という記事を書きましたが、Ubuntuを22.04(Jammy Jellyfish)にしたら同じ手順を踏んでもプリンターがうんともすんともいわなくなってしまいました。CUPSを見ると、「CCPD: Connection Refused」と出ていますが、所詮は素…

radikoの録音アプリをGCPのAppEngine上でやっと動かせた話

ラジオを録音したいわけです。自宅PCは電源のオンオフがあるので、できればクラウドサービスを使いたい。 らじる☆らじるに関しては、まあまあうまくいったのですが、radikoが難関でした。 サービス らじる☆らじる radiko AWS Lambda ○ × AWS EC2 ○ ○ GCP Clo…

pandas only support SQLAlchemy connectable

現象 いつのバージョンアップからかはよくわからないが、最近pandasの最新版をインストールしたところ、接続情報conにpyodbcのconnectionを使うとタイトルのUserWarningが表示されるようになった。 再現イメージ import pandas as pd import pyodbc cnxn = p…

(Windows10/IME不具合)スペースキーを押しても変換候補が表示されない

現象 タイトルのまま。 Googleの検索ボックスに入力しようとしても、メモ帳で何か書こうとしても、2つ目以降の変換候補が出てこない。 自分は「~~宛」、というのを書こうとして「あて」を変換したのだが「充て」にしかならない。 原因 IMEのバージョンアッ…

VairbleInspectorインストールメモ

jupyter labの拡張機能であるVariableInspectorをインストールする際にいくつか詰まった点 インストールのためのメモ インストールのための必要条件 git拡張を外す pip uninstall jupyterlab-git gitdb GitPython latex拡張を外す:自分の環境には入っていな…

Lubuntu 20.04 自宅サーバー構築メモ

全部きちんと書くと大変なので、とりあえずは自分用に殴り書き 少しずつ正確な手順に書き換えていきたい... 目的(用途) 環境 OSインストール 初期準備 ファイアウォールの有効化 日本語環境 リモートデスクトップ(RDP) VPNサーバー(サーバー側) ダウン…

AWS LambdaのLayer

Layerとして、Pythonパッケージを用意する場合のメモ 環境 Ubuntu 20.04 LTS 手順 Layerに用意したいパッケージ群をpipでフォルダを指定してインストールします。(ただ、所定のフォルダにインストールしていないので、このままpythonを起動しても使えるわけ…

ChromeRemoteDesktopを入れたらリアル端末の方からログインできなくなった。

現象 自宅のデスクトップPCにChromeRemoteDesktopをインストールして、iPhoneアプリのChromeRemoteDesktopを使ってリモートアクセスして以降、デスクトップPCでログインしても操作が一切効かない。 ただ、ログインがはじかれるというより、ログインはできて…

クラウドの怖い話と権限管理

最近GIGAZINEでこんな記事を読みました。 gigazine.net自分は個人利用だし、使っているサービスも非公開ばかりですので高を括っていたところはあるのですが、真剣に怖くなりましたね。 そして今更ながらググってまずはAWSの権限とかアラートとかを少しきちん…

rename tips(連番etc)

準備 renameをインストールしていなければ導入 sudo apt install rename 使い方 基本的な使い方は rename 置換する文字列 置換後の文字列 ファイル名1 ファイル名2 ...ですが、これだと、拡張子を変更しようとすると怒られるし、使い勝手がよくない。vimの正…

ファイル名からカッコ()を取り除く方法

rename -n 's/\(|\)//g' *[]も取り除くなら rename -n 's/\(|\[|\]|\)//g' * n をつけて実行前に確認しておくほうが安全

lubuntuで起動時Numlockを有効にする

lubuntu 20.04で確認済み下記設定ファイルを編集する。 /etc/sddm.conf 以下を追加 [General] Numlock=on

VirtualBoxでUSBからブートする

何度もやっているのにいつも忘れてしまう。 設定しなければいけないことは次の3つ。 Extension Packの導入 Downloads – Oracle VM VirtualBox この中の2段目くらいにある。(VirtualBox 6.1.22 Oracle VM VirtualBox Extension Pack) vboxusersグループに…

エクセルのセル入力時、1文字目が勝手に確定されてしまう

現象 Excelのセルに入力するとき、「ふぁいる」と入力したつもりが「fあいる」となったり、「ようせい」と入力したつもりが「yおうせい」となる非常に鬱陶しい現象。 原因 外部データ接続を構成しているブックにおいて発生。 「クエリと接続」のクエリのど…

Canon LBP3000をUbuntuで使う

自宅PCをWindowsからUbuntu(正確には lubuntu)にしてしばらく経ちますが、プリンタの設定だけがうまくいってなくて、印刷したいときはデュアルブートでWindowsを立ち上げるという苦行をやっていました。 プリンタが認識はされるものの、ccp send_data erro…

Uninstalled Core Extensionsに残るゴミ

JupyterLab Extensionがアンインストールできない? 一般的な話、というより、自分の場合はもっぱら@axlair/jupyterlab_vimで起きた話なんですが。 ※念のため、上記の拡張機能(Vim keybindings)はたぶん悪くないです。 現象 普通は、jupyterlabのExtension…

lubuntu/ubuntuを入れたノートPCでUSB-NICを認識しない

数年前に福袋で買ったHP Stream。 元々はWindowsが入っていたが、スペック不足なのでlubuntu 18.04を入れて使用中。 ノートなので基本Wifiなんですが、ルーターから離れた部屋で使うことが多く、コンセントLAN(PLC)を試してみようと思い、USB-NIC(Elecom,…

Rでは(まだ)parquetファイルが読み込めない

PythonでのDataFrameの保存方法としてCSVは卒業してparquet+zstdにしようと思っているのですが、どうやら日本語環境のWindowsだとRで読み込めない模様 Rのarrowパッケージのread_parquetでparquet形式ファイルは読み込めるはずですが、フリーズしてしまいま…

0除算によるRuntimeWarningを回避する

numpyでゼロ除算をしたときにはRuntimeWarningが発生する。 1回くらいなら気にすることもないが、ループで大量に発生するのはちょっと(かなり)鬱陶しい。 c:\users\<省略>\lib\site-packages\ipykernel_launcher.py:19: RuntimeWarning: invalid value enc…

AWS - Athena:スイッチロールする場合のODBC設定/DBeaver(JDBC)設定

前提 IAMユーザーとしてログイン S3やAthenaを使うときはスイッチロール アクセスキーは付与されている Profileファイルの作成 %UserProfile%\.aws\に認証用プロフィールcredentials(拡張子なし)を作成 記載内容は下記の通り defaultとしてアクセスキーとシ…

ERROR: could not stat file "XX.csv": Unknown error

現象 PostgreSQL 11, 12 で4GB超のファイルをCOPYしようとすると、上記のエラーが出てバルクロードに失敗する。 原因 fstatというプログラムが走るが、そのプログラムが32bitプログラムのため4GB超のファイルに対応できない。 対応 PostgreSQL 10を使う。ま…

データ操作まとめ(R dplyrとPython pandasで)

irisデータセットを使ってRとPythonのデータフレームの操作方法の比較 バージョン 準備 R Python (列の)選択 R Python 抽出(filter) R Python カテゴリ化 R Python 集計 R Python 集計値を新規カラムとして追加 R Python バージョン R R 4.0.2 dplyr 1.0.1 P…

MonetDBクライアントで読み込む外部スクリプトはBOM付にしておく

MonetDBに絡むファイル(データCSVやその他諸々)はUTF-8にしておけば問題ないと思っていた。 (実際、ここを始めとしてMonetDB.orgの色々なところに書いてある。)しかし、罠があった。 それは、BOM無しのUTF-8のスクリプトファイル(.sql)の2バイト文字を…

PowerPointでプログラムコードを書くとクォーテーションが勝手に変更される問題

内容 PowerPointで、例えば Select var1, sum(var2) from dt where var3 = 'X' のようなコードを入力すると Select var1, sum(var2) from dt where var3 = ‘X’ にされてしまいます。これはシングルクォーテーションの場合ですが、ダブルクォーテーションでも…

MonetDB+R:入力文字列 5 はこのロケールでは不適切です

内容 ポピュラーなDBは使っているOSに合わせたエンコーディングで結果を返してくれるがMonetDBはUTF-8固定 なので、RODBCをオプションなしで使うと文字化けが発生する。 Warning message in FUN(X[[i]], ...): " 入力文字列 5 はこのロケールでは不適切です …

Python+jupyterの並列処理

つい最近Pythonの並列処理について書いたばかりなんですが rpy.hatenablog.comjupyter上で並列処理ができるipyparallelを使ってみたので、導入から簡単な使い方までまとめました。 ipyparallelは、単一マシン上のマルチプロセスだけでなく、分散コンピューテ…

pipenv install でエラー:仮想環境が作れない

内容 下記のエラーが出て仮想環境がインストールできない。 AttributeError: 'NoneType' object has no attribute 'version_sort' 解決法 pipenvのバージョンを2018.11.26に下げる。 参考 github.com