Python
VS CodeのPython拡張機能を使うことで，Pythonスクリプトを簡単にデバッグすることができます．これをDockerで実行中のDjangoプロジェクトで使用できるようにします． Python - Visual Studio Marketplace debugpyとVS Codeの設定 r.py launch.json Dockerで…
Djangoで作成したWebアプリケーションをCloud Runで実行して，Cloud SQL postgresに接続する負荷テストを実施していたところ，以下のエラーが発生しました． psycopg2.OperationalError: FATAL: remaining connection slots are reserved for non-replicatio…
Cloud RunでDjangoのプロジェクトを快適に実行するためのloggingについてまとめます． 実行環境 Python logging logging.Logger logging.Handler logging.Formatter logging.Filter logging.config.dictConfig DjangoのLOGGINGの設定 Cloud Logging 認証の準…
Pythonのmultiprocessingを使って，並列処理を色々とやってみて，動作を確認してみました． 環境 CPU 3.2 GHz Quad-Core Intel Core i5 macOS 10.15.7 Python 3.8.6 4個のプロセスで関数を4回並列実行する import multiprocessing import time import os def…
基本的なことですが，Pythonでディレクトリを作成する時に遭遇したエラーについてまとめます． FileExistsErrorに悩む ScrapyというPython framework にて，FileExistsErrorが100回に1回ぐらい発生する現象に遭遇しました． scrapy/extensions/feedexport.py…
何らかの時間がかかる処理を，非同期で実行するWebサービスを作成することを考えます． しばしば用いられる方法の1つに，Workerプロセスに分離する方法があります．ユーザーのリクエストに対してレスポンスを即座に返すWebプロセスと，内部で実際の処理を実…
DeepL翻訳を使って，動物の種類を増やす実験をしてみます．これはみーの友達からいただいたアイディアを検証した記事です． DeepLに日本語を入力して，英語に翻訳します． うさぎとうなぎが400匹 うさぎが1匹。 One rabbit. うさぎにうなぎを追加します． う…
タイトルの通りですが，Djangoに django-storagesとboto3をインストールして，collectstaticを実行してAmazon S3に直接アップロードを試みましたが，ParamValidationErrorが発生しました． settings.py STATICFILES_STORAGE = 'storages.backends.s3boto3.S3…
世の中Twitterなど様々なサービスがありますが，みーはRSSを使っています． Webサービスを運営する上で，使用しているパッケージの更新がないかを定期的に調べるのが面倒なので，よい方法はないかと試行錯誤した結果，PyPIのRSSを使うことにしました． 積極…
Python入門｜絶対値を求めるabs関数の使い方 という記事に，Pythonで絶対値を得る方法が解説されていました． 一般的な絶対値の求め方は対象となる数値を二乗した後に平方根を求めることで±記号を取り除きます。 そんな面倒なことをしなくても，負の数ならば…
Heroku postgresのデータベースのプランを変更する方法は以下のドキュメントにとても詳しく記載されているのですが，少し困ったことがあったので整理してみます． Upgrading the Version of a Heroku Postgres Database | Heroku Dev Center 上記の記事を補…
Pythonでは複数の変数に一括して値を代入することができます． a = b = 1 print(f"{a}, {b}. id={id(a)}, id={id(b)}") b = 2 print(f"{a}, {b}. id={id(a)}, id={id(b)}") これをPython3.8で実行すると， 1, 1. id=4347452064, id=4347452064 1, 2. id=4347…
バグの原因が分かるまでに2時間もかかったので，自分への戒めの記事です． 話を簡単にするために，4つのフルーツの名前を扱うプログラムを例に用います． fruits = set(["apple", "banana", "mango", "orange"]) print(sorted(fruits)) これをPython3.8で実…
みーが今作成しているPythonのソフトウェアが徐々にもっさりしてきたので，cProfileで原因を調べてみると，どうやらEnumがボトルネックになっていることが分かったので，Enumの速度についていろいろと検証してみました． 環境 Python 3.8.1 iMac Late 2015, …
とある文字列を処理していて，検索してもヒットしないマイナス記号があったのでUnicodeを調べたところ，Unicodeにはたくさんのマイナス記号が存在することが分かりました*1． m = [ 0x05BE, 0x1806, 0x2010, 0x2011, 0x2012, 0x2013, 0x2014, 0x2015, 0x2212…
Windows Subsystem for Linux (WSL) が便利になってきたので，Windowsで開発がしやすくなりました．Anacondaの環境を整えてみます． 環境 Windows 10 Home WSL Ubuntu 18.04 LTS Anaconda 2020.02 for Linux WSLのインストール WSL Ubuntu 18.04 LTSをインス…
Pythonで生存分析の練習をしながら統計の理解を深めるための記事です．この記事を読めば，統計のreview論文1つとPythonを用いた統計処理が追えるようになっています． Critical Care 2004, 8:389-394に書いてあることを適宜訳しながらPythonで検証します． …
Docker-in-Docker (dind) を使わないでという記事を見つけた． Using Docker-in-Docker for your CI or testing environment? Think twice. dindを使おうと思っているなら，もう一度考え直すのだ．dindはDockerそのものの開発のために作られたものなのだ．di…
JupyterでKaplan-Meier 曲線を書いてみました． 使用したデータは German Breast Cancer Study Group 2 です． datasets — lifelines 0.24.1 documentation 項目 GBSG2 function | R Documentation horTh : hormonal therapy, a factor at two levels no and…
Jupyterを使うには，Jupyterサーバーを立ち上げて，クライアントとしてブラウザーを使うのが標準です． これはこれでよくできているのですが，やはりVS Codeに慣れていると，いろいろと不自由なことが多いです．試しにVS Codeでipynbファイルを開いたら，Jup…
シングルトン とは，そのクラスのインスタンスが1つしか生成されないことを保証するデザインパターンのことであり，アプリケーション全体で1つの共通データがあればよい，という時に重宝します． シングルトンが必要になったので作ってみました． 通常のクラ…
以下は一見不可解なコードだが，Pythonでエラーせず実行される． def a(): ... assert id(a()) == id(None) assert id(1 == 1) == id(True) assert id(1 == 0) == id(False) assert id(...) == id(Ellipsis) シングルトンの組み込み定数 Pythonにはシングル…
Pythonだと100分かかる処理があったので，Rustで書き直したら4秒で処理できるようになった． その処理を実装するのに，Pythonだと10日しかかからなかったが*1，Rustだと30日かかった*2． 実装するのが大変だったが，処理速度が1500倍にパワーアップして感動…
Rustで作成したPython用のクラスがPythonのタイミングで自動的にメモリ開放されるかを確認してみました． 環境 Windows 10 Pro 64bit CPU : Core i3-7100U CPU @ 2.40GHz Memory : 12.0 GB rustc 1.42.0-nightly (2020-01-17) cargo 1.42.0-nightly (2020-01…
PythonからRustを呼び出すために，PyO3を使用します． 環境 RustでPython用のClassを作成 Cargo.toml lib.rs Pythonのlistを扱う lib.rs tuple を含む list を扱う lib.rs exceptionを使う lib.rs 環境 Windows 10 Pro 64bit CPU : Core i3-7100U CPU @ 2.40…
計算速度が重要なソフトウェア開発のために，Rustを勉強しています．Pythonと比較し速度を体感するために，簡単にベンチマークしてみました． 環境 CPU 3.2GHz Core i5 Memory 24GBytes macOS Mojave rustc 1.42.0-nightly Python 3.7.4 64bit 素数判定 Carg…
変数aに文字列「これはテストです．」があり，これを変数bにコピーする，という動作には3つの選択肢があります． aとbが同じオブジェクトを参照する そんなややこしいことはするなとエラーにする オブジェクトを複製する aとbが同じオブジェクトを参照する …
自分で作成したPythonパッケージをGitLab上のプロジェクトで管理していて，これを別のプロジェクトで使用する方法を紹介します． 環境 MacOS 10.14.6 Python 3.8 GitLab 前提条件 trieという名前のプロジェクトが，private repositoryとしてGitLabに存在する…
ネストされた括弧を扱おうと正規表現を調べましたが，Pythonの標準のreには，(?R)など再帰が扱えないことが分かり，代わりにregexを使えばよさそう*1ということは分かりましたが，わざわざ正規表現を使わなくてもよいのではと思い，シンプルに書いてみました…
この記事は，みーの個人的な意見であり，各言語には一長一短あることをご理解頂いた上でお読みください． みーが今まで扱った言語は，Java, Python, C, JavaScript, ActionScript, HSP, UnityScriptなどがありますが．現在はPythonとJavaScriptを多用してい…
