Scrapy について

"使ってみた" で申し訳ないのですが、軽く触った感想です。 フレームワークなので想定されているモデルに合致しない用途に適用するのは難しい。というか軽くはみ出ただけで途端に面倒になる気がする。 twisted ベース。asyncio が標準ライブラリとなった現在では古臭いと感じる。また通信は deferred で行うのが前提なようで、関数内でセッション (cookie) を維持しつつ [...]

By |2018-06-23T15:01:20+09:002018-06-23|Python|0 コメント

pip – UnicodeDecodeError

Python 3 になって何年も経つのになんでこんなものを拝まなきゃならないのか。最近遭遇したものでは 2 つあります。 PermissionError などで操作が失敗し、エラーメッセージのデコードで失敗する。適切な状態で実行すれば成功する。 distutils.dist.Distribution.parse_config_files で失敗する。パッケージに含まれるファイル (setup.cfg [...]

By |2018-06-13T16:02:29+09:002017-03-02|Python|0 コメント

Python class frame

Python でスタックフレームが積まれるタイミングは私の知っている限りでは以下の 3 つです。(eval と exec 等もありますがここでは無視します。) モジュールが読み込まれたとき 関数が呼び出されたとき (import [...]

By |2014-07-03T16:30:30+09:002014-07-03|Python|0 コメント

subprocess の universal_newlines

subprocess の各関数を universal_newlines=True で呼び出すとサブプロセスの stdin/stdout/stderr がテキストモードで開かれます。(というか io.TextIOWrapper でラップされます) locale.getpreferredencoding(False) で得られるコンソールのエンコーディングは固定で、Windows [...]

By |2014-06-12T11:47:07+09:002014-06-12|Python|0 コメント
Go to Top