スクレイピングでよく使うライブラリ、requestsとBeautifulSoupについてまとめました。最近はWebAPIを使う方がスマートかと思いますが、スクレイピングは歴史が長いので情報も多く、手軽に使えて便利です。
Pythonで日本語を使っていて、エンコード関連のエラーが出ました。解決策を簡単にまとめました。近年は自然言語処理などで日本語を扱うケースが増えてきているのかなと思いますが、日本語周りのエラーには悩まされそうです。
2019年5月に、ブログをマイグレーションしたのですが、SSL/TLS証明書の自動更新設定をまだしていなかったので、先日実施しました。手順を簡単にまとめます。
Golangでホットリロードを実装するパッケージ、「Realize」を導入しました。
Pythonのオブジェクトが持っている属性の一覧を取得する方法を忘れるので記事にしました。
yum-cronを導入してセキュリティパッケージの更新を自動化しました。サーバーのメンテナンスは大変ですが、yum-cronのようなツールや自動化などをうまく行い、効率の良い運用ができたらなと思います。
EC2で建てたAmazon Linux環境の初期設定、今後も応用できる内容と思うので記事にまとめます。
Amazon LinuxからAmazon Linux2へのマイグレーションが無事完了しました。合わせてコンテナの分割とPHP7.1→7.3、MySQL5.7→8.0へのバージョンアップも終わり、非常にスッキリした環境に生まれ変わりました。
Alpine LinuxへのCertbotインストール方法のメモです。
MySQLを5.7から8へバージョンアップする過程で、文字コードをutf8mb4に変更する必要が生じたため、方法をメモします。