クローラー・スクレイピングプログラムを作ったときに参考になったTips
最近作ったクローラー、スクレイピングプログラムのコーディング過程で学んだTipsについてまとめています。seleniumやrequestsから些細なtipsまで幅広く扱っています。
タグ: requests ：5件
2019年と2020年の祝祭日を反映したカレンダーを作るプログラム
2019年と2020年は祝祭日の日程が例年とは異なる特殊な年です。そのような中でそれらの祝祭日情報を反映したカレンダーを作りたい、アプリケーションやプログラムでリアルなカレンダー情報が必要という方に向けて、2019年、2020年の祝祭日情報を反映したカレンダーを作るプログラムを考えました。
エラー発生時にslackにメッセージを送るプログラム
slackは多くのエンジニアに利用されるチャットアプリで、数多くの有用なAPIを提供しています。この記事ではこのAPIの中で最も基本的なIncoming WebhooksというAPIを使い、エラー発生時にslackにメッセージを送るプログラムを紹介しています。
Python－仮想通貨取引所のAPIからデータを取得し、CSVデータに書き込みを行うプログラム
仮想通貨取引所は自動取引などに対応するため、APIを整備しているところが多くあります。自動化されたプログラムの中でAPIから取得した情報を利用することで、分析やアプリの制作など、様々なことができます。この記事では、その基本となるAPIから取得した情報をCSVに書き込むする方法について解説しています。
Python－文字列型から辞書型への変換
JSONデータはPythonでは基本的に文字列として認識されます。JSONライクな文字列を利用するには、Pythonの辞書型に変換するのが一番です。この記事では文字列型を辞書型に変換する方法について解説しています。