Blow Up by Black Swan

BLOG

| Google Apps Script(GAS), Python

スプレッドシート + GAS(Google Apps Script) + Cloud Functions で自動実行するスクレイピングシステムを構築してみる

, , ,
スクレイピングプログラムは様々な書籍やブログで紹介されており、勉強環境は非常に充実しています。一方でそのプログラムをどのように運用するかについては、情報量ははるかに少なくなります。この記事ではその1つの解としてGASとスプレッドシート、Cloud Functionsを使った自動実行システム構築の方法を解説しています。
続きを読む
| Python

Python－スクレイピングでフリーランス案件を探そう(ランサーズ編)

, ,
クラウドソーシングサイトといえば、クラウドワークスとランサーズが有名です。私もこの2つに登録しています。前回クラウドワークスのサイトからスクレイピングする記事を書きましたが、今回はランサーズをスクレイピングして案件を発掘するプログラムについてまとめました。
続きを読む
| Shell

シェルスクリプトを利用して、ターミナルで１コマンドでスクレイピングプログラムを実行する方法

,
Pythonを使ったスクレイピングプログラムは多くのサイトで紹介されていますが、その実行を効率化する方法についてはまだまだ記事の数が少ないと感じます。前回、クラウドワークスのスクレイピングプログラムを作成しましたが、今回はシェルスクリプトを利用してターミナルから1コマンドで実行する方法についてまとめました。
続きを読む
| Python

Python－フリーランス案件を探すためにクラウドワークスをスクレイピング

, ,
フリーランサーや副業をされている方には、クラウドソーシングサイトで定期的に案件を探されている方が多いと思います。ただ、毎日同じような条件で検索をかけるのは正直手間です。この記事ではPythonのスクレイピング技術を用いて、クラウドワークスから案件を取得するプログラムについて解説しています。
続きを読む
| Python

Python－urllib.robotparser による robots.txt の解析

, ,
クローリングするとき、そのサイトの利用規約やクロールルールを守るのは非常に重要です。ドメイン直下に置かれるrobot.txtは多くのサイトが活用していますが、Pythonのurllib.robotparserモジュールを利用することで、このrobots.txtを解析しクロールに活用していくことができます。
続きを読む
| Python

Python－複数の予定から空き時間を算出するプログラム(純粋に演算する方法)

以前bit演算を用いて、複数のイベントから予定がない時間帯を求めるプログラムについて紹介しました。今回は、bit演算ではなく、純粋に時刻をそのまま扱い、予定のない時間帯を調べるプログラムについて記事しています。より精緻にスケジュールを把握するのに最適な方法で、参考にして頂ければと思います。
続きを読む
| Programming - Others

Google Cloud Platformで「リーエン」が原因でGCPのProjectが削除できなかった話

, ,
DialogflowではAgentを新たに作成すると、Google Cloud Platformに新しいProjectが作成されますが、この時「リーエン」というProjectの偶発的削除を回避するための仕組みも合わせて導入されます。この記事については「リーエン」とGCPのProjectの関係について説明しています。
続きを読む
| Python

Python－複数の予定から空き時間を算出するプログラム(bit演算利用バージョン)

複数のメンバー、複数の予定が埋まったスケジュールから空いている時間帯を抽出するには、特殊なデータである「時間」をうまく処理する必要があります。この記事ではbit演算を利用して予定が詰まったスケジュールから空き時間を求めるプログラムを紹介しています。
続きを読む
| Python

pycharmでpytestを使えるようにする方法

,
PytestはPythonでコードのテストを行う上で非常に重宝されるテストパッケージです。Pycharmでももちろん使うことができるのですが、設定を行うことで便利に使うことができます。この記事ではPycharmでpytestの設定を行う方法についてまとめています。
続きを読む