スプレッドシート + GAS(Google Apps Script) + Cloud Functions で自動実行するスクレイピングシステムを構築してみる
スクレイピングプログラムは様々な書籍やブログで紹介されており、勉強環境は非常に充実しています。一方でそのプログラムをどのように運用するかについては、情報量ははるかに少なくなります。この記事ではその1つの解としてGASとスプレッドシート、Cloud Functionsを使った自動実行システム構築の方法を解説しています。
タグ: GCP ：5件
Google Cloud Platformで「リーエン」が原因でGCPのProjectが削除できなかった話
dialogflow , error , GCP
DialogflowではAgentを新たに作成すると、Google Cloud Platformに新しいProjectが作成されますが、この時「リーエン」というProjectの偶発的削除を回避するための仕組みも合わせて導入されます。この記事については「リーエン」とGCPのProjectの関係について説明しています。
Google Cloud FunctionsでPython+seleniumでスクレイピングしてみる(Part.3)
Cloud Functionsでは昨年からnode.jsとpupeteerを使ってJavaScriptに対応したサイトをスクレイピングするためのヘッドレスブラザの利用が可能となりましたがこの記事ではpythonで主流のheadless Chromeとseleniumを使ったスクレイピング方法について記載しています。
Google Cloud FunctionsでPythonを使ってみる(Part.2 Cloud Functionsの様々な使い方)
Clud FunctionsのPythonはFlaskを利用しており、自動でFlaskやrequestsなどのパッケージがインストールされます。それ以外のパッケージはrequirements.txtを使ってインストールされます。ここではサードパーティパッケージや自作パッケージ、GASとの連携方法について説明しています。
Google Cloud FunctionsでPythonを使ってみる(Part.1 基本的な使い方)
Google Cloud FunctionsはAWS lambdaに相当するGoogle Cloud Platformの機能ですが、サーバレスアーキテクチャーの流れで今後注目されていくことが予想されます。この記事ではCloud Functionsのpythonの基本的な使い方について説明しています。