Python－フリーランス案件を探すためにクラウドワークスをスクレイピング

# ドメイン
cw_domain = "https://crowdworks.jp"

# デフォルトのクロール間隔
defalt_crawl_delay = 1

# ユーザーエージェント
user_agent = "Crawler/1.0.0"

# 除外するサプライヤー(ユーザー名で可)
cw_except_users = []

import os
import urllib.robotparser


# robot.txtをパースする
def parse_robots(domain):
    robots_url = os.path.join(domain, 'robots.txt')
    rp = urllib.robotparser.RobotFileParser()
    rp.set_url(robots_url)
    rp.read()
    return rp

# 記述ルール
# 1. 検索したい語句はシングルクオーテーション(')か、ダブルクオーテーション(")で囲む
# 2. アンド検索をする場合は各語句をプラス記号(+)でつなぐ
#
# 記載例
# search_word = ["スクレイピング", "wordpress+SEO"]

search_words = ["スクレイピング", 'Python']

import re
import time

from bs4 import BeautifulSoup as bs
import requests

from config import config
from functions import parse_robots


# 実行プログラム
def crowdworks(search_words):
    print("Start scraping for CrowdWorks...")

    # 1) robots.txtの確認
    domain = config.cw_domain
    robot_parser = parse_robots(domain)
    crawl_delay = robot_parser.crawl_delay("*")
    if not crawl_delay:
        crawl_delay = config.defalt_crawl_delay

    # ヘッダー設定
    result = [{"service": "検索サービス", "word": "検索ワード", "id": "ID", "job_title": "案件名", "url": "URL",
           "fee_type": "報酬体系", "fee": "報酬", "start": "掲載日", "end": "募集終了日"}]

    # 2) 検索ワードごとにクローリングとスクレイピング
    for word in search_words:
        print("Start searching for '{}' in CrowdWorks...".format(word))

        # クロール間隔の設定
        time.sleep(crawl_delay)

        # クローリングの実行 -> クローリング関数へ
        html = crawling(word, robot_parser)

        # クロールできなかった場合(html=はNone)        if not html:
            result.append({"service": "CrowWorks", "word": word, "id": "",
                            "job_title": '「{}」に該当する案件はありませんでした。'.format(word), "url": "",
                            "fee_type": "", "fee": "", "start": "", "end": ""})
            continue
        # スクレイピング -> スクレイピング関数へ
        result += scraping(html, word)
    return result


# クローリングするプログラム
def crawling(word, robot_parser):
    headers = {'User-Agent': config.user_agent, "Accept-Language": "ja,en-US;q=0.9,en;q=0.8"}
    search_url = "https://crowdworks.jp/public/jobs/search?search%5Bkeywords%5D={}&keep_search_criteria=false&" \
                 "order=new&hide_expired=true".format(word)

    # 1)robots.txtのチェック
    if not robot_parser.can_fetch('*', search_url):  # falseの場合
        return None
    res = requests.get(search_url, headers=headers)

    # 2)ステータスコードチェック
    if str(res.status_code) != "200":
        return None

    return res.text


# スクレイピングするプログラム
def scraping(html, word):
    result = []

    # 1) 検索結果が存在しない場合
    soup = bs(html, 'lxml')
    if soup.find_all('div', class_="nodata"):
        result.append({"service": "CrowdWorks", "word": word, "id": "",
                        "job_title": '「{}」に該当する案件はありませんでした。'.format(word), "url": "",
                        "fee_type": "", "fee": "", "start": "", "end": ""})
        return result

    # 2) 各要素の検索
    num = 0
    for elem in soup.select('.search_results .jobs_lists > li'):

        # 2-1) ユーザーチェック
        user_url = elem.find('span', class_='user-name').a["href"]
        if user_url in config.cw_except_users:
            continue

        # 2-2) 該当する案件情報の取得
        num += 1
        job_title = elem.find('h3', class_="item_title").a.text  # ジョブタイトル
        job_url = config.cw_domain + elem.find('h3', class_="item_title").a['href']
        fee_type = elem.find(class_="payment").find(class_="payment_label").text
        fee = ''.join(elem.find(class_="payment").find(class_="amount").text.split())
        start = elem.find(class_="post_date").span.next_sibling.strip()
        end = re.findall(r'.*（(.*)まで）', elem.find('span', class_="absolute_date").text)[0]
        result.append({"service": "CrowdWorks", "word": word, "id": num, "job_title": job_title, "url": job_url,
                        "fee_type": fee_type, "fee": fee, "start": start, "end": end})
        print('id {}'.format(num))
    if not result:
        result.append({"service": "CrowdWorks", "word": word, "id": "",
                        "job_title": '「{}」に該当する案件はありませんでした。'.format(word), "url": "",
                        "fee_type": "", "fee": "", "start": "", "end": ""})
    return result


# 実行用のバッチ
if __name__ == '__main__':
    import csv
    import os
    from search_words import search_words

    s = time.time()
    result = crowdworks(search_words)
    with open(os.path.join(os.environ['HOME'], 'Desktop/results.csv'), 'w') as csvfile:
        fieldnames = list(result[0].keys())
        writer = csv.DictWriter(csvfile, fieldnames=fieldnames)
        writer.writerows(result)
    print("Total time: {}".format(time.time()-s))