AutoScraperを使ったPythonによるWebスクレイピングの簡素化ガイド

from autoscraper importオートスクレイパー

url='https://books.toscrape.com/'
指名手配リスト= [
    「ティッピング・ザ・ベルベット
    「Soumission"、
]

    scraper = AutoScraper()
    
    proxies = {
        "http": 'http://test_user112:[email protected]:6060',
        "https": 'http://test_user112:[email protected]:6060',
    }
    #  if you wish to use the same scraper again
    scraper.save('books_to_scrape')
    result = scraper.build(url, wanted_list, request_args=dict(proxies=proxies))
    print(result)

    scraper=AutoScraper()

   scraper.load('books_to_scrape')

    結果=scraper.get_result(url)

['ア・ライト・イン・ザ...'、 
ティッピング・ザ・ベルベット
Soumission」、 
シャープ・オブジェクト 
サピエンス：ア・ブリーフ・ヒストリー...」、 
レクイエム・レッド」「ダーティ・リトル・シークレット 
来るべき女：A ...', 
ザ・ボーイズ・イン・ザ・...」、 
黒いマリア
飢えた心（三角貿易...）」、 
「シェイクスピアのソネット」、 
セット・ミー・フリー」、 
「スコット・ピルグリムのプレシャス・リトル・・・」、 
Ripit Up and ...」、 
「OurBand Could Be ..、 
Olio」、 
メセリオン」：ベスト・サイエンス 
初心者のためのリバタリアニズム」、 
「たかがヒマラヤ」、 
屋根裏の光」、 
サピエンス：人類小史」、 
夢の仕事に就くためのダーティ・リトル・シークレット」、 
来るべき女」：有名なフェミニスト、ヴィクトリア・ウッドハルの生涯に基づく小説」、 
TheBoys in the Boat：9人のアメリカ人と1936年ベルリン・オリンピックでの金メダルへの壮大な挑戦」、 
StarvingHearts（三角貿易三部作、第1話）」、 
「スコット・ピルグリムのプレシャス・リトル・ライフ（スコット・ピルグリム＃1）」、 
Ripit Up and Start Again」、 
OurBand Could Be Your Life：Scenes from the American Indie Underground, 1981 -1991」、 
メサエリオンベストSFストーリー1800- 1849'」。］

import requests
from autoscraper import AutoScraper


def send_request(url_to_scrape):
    api_key = 'your_api_key' 
    data = {
        "url": url_to_scrape,
        "browserHtml": True  # Use browserHtml for JavaScript rendering
    }
    headers = {
        "Content-Type": "application/json",
        "X-Api-Key": api_key
    }

    response = requests.post("https://api.proxyscrape.com/v3/accounts/freebies/scraperapi/request",
                             headers=headers, json=data)

    #  we return the html data that web scraping api extracted
    return response.json()['data']['browserHtml']

if __name__ == '__main__':
    target_url = 'https://books.toscrape.com/'

    # get html data using web scraping api
    html_content = send_request(target_url)

    # parse that html data using AutoScraper
    scraper = AutoScraper()

    wanted_list = [
        "Tipping the Velvet",
        "Soumission",
    ]

    result = scraper.build(wanted_list=wanted_list, html=html_content)

    print(result)