Web scraping can be defined as the method of collecting and restructuring data from websites. It can also be defined as the programmatic approach of obtaining website data in an automated manner. For instance, you want to extract the email IDs of all people who commented on a Facebook post. You can do this by
Webスクレイピングとは、Webサイトからデータを収集し、再構築する手法と定義できる。また、自動化された方法でウェブサイトのデータを取得するプログラム的アプローチとも定義できる。例えば、Facebookの投稿にコメントした人全員のEメールIDを抽出したいとします。これには2つの方法がある。まず、カーソルを任意の人のメールアドレス文字列に向ける。次に、それをコピーしてファイルに貼り付ける。この方法は手動スクレイピングとして知られている。しかし、もしあなたが2000のEメールIDを集めたいとしたらどうする？ウェブスクレイピングツールを使えば、手動スクレイピングで3時間かかるところを30秒ですべてのEメールIDを抽出することができる。
ウェブスクレイピングツールを使って、ウェブサイトから情報を抽出することができる。クリックの仕方だけ知っていればよく、プログラミングの知識は必要ない。これらのツールはリソース効率に優れ、時間とコストを節約します。ネットワークの帯域幅を気にすることなく、ニーズに応じて何百万ものページをスクレイピングできる。ウェブサイトによっては、スクレイパーによるデータ収集を阻止するアンチボットを実装しているところもある。しかし、良いWebスクレイピングツールは、これらのツールをバイパスし、シームレスなスクレイピング体験を提供するための機能が組み込まれています。
Pythonにはウェブからデータをスクレイピングするための優れたツールがある。例えば、ウェブページからコンテンツを取得するためにrequests ライブラリを、関連情報を抽出するためにbs4（BeautifulSoup）をインポートすることができる。以下の手順に従って、PythonでWebスクレイピングを行うことができます。このウェブサイトから情報を抽出します。
ウェブサイトのHTMLを取得するには、リクエスト・ライブラリをインポートする必要がある。
輸入リクエストウェブサイトにGETリクエストをする必要があります。これは、requests.get()関数にURLを貼り付けることで可能です。
r= requests.get('http://www.cleveland.com/metro/index.ssf/2017/12/case_western_reserve_university_president_barbara_snyders_base_salary_and_bonus_pay_tops_among_private_colleges_in_ohio.html')r.contentを使ってウェブサイトのコンテンツを抽出する。これは、ウェブサイトのコンテンツをバイト単位で提供します。
c =r.contentBeautifulSoupライブラリをインポートすれば、ウェブページから情報を簡単にスクレイピングできる。
frombs4importBeautifulSoupコンテンツからBeautifulSoupオブジェクトを作成し、いくつかのメソッドを使用してそれを解析する必要があります。
soup=BeautifulSoup(c)
print(soup.get_text())このような出力（ほんの一部です）が得られます。
目的のデータを抽出する必要があるので、適切なCSSセレクタを見つけなければなりません。スープ・オブジェクトの.find()メソッドを使用して、ウェブページのメイン・コンテンツを見つけることができます。
main_content = soup.find('div', attrs = {'class': 'entry-content'})スープの.text属性を使用して、テーブルからテキストとして情報を取得することができます。
content = main_content.find('ul').text
print(content)
テーブルのテキストを文字列として取り出した。しかし、文字列の特定の部分を抽出すれば、その情報は大いに役立つだろう。このタスクを達成するためには、正規表現に移る必要がある。
正規表現（RegEx）は、検索パターンを定義する一連のパターンです。基本的な考え方はこうだ：
テキスト・テーブルから以下の情報を抽出したいとする。
以下の手順で3つの情報を抽出することができる。
re を インポートし、給与を抽出するために給与パターンを作成する必要があります。 re.compile()メソッドを使用して、文字列として提供された正規表現パターンをRegExpattern オブジェクトにコンパイルします。さらに、pattern.findall()を使用してすべてのマッチを検索し、文字列のリストとして返すことができます。それぞれの文字列がひとつのマッチを表します。
インポートre
salary_pattern = re.compile(r'˶$.+')
salaries = salary_pattern.findall(content)同じ手順を繰り返し、大学名を抽出する。パターンを作り、名前を抽出する。
school_pattern = re.compile(r'(?:,|,\s)([A-Z]{1}.*?)(?:\s\(|:|,)')
schools = school_pattern.findall(content)
print(schools)
print(salaries)
大統領の名前を抽出するために同じ手順を繰り返す。パターンを作り、必要な名前を抽出する。
name_pattern = re.compile(r'^([A-Z]{1}.+?)(?:,)', flags = re.M)
names = name_pattern.findall(content)
print(names)
給与の文字列は乱雑に見え、理解できない。そこで、文字列の給与を数字に変換するためにPythonのリスト内包を使います。文字列のスライシング、分割と結合、リスト内包を使って目的の結果を得ます。
salaries = ['$876,001','$543,903','$2453,896']
[int('.join(s[1:].split(',')))forsinsalaries].出力はこうだ：
データの可視化は、トレンド、パターン、相関関係を明らかにするために、データを視覚的に理解するのに役立ちます。大量のデータをグラフ、チャート、その他のビジュアルに変換することで、異常値を特定し、貴重な洞察を得ることができます。
以下のように、matplotlibを使ってデータを可視化することができる。
以下のように必要なライブラリをインポートする。
importpandasaspd
インポートmatplotlib.pyplotasplt学校、名前、給料のpandasデータフレームを作る。例えば、以下のように学校をデータフレームに変換することができます：
df_school = pd.DataFrame(schools)
プリント(df_school)出力はこうだ：
同様に、給料や名前についても同じことができる。
データを視覚化するために、以下のような棒グラフをプロットすることができる。
df.plot(kind='barh', x ='社長', y ='給料')出力はこうだ：
Webスクレイピングは、企業が市場の洞察や業界に関する有益な情報を抽出し、データ駆動型のサービスを提供し、データ駆動型の意思決定を行うのに役立ちます。プロキシは、以下の理由で様々なウェブサイトからデータを効果的にスクレイピングするために不可欠です。
上記のメリットを得るために必要なプロキシの数をご存知ですか？必要なプロキシの数は、以下の計算式で求めることができます：
プロキシ数 = アクセスリクエスト数 / クロール率
アクセス要求の数は、以下のパラメータに依存する。
一方、クロール率は、ユーザーが一定時間内に行うリクエスト数によって制限される。ウェブサイトによっては、自動化されたユーザーと人間によるユーザーのリクエストを区別するために、ユーザーごとのリクエスト数を制限しているところもあります。
以下の手順でPythonでプロキシを使うことができます。
輸入リクエストプロキシ='http://114.121.248.251:8080'
url='https://ipecho.net/plain'page = requests.get(url,
proxies={"http": proxy, "https": proxy})プリント(ページ.テキスト)出力はこうだ：
手作業によるスクレイピングの代わりに、ウェブスクレイピングを使ってウェブサイトからデータを抽出できることを説明した。ウェブスクレイピングはコスト効率が高く、時間の節約にもなる。企業は、データ主導の意思決定を行い、貴重な洞察を得るために、ウェブ情報を収集し、再構築するためにこれを使用します。プロキシの使用は、ターゲットウェブサイトからユーザーの元のIPアドレスを隠すため、安全なウェブスクレイピングには不可欠です。ウェブスクレイピングには、データセンターまたは住宅用プロキシを使用することができます。しかし、高速で簡単に検出されないため、住宅用プロキシを使用することをお勧めします。さらに、Pythonでは正規表現を使用して、文字列のセットをマッチさせたり検索したりすることができる。つまり、正規表現の助けを借りて、テキストから任意の文字列パターンを抽出できる。また、データの可視化は、膨大な量のデータをチャートやグラフなどの視覚的なデータに変換し、異常の検出やデータの有用な傾向の特定に役立てることができる。