How To Use Proxies To Rotate IP Addresses In Python? 5 Easy Steps In 2024

プロキシを使用する場合、対象のサーバーに直接接続するのではなく、リクエストをプロキシサーバーに送り、プロキシサーバーがリクエストを評価して応答を返します。プロキシには、実際のIPアドレスを隠したり、フィルターや検閲を回避したりなど、多くの利点があります。 

プロキシローテーターは、ほとんどのスクレイピング対策を回避するのに役立ちます。また、ターゲットのウェブサイトで実装されているレート制限を回避し、データをうまく抽出するために使用することもできます。しかし、ローテーションプロキシとは何ですか？プロキシプールからの接続ごとに新しいIPアドレスを割り当てるプロキシである。つまり、スクリプトを起動して1000の異なるIPアドレスを取得することで、任意の数のウェブサイトに1000のリクエストを送ることができる。

この記事は、pythonでIPアドレスをローテーションするためにプロキシを使用する方法を理解するのに役立ちます。

以下のコマンドを使ってPythonのrequestsモジュールをインポートする必要があります。

輸入リクエスト

このモジュールがインストールされていない場合は、以下のコマンドでインストールできます。

pipinstallrequests

def send_request(session, proxy):
   try:
       response = session.get('http://httpbin.org/ip', proxies={'http': f"http://{proxy}"})
       print(response.json())
   except:
       pass

ここからがコードのメインセクションです。以下のように、list_proxy.txtファイルを読み込んでproxiesという変数に保存しなければならない。

if__name__ =="__main__"：
  with open('list_proxy.txt','r')as file：
       プロキシ =file.readlines()

Pythonでセッションを作成するにはrequestsモジュールを使う必要があります。下のコードでは for ループを使ってプロキシをループしています。そしてsend_request関数にセッションとプロキシを渡します。 

withrequests.Session()assession：
  forproxyinproxies：
       send_request(session, proxy)

スクリプトを実行し、以下のような出力を見ることができる。プロキシの長いリストが表示されますが、これらは動作しないことを覚えておいてください。 

pythonrotateproxy.py

あなたのコード全体は次のようになる：

import requests


def send_request(session, proxy):
   try:
       response = session.get('http://httpbin.org/ip', proxies={'http': f"http://{proxy}"})
       print(response.json())
   except:
       pass


if __name__ == "__main__":
   with open('list_proxy.txt', 'r') as file:
       proxies = file.readlines()

   with requests.Session() as session:
       for proxy in proxies:
           send_request(session, proxy)

Pythonで回転プロキシを使う場合のヒントを以下に示す。

利用可能な無料プロキシサービスのほとんどは混雑しており、予期せぬクラッシュやイライラさせる遅延につながる。そのため、無料プロキシを利用する際には、それらがあなたのスクレイピングニーズにマッチしているかどうか、また、重大なドローダウンを引き起こさないかどうかを確認する必要があります。

ほとんどの無料プロキシは有効期間が限られているので、Pythonで独自のロジックを構築して、無料プロキシリストのローテーターを稼働中のIPアドレスで回転させることができます。こうすることで、ウェブスクレイピング中に中断されることがなくなります。 

特定のシーケンスや、同じグループに属するような予測可能なフォーマットに従ったIPアドレスの使用は避けなければならない。ほとんどのアンチスクレイピング・ツールは、そのようなIPアドレスから送信されたリクエストを簡単に検知してしまうからだ。例えば、次のような一連のローテーションIPアドレスの使用は、すぐにレッドフラグが立ってしまうので避けるべきです。

103.243.132.11

103.243.132.12

103.243.132.13

103.243.132.14

無料のプロキシIPローテータは安全でなく、速度も遅い。そのため、高度で大規模なウェブスクレイピングプロジェクトを実行する場合、それらを使用することは適していません。優れたプレミアムプロキシを使用すると、高品質のサービスを得ることができ、ブロックや中断を経験することなく、何千ものWebページをスクレイピングすることができます。 

プレミアムプロキシサービスを利用するには、数ドルを支払い、データ抽出のニーズを満たし、プライバシーを保証してくれるプロバイダーを手に入れなければならない。

以下に、インターネット上のプロキシの3つの主なカテゴリーを示す。

IPローテーションを使えば、複数のIPアドレスをローテーションさせ、検知を回避することができる。しかし、スクレイピング対策によっては、そのような行為を特定し、データの採取をブロックすることができます。したがって、成功の可能性を高めるためには、IPアドレスのローテーションとは別に、ユーザーエージェントのローテーションも行う必要があります。