Every computer gets a unique Internet Protocol (IP) address that identifies the computer and its geographic location when connected to the Internet. Your computer sends out a request whenever it needs any information from the Internet. The request is sent to a target computer that checks the type of information being asked for. The target
すべてのコンピュータは、インターネットに接続されているときにコンピュータとその地理的位置を識別する一意のインターネットプロトコル（IP）アドレスを取得します。コンピュータは、インターネットから何らかの情報を必要とするたびにリクエストを送信します。リクエストは、要求されている情報のタイプをチェックするターゲットコンピュータに送信されます。ターゲットコンピュータは、私たちのIPアドレスに情報を提供することが許可されている場合、情報を送り返します。時には、コンピュータは特定されることなくインターネットから情報を得ようとします。その情報は通常ブロックされるが、クライアントとサーバー・マシンの間で仲介役を果たすプロキシを使えば、情報を得ることができる。
それぞれのプロキシサーバーにはIPアドレスがあり、ユーザーがプロキシ経由でウェブサイトにアクセスしようとすると、ウェブサイトはプロキシサーバーのIPにデータを送信し、そのIPがユーザーにデータを転送する。
Pythonリクエストでプロキシを使用するには、以下の手順に従う必要がある。
シンプルなHTTPライブラリであるrequestsパッケージをインポートする。手動でURLにクエリー文字列を追加しなくても、このパッケージを使って簡単にリクエストを送信できます。requestsは以下のコマンドでインポートできます。
輸入リクエストHTTP接続とHTTPS接続を定義するプロキシ辞書を作成する必要がある。辞書変数には、プロキシURLにプロトコルをマッピングする "proxies"のような任意の名前を与えることができる。さらに、URL変数にスクレイピングするウェブサイトを設定する必要がある。
proxies = {
"http":'http://203.190.46.62:8080',
"https":'https://111.68.26.237:8080'
}
url = 'https://httpbin.org/ip'ここで辞書は、HTTPとHTTPSという2つの別々のプロトコルのプロキシのURLを定義する。
リクエストメソッドのいずれかを使用するレスポンス変数を作成する必要があります。このメソッドは2つの引数をとります：
response = requests.get(url,プロキシ = プロキシ)
print(response.json())出力はこうだ：
Pythonのrequestsモジュールを使って、以下のようにIPアドレスをローテートすることもできる。
以下のコマンドを使って requestsモジュールをインポートする必要がある。
輸入リクエストほとんどのフリーのプロキシはhttpsプロトコルを使用しないため、sending_request 関数を作成し、httpプロキシを使用することを好む。ほとんどの無料プロキシは動作しないので、try-exceptブロックを使用した。
def sending_request(session, proxy):
try:
response = session.get('http://httpbin.org/ip', proxies={'http': f"http://{proxy}"})
print(response.json())
except:
pass無料プロキシのリストを含むlist_proxy.txtファイルを読み、proxiesという変数に保存しなければならない。
if__name__ =="__main__"：
with open('list_proxies.txt','r')as file：
プロキシ =file.readlines()リクエストモジュールからセッションを作成し、以下の手順に従ってください。
withrequests.Session()assession：
forproxyinproxies：
sending_request(session, proxy)以下のようなプロキシのリストが表示されます。
これらはいくつかのプロキシであり、さらに多くのプロキシがリストアップされているが、それらはすべて機能しない。
すべての企業は、プロキシを使用する5つの重要な企業理由を知っておく必要があります。
プロキシはウェブトラフィックを匿名化する機能でよく知られている。しかし、ほとんどの人はビジネス業界におけるその重要性を理解していない。プロキシサーバーによって、セキュリティ担当者や記者は自分自身、会社、情報源、顧客、パートナーを守ることができる。
また、開発や現在の研究、その他の企業活動を保護するためにプロキシを使用することもできます。あなたの会社がプロキシを使用し、潜在的なスパイがウェブトラフィックを追跡して、あなたのビジネスが何を開発しているかを判断するとします。その場合、あなたの従業員を簡単に追跡することはできません。
データ漏洩が社会的イメージと金銭的損失の両面で大きな代償を伴うことはご存知の通りだ。そのため、企業はハッカーについて心配している。しかし、プロキシはデータ漏洩の可能性を減らすことができるので、あなたを助けることができます。プロキシサーバーは、サーバーと外部トラフィックの間に追加のセキュリティ層を追加します。プロキシサーバーはまた、インターネットに面し、ネットワーク外のコンピュータからのリクエストを中継するバッファとしても機能します。
ハッカーがあなたのプロキシサーバーにアクセスできたとしても、データが保存されているウェブソフトウェアを実行するサーバーに到達するのは困難である。
データ漏洩が社会的イメージと金銭的損失の両面で大きな代償を伴うことはご存知の通りだ。そのため、企業はハッカーについて心配している。しかし、プロキシはデータ漏洩の可能性を減らすことができるので、あなたを助けることができます。プロキシサーバーは、サーバーと外部トラフィックの間に追加のセキュリティ層を追加します。プロキシサーバーはまた、インターネットに面し、ネットワーク外のコンピュータからのリクエストを中継するバッファとしても機能します。
ハッカーがあなたのプロキシサーバーにアクセスできたとしても、データが保存されているウェブソフトウェアを実行するサーバーに到達するのは困難である。
プロキシサーバーはバックグラウンドで大量の仕事をこなすため、インターネットの速度が遅くなると思い込んでいる人がいる。しかし、それは必ずしも真実ではありません。プロキシサーバーは、帯域幅を節約し、速度を向上させるために使用することができます：
というような、ビジネスにすべてのメリットを提供する唯一のタイプのプロキシがあると思うかもしれない：
実際には、利用可能なプロキシには多くの種類があり、どのプロキシを使用するかは要件や使用ケースによって異なります。
以下に最も一般的なプロキシの種類を示す。
データセンター・プロキシは、世界中の企業で使用されている最も一般的なプロキシです。データセンターはこれらのプロキシを製造・管理しています。これらのプロキシは安価で簡単に入手できるため、システムのセキュリティを向上させる必要がある場合に使用することができます。しかし、ボットのような活動を連想させるため、使用を禁止しているウェブサイトもある。
レジデンシャル・プロキシは、物理的な住居に関連付けられ、インターネット・サービス・プロバイダー（ISP）が提供する実在の人物のIPアドレスを使用する。これを使用してウェブサイトに接続すると、日常的なユーザーのように見えます。そのため、検知されたり禁止されたりする可能性は低くなる。住宅用プロキシを使用して大量のウェブデータをスクレイピングし、匿名性とセキュリティを向上させることができます。
これまで、 プロキシはクライアントとサーバーマシンの間の中継として機能することを説明した。あなたが情報を要求するたびに、あなたのコンピュータはこの要求をプロキシに送信し、プロキシは別のIPアドレスを使用してターゲットコンピュータに情報を送信します。そのため、あなたのIPアドレスは機密のままです。さらに、Pythonのrequestsモジュールでプロキシを使用し、必要に応じて様々なアクションを実行することができます。データセンター型 プロキシの速度と居住型プロキシの高い匿名性を備えた静的IPが必要な場合は、静的プロキシが適しています。逆に、ローテーションプロキシは、テストやスクレイピングにおいてメリットがあります。