cURLはクライアントURLの略で、サーバーとデータを送受信するためのコマンドラインツールである。Windows 10やLinuxディストリビューションを含む最新のオペレーティングシステムに配布されている。ウェブサイトとデータを送受信できる便利なライブラリで、ウェブスクレイピングのニーズには欠かせないツールです。簡単な例を見る前に、インストールするために知っておくべきことを確認しよう。
sudo apt install curl.
ウィンドウズでは、ターミナルまたはコマンドプロンプトを開き、次のように入力する：
<em><strong>curl https://www.yahoo.com</strong></em>コンソールにはページのHTMLが表示される。
cURLは、インターネットプロトコルの助けを借りて、ウェブページとの間でデータを転送します。当初、cURLはHTTPプロトコルで動作するように開発されましたが、現在はFTP、IMAP、IMAPS、SMTP、POP3、POP3Sなど多くのネットワークプロトコルをサポートしています。
また、リクエストを送信する際に、POST、GET、PUT、その他のメソッドもサポートしています。postデータでデータを送信する例を見てみましょう。
curl -d"name=yourname&value=somevalue" https://examplewebsite.com/post"上のコードは、postメソッドを使ってexamplewebsite.comのpostページに自分の名前と値を渡していることを示しています。
さて、cURLが何であるかがわかったところで、プロキシを使った使い方に移ろう。
cURLをプロキシアドレスで設定すれば、プロキシ機能を使ってデータ通信を強化することができる。
cURLをプロキシとともに使用することで、ユーザーは自分の身元をサーバーから確実に隠すことができる。もし、ユーザが自分の身元を他人に知られずに情報を取得したい場合、cURLコマンドのリクエストにプロキシのアドレスを設定することができます。この場合、プロキシはユーザーの代わりにリクエストを転送し、実際の身元は隠されます。Proxyscrape は、HTTP、Socks4 、Socks5 のようなすべてのプロトコルタイプのプロキシを提供し、すべてのタイプのリクエストに対して匿名性を維持することができます。
ある場所のユーザーが他の地理的境界線のサイトからコンテンツをスクレイピングすることを制限されている場合、プロキシはそれらの制限をバイパスするのに役立ちます。Proxyscrape 、ユーザーがジオブロックをバイパスするために必要なものを選択できるように、複数の国のプロキシを提供しています。
cURLを使用してウェブサイトに接続するには、プロキシを使用することができます。例えば、cURLを使ってデータをスクレイピングする場合、プロキシは不可欠です。そうすれば、スクレイピング先のウェブサイトに対して匿名性を保つことができる。
プロキシで接続するには、プロキシサーバーのアドレス、ポート番号、プロトコルの種類が必要で、認証が必要な場合はユーザー名とパスワードを入力する必要がある。簡単な例を見てみよう。プロキシのアドレスを127.0.0.1、ポート番号を8920とする。後述の例は、cURLによる接続プロキシの基本であり、どのプロキシサービスでも動作する。
プロキシに接続する構文は次のようになる：
curl--proxyproxyaddress: port https://examplewebsite.comと置き換えるだろう：
curl--proxy127.0.0.1:8920 https://examplewebsite.com上記のコマンドは、接続をプロキシ経由でexamplewebsite.comにルーティングする。
ここで、ユーザー名をユーザー名、パスワードをパスワードとする認証を必要とする例を見てみよう。
curl--proxy127.0.0.1:8920-U"username:password" https://examplewebsite.comプロキシ・プロトコルでcURLに接続する際に使用するコマンドは、：
curl--help間違いなく膨大なリストを返すだろうから、以下に挙げる最も基本的なコマンドに焦点を絞る：
-x,--proxy [protocol://]host[:port].このコマンドでは、xと-proxyはプロキシの詳細を表し、どちらも正しいのでどちらを使ってもよい。ただし、xは大文字と小文字を区別することに注意。
また、プロキシを使っていることを確認するために、以下のコマンドを使うこともできる：
curl http://httpbin.org/ipこのコマンドは通常、オリジンのIPアドレスを返す。つまり、プロキシサーバーを使用している場合、あなたのIPアドレスではなく、プロキシサーバーのIPアドレスを返すことになります。
さて、すべてをまとめると、次のようにリクエストを送ることができる：
curl --プロキシ "http://username:[email protected]:8920" "http://httpbin.org/ip"また、以下のコマンドも上記と同じである：
カール --x "http://username:[email protected]:8920" "http://httpbin.org/ip"ここで留意すべき重要な事実は、ベストプラクティスとして、プロキシURLとターゲットURLの両方に引用符を使うべきであるということである。これはURLに特殊文字が含まれるためです。
また、SSL証明書のエラーが出る場合は、以下のようにコマンドの最後に小文字の-kを追加する必要がある：
curl --proxy "http://username:[email protected]:8920" "http://httpbin.org/ip" -k. これは、SSL接続を使用する際に、安全でない接続を通過させることになる。
プロキシを使用する場合、明示的に指定されない限り、デフォルトのプロトコルはHTTPである。したがって、以下のコマンドはどちらも正しい：
curl --proxy "http://username:[email protected]:8920" "http://httpbin.org/ip"。
curl --proxy"ユーザー名:[email protected]:8920" "http://httpbin.org/ip"。cURL用のプロキシを用意したい場合は、以下の方法でcurl-configファイルを作成することができる。
macOSやLinuxを使っている場合は、まずターミナルを開き、ホーム・ディレクトリに移動する。.curlrcがあれば、それを開いて新しい空のファイルを作成する必要がある。以下のコマンドを使って、そのファイルに移動することができる：
cd~
nano.curlrc.そこで、ファイルに次の行を追加する必要がある：
代理人="http://username:[email protected]:8920"ファイルを保存すれば、cURLをプロキシで使用できるようになります。cURLを普通に実行するだけで、上記のファイルからプロキシが読み込まれます：
カール "http://httpbin.org/ip"エコー %APPDATA%そのため、上記のコマンドはパスを返すので、そこに移動する必要があります。その後、_curlrcファイルを作成し、macOSやLinuxと同じようにプロキシを設定する必要があります。