Pythonを使ったメールアドレスのスクレイピング - 究極のガイド2024

インポート
インポートリクエスト
fromurllib.parseimporturlsplit
fromcollectionsimportdeque
frombs4importBeautifulSoup
importpandasaspd
fromgoogle.colabimportfiles

# 入力からurlを読み込む
original_url= input("ウェブサイトのURLを入力してください: ") 
 
# スクレイピングするurlを保存する
unscraped= deque([original_url])
 
# スクレイピングされたURLを保存する
scraped= set()
 
# 取得したEメールを保存する
emails= set()  

whilelen(unscraped)：
    # unsraped_urlをscraped_urlsセットに移動する
    url = unscraped.popleft() # popleft()：dequeの左側から 要素を取り除いて返す
    scraped.add(url)

parts =urlsplit(url)

base_url = "{0.scheme}://{0.netloc}".format(parts)
    if '/' in parts.path:
      path = url[:url.rfind('/')+1]
    else:
      path = url

を試す：
        response = requests.get(url)
    except (requests.exceptions.MissingSchema, requests.exceptions.ConnectionError)：
        # エラーのあるページは無視し、 次の urlで 続ける
       続ける

# 必要に応じて正規表現を編集してもよい
    new_emails =set(re.findall(r"[a-z0-9\.\-+_]+@[a-z0-9\.\-+_]+\.com", 
                  response.text, re.I))# re.I: (大文字小文字を無視)
    email.update(new_emails)

# htmlドキュメントのための美しいスープを作成する
   soup= BeautifulSoup(response.text,'lxml')

for anchor insoup.find_all("a")： 
        
       # アンカーからリンクされたURLを抽出する
        if"href" in anchor.attrs：
          link =anchor.attrs["href"] です。
        else：
          link = ''
        
       # 相対リンクを解決する（/で始まる）
        if link.startswith('/')：
            link = base_url + link
            
        elif not link.startswith('http')：
            リンク = パス + リンク

if not link.endswith(".gz")：
         unscrapedに linkが なく 、かつ scrapedに linkが ない 場合：
              unscraped.append(リンク)

df = pd.DataFrame(emails,columns=["Email"]) # お好みのカラム 名に置き換える
df.to_csv('email.csv',index=False)

fromgoogle.colab importfiles
files.download("email.csv")

import re
import requests
from urllib.parse import urlsplit
from collections import deque
from bs4 import BeautifulSoup
import pandas as pd
from google.colab import files
 
# read url from input
original_url = input("Enter the website url: ") 
 
# to save urls to be scraped
unscraped = deque([original_url])
 
# to save scraped urls
scraped = set()
 
# to save fetched emails
emails = set()  
 
while len(unscraped):
    url = unscraped.popleft()  
    scraped.add(url)
 
    parts = urlsplit(url)
        
    base_url = "{0.scheme}://{0.netloc}".format(parts)
    if '/' in parts.path:
      path = url[:url.rfind('/')+1]
    else:
      path = url
 
    print("Crawling URL %s" % url)
    try:
        response = requests.get(url)
    except (requests.exceptions.MissingSchema, requests.exceptions.ConnectionError):
        continue
 
    new_emails = set(re.findall(r"[a-z0-9\.\-+_]+@[a-z0-9\.\-+_]+\.com", response.text, re.I))
    emails.update(new_emails) 
 
    soup = BeautifulSoup(response.text, 'lxml')
 
    for anchor in soup.find_all("a"):
      if "href" in anchor.attrs:
        link = anchor.attrs["href"]
      else:
        link = ''
 
        if link.startswith('/'):
            link = base_url + link
        
        elif not link.startswith('http'):
            link = path + link