Pythonを使用したウェブサイトモニタリングによるリアルタイムインサイトの強化
'Real-time Insights Strengthened by Website Monitoring with Python'
イントロダクション
このプロジェクトの目的は、複数のウェブサイトの変更をモニタリングし、追跡するプロセスを自動化するPythonプログラムを開発することです。Pythonを活用して、ウェブベースのコンテンツの変更を検出し、文書化する繊細な作業を効率化することを目指しています。リアルタイムのニュース追跡、即時の製品更新、競合分析を行うために、この能力は非常に貴重です。デジタルの世界が急速に変化する中で、ウェブサイトの変更を特定することは、持続的な認識と理解を保つために不可欠です。
学習目標
このプロジェクトの学習目標は、以下のコンポーネントをカバーすることです：
- Spotifyで学んだ初級データサイエンティストのための5つの重要なレッスン（パート1）
- Spotifyで学んだ初心者データサイエンティストのための5つの重要なレッスン（パート2）
- データサイエンスをより速く学ぶために、ChatGPTの使い方もしも既に上級者であっても
- BeautifulSoupやScrapyなどのPythonライブラリを使用したウェブスクレイピングの方法に関する知識を向上させる。効率的にウェブサイトから価値のあるデータを抽出し、HTMLの構造をナビゲートし、特定の要素を特定し、さまざまなコンテンツタイプを処理することを目指します。
- ウェブサイトのコンテンツの微妙な変化を特定するスキルを向上させる。新しくスクレイピングされたデータを既存の参照と比較して、挿入、削除、または変更を検出するための技術を学ぶことを目指します。また、これらの比較中に遭遇するさまざまなデータ形式と構造を処理することも目指します。
- ウェブサイトの更新を追跡するためにPythonの自動化機能を活用する。cronジョブやPythonのスケジューリングライブラリなどのスケジューリングメカニズムを使用して、データ収集を強化し、繰り返しのタスクを排除する予定です。
- HTMLのアーキテクチャについて包括的な理解を開発する。HTMLドキュメントを効率的にナビゲートし、データ抽出中に重要な要素を特定し、ウェブサイトのレイアウトと構造の変更を効果的に管理することを目指します。
- データ操作技術を探索することにより、テキスト処理のスキルを向上させる。抽出したデータをクリーンアップし、洗練させ、データエンコーディングの複雑さに対処し、洞察に基づいた分析と多目的なレポートのためにデータを操作する方法を学びます。
この記事は、データサイエンスのブログマラソンの一環として公開されました。
プロジェクトの説明
このプロジェクトでは、特定のウェブサイトの変更を監視し、カタログ化するためのPythonアプリケーションを作成することを目指しています。このアプリケーションには、以下の機能が組み込まれます：
- ウェブサイトのチェック：特定のコンテンツやセクションの更新を検出するために、割り当てられたウェブサイトを一貫して評価します。
- データの取得：ウェブスクレイピングの方法を使用して、テキスト、グラフィック、または関連データなど、必要な詳細をウェブサイトから抽出します。
- 変更の特定：新しくスクレイピングされたデータを以前に保存されたデータと比較し、違いや変更箇所を特定します。
- 通知メカニズム：変更が検出された場合にユーザーをリアルタイムに通知するアラートメカニズムを実装します。
- ログ記録：変更の詳細な記録を時間スタンプや変更の情報とともに保持します。このアプリケーションは、ユーザーの設定に基づいて、任意のウェブサイトと特定のコンテンツを監視するようにカスタマイズできます。期待される結果には、ウェブサイトの変更に関する直ちにアラートが含まれ、変更の性質とタイミングを理解するための包括的な変更記録が含まれます。
問題の定義
このプロジェクトの主な目的は、特定のウェブサイトの監視プロセスを効率化することです。Pythonアプリケーションを作成することで、興味のあるウェブサイトの変更を追跡し、カタログ化します。このツールは、ニュース記事、製品リスト、その他のウェブベースのコンテンツの最新の変更について、タイムリーな更新情報を提供します。この追跡プロセスを自動化することで、時間の節約とウェブサイトへの変更や追加に対する即時の認識が確保されます。
アプローチ
このプロジェクトを成功裏に実装するために、以下の手順に従う高レベルのアプローチを取ります：
- プロジェクトでは、BeautifulSoupやScrapyなどの強力なPythonライブラリを使用します。これらのライブラリを使用すると、ウェブサイトから情報を収集し、HTMLコンテンツを取捨選択することが容易になります。
- 始めに、ウェブサイトから情報を取得してベースラインを作成します。このベンチマークデータは、後で変更を特定するのに役立ちます。
- 入力データを設定されたベンチマークと照合して、新しい追加や変更を追跡することができます。テキストの比較やHTML構造の違いの分析など、さまざまな技術を使用する場合があります。
- プロジェクトの実行をログファイルで追跡します。これらのログには、実行時間、追跡されたウェブサイト、および見つかった変更など、有用な詳細が含まれます。これらは、更新を追跡し、パターンを見つけるのに役立ちます。
- システムの一部として、通知機能が統合されます。変更が検出された場合、電子メール、SMS、またはその他の方法でアラートが送信され、ユーザーはリアルタイムに更新されます。
シナリオ
数多くのウェブサイトから子供の活動に関する情報を収集し、自社のウェブサイトにまとめる会社を想像してください。しかし、各ウェブサイトの変更を手動で追跡し、自社プラットフォームを適切に更新することは非常に困難です。ここで、私たちの専門ツールが大いに役立ち、これらの障壁を克服する効率的な解決策を提供します。
監視対象のウェブサイトの例：
私たちは、子供の活動に関する情報を収集するためにさまざまなウェブサイトを監視しています。以下にいくつかの例を示します：
スーパーデューパーテニス
この組織は、2歳から7歳の子供たちにテニスの世界を紹介するためのレッスン、キャンプ、パーティーなど、魅力的なプログラムを提供しています。彼らの焦点はテニスの基礎を教えること、フィットネスと調整を促進すること、そしてスポーツマンシップを育むことです。
ネクストステップブロードウェイ
ジャージーシティにあるこのパフォーミングアーツスクールは、高品質のダンス、声楽、演技のクラスを提供しています。彼らはすべてのスキルレベルの学生に対応し、サポートとインスピレーションにあふれた環境で彼らの創造性と自信を育むことを目指しています。
ニンバススクール
ジャージーシティで名高いこの機関は、すべての年齢とスキルレベルの人々に向けてダンス教育を提供しています。さまざまなダンスジャンルと公演や地域へのアウトリーチプログラムの組織により、彼らは地元の芸術シーンに貢献し、ダンスへの理解を深めています。
私たちは、Webスクレイピングの技術を活用したPythonベースのソリューションを開発しました。選択されたウェブサイトを定期的に監視し、子供の活動に関する情報の変更を検出します。変更が特定されると、ツールは自動的に会社のウェブサイトを更新し、常に最新の情報を反映させます。
ウェブサイトの更新に加えて、ツールは変更の詳細なログを保持し、分析や参照のための貴重なデータを提供します。また、リアルタイムの通知を送信するように設定することもでき、会社のチームに検出された変更を通知します。私たちのツールを利用することで、会社は運用を効率化し、複数の情報源から常に最新の情報をウェブサイトに掲載することができます。
Webスクレイピングに関する注意事項
Webスクレイピングの活動には法的および倫理的な問題が関わる場合があります。スクレイピング活動を行う前に、対象のウェブサイトがスクレイピングを許可しているか、またはウェブサイトの所有者から必要な許可を取得することが重要です。ウェブサイトの利用規約に従い、ポリシーを尊重することが重要です。さらに、リクエストの頻度に注意し、ウェブサイトの運用に支障をきたす可能性のあるプラクティスを避けることも重要です。常に慎重にWebスクレイピングに取り組み、ポジティブで適切な経験を確保するためにベストプラクティスに従ってください。
監視対象のウェブリンクの取得方法
対象のウェブサイトのホームページからページリンクを抽出するために洗練されたアプローチが採用されています。以下は、PythonのBeautifulSoupライブラリを使用してスーパーデューパーテニスのホームページからページリンクを抽出するコードの一部です：
import requests
from bs4 import BeautifulSoup
from urllib.parse import urljoin
import pandas as pd
# ホームページのURL
url = 'https://www.superdupertennis.com/'
# GETリクエストを使用してHTMLコンテンツを取得
response = requests.get(url)
html_content = response.text
# BeautifulSoupを使用してHTMLコンテンツを解析
soup = BeautifulSoup(html_content, 'html.parser')
# <a>タグからページリンクを抽出
links = soup.find_all('a')
# データを格納するためのリストを作成
data = []
for link in links:
page_name = link.text.strip()
# 先頭および末尾の空白を削除し、ページ名を適切にフォーマットする
web_link = link.get('href')
# 'href'属性を取得するためにget()メソッドを使用
if web_link: # テーブルに追加する前に'href'属性が存在するかを確認
complete_link = urljoin(url, web_link)
# urljoinを使用して完全なウェブリンクを構築する
data.append({
'サービスプロバイダー': 'スーパーデューパーテニス',
# 実際のサービスプロバイダー名に更新
'ページ名': page_name,
'完全なウェブリンク': complete_link
})
# データをpandasのDataFrameに変換
df = pd.DataFrame(data)- requests、BeautifulSoup、pandasライブラリなど、必要なツールを取り込みます。また、例えば’https://www.superdupertennis.com/’のような調査したいウェブサイトを選択します。
- requestsライブラリを介してこのURLにGETリクエストが送信されます。ホームページからの結果のHTMLコンテンツは’html_content’に保存されます。
- BeautifulSoupはHTMLコンテンツをレビューし、'<a>’タグを識別します。これらのタグには通常、興味のあるリンクが含まれています。
- 各'<a>’タグは処理され、ページ名と実際のリンクである’href’の値が取り出されます。また、余分なスペースを削除して抽出されたデータを整理しました。
- urllib.parseのurljoin()関数を使用して、ベースURLと各相対リンクを組み合わせて完全なURLを形成します。
- クリーンで準備されたデータは、’data’リストに格納されます。このリストには、サービスプロバイダー名、クリーンなページ名、および完全なURLを含む辞書が含まれています。
- 最後に、pandasを使用して’data’リストをDataFrameに変換します。このDataFrameは、「サービスプロバイダー」、「ページ名」、「完全なウェブリンク」の3つの列に分割されます。
初期データキャプチャ
将来の比較のためのベースラインを確立するために、ウェブサイトから必要なコンテンツをスクレイピングし、データ構造（データベースやファイルなど）に保存して、初期データキャプチャを行います。以下は前のコードの続きです：
for a,b,c in zip(df['Service Provider'].to_list(),
df['Page Name'].to_list(),df['Web link'].to_list()):
url = c
headers = {'User-Agent': 'Mozilla/5.0
(Macintosh; Intel Mac OS X 10_10_1)
AppleWebKit/537.36 (KHTML, like Gecko)
Chrome/39.0.2171.95 Safari/537.36'}
time.sleep(60)
# ページのダウンロード
response = requests.get(url, headers=headers)
# ダウンロードしたホームページの解析
soup = BeautifulSoup(response.text, "lxml")
# スクリプトとスタイルを除去
for script in soup(["script", "style"]):
script.extract()
soup = soup.get_text()
current_ver = soup.splitlines()
with open(r"PATH\{}\{}\{}_{}_{}.txt".
format(a,b,a,b,date.today().strftime
('%Y-%m-%d')),"a",encoding="utf-8") as file:
file.write("\n".join(current_ver))
file.close()pandasのDataFrameを使用して、行を反復処理してサービスプロバイダ、ページ名、ウェブリンクにアクセスします。これらの変数はそれぞれa、b、cに割り当てられます。
反復処理内で、url変数をウェブリンク（c）に設定します。また、requestsライブラリ用にheaders変数を定義します。
リクエスト間の適切な遅延を導入するために、time.sleep()関数を使用して60秒間一時停止します。
次に、指定したURLとヘッダーを使用してページのコンテンツをダウンロードするためにGETリクエストを送信します。レスポンスはresponse変数に格納されます。
「lxml」パーサーを使用してBeautifulSoupを使い、ダウンロードしたホームページを解析し、テキストコンテンツを抽出します。スクリプトとスタイルは解析されたコンテンツから削除されます。
抽出したテキストは行ごとに分割され、current_ver変数に割り当てられます。
最後に、書き込みモードでファイルを開き、current_verのテキストコンテンツを書き込みます。サービスプロバイダ、ページ名、現在の日付に基づいてファイル名を構築することができます。このキャプチャされたデータは、ウェブサイトモニタリングプロジェクトの将来の比較のためのベースラインとして機能します。
比較と変更検出
後続の実行中に、更新されたウェブページのコンテンツを取得し、保存されたベースラインデータと比較して、変更や変更点を特定します。以下は前のスクリプトの続きです：
change_logs = pd.DataFrame()
for provider, page, link in zip(df['Service Provider'].
to_list(), df['Page Name'].to_list(), df['Web link'].to_list()):
files = glob.glob(r"PATH{}{}*.txt".format(provider, page))
files_sorted = sorted(files, key=os.path.getctime, reverse=True)
current_content = open(files_sorted[0], 'r', encoding="utf-8").readlines()
prior_content = open(files_sorted[1], 'r', encoding="utf-8").readlines()
comparison = difflib.context_diff(current_content,
prior_content, n=3, lineterm='\n')
compared_text = "\n".join([line.rstrip() for line
in'\n'.join(comparison).splitlines() if line.strip()])
if compared_text == '':
change_description = 'No alterations detected on '
+ date.today().strftime('%Y-%m-%d') + ' compared to '
+ files_sorted[1].split('_')[2].split('.')[0]
else:
if "We couldn't find the page you were looking for"
in compared_text:
change_description = 'URL modified on ' +
date.today().strftime('%Y-%m-%d') + ' compared to ' +
files_sorted[1].split('_')[2].split('.')[0]
else:
change_description = 'Alterations detected on ' +
date.today().strftime('%Y-%m-%d') + ' compared to ' +
files_sorted[1].split('_')[2].split('.')[0]
temp_log = pd.DataFrame({'Service Provider': pd.Series(provider),
'Section': pd.Series(page), 'Changes': pd.Series
(change_description), 'Link': pd.Series(link)})
change_logs = change_logs.append(temp_log)
comparison = difflib.context_diff(current_content,
prior_content, n=3, lineterm='\n')
compared_text = "\n".join([line.rstrip() for line
in'\n'.join(comparison).splitlines() if line.strip()])
if compared_text == '':
change_description = 'No alterations detected
on ' + date.today().strftime('%Y-%m-%d') +
' compared to ' + files_sorted[1].split('_')[2].split('.')[0]
else:
if "We couldn't find the page you were looking for"
in compared_text:
change_description = 'URL modified on ' +
date.today().strftime('%Y-%m-%d') + ' compared to '
+ files_sorted[1].split('_')[2].split('.')[0]
else:
change_description = 'Alterations detected on '
+ date.today().strftime('%Y-%m-%d') + ' compared to '
+ files_sorted[1].split('_')[2].split('.')[0]
temp_log = pd.DataFrame({'Service Provider':
pd.Series(provider), 'Section': pd.Series(page),
'Changes': pd.Series(change_description), 'Link': pd.Series(link)})
change_logs = change_logs.append(temp_log)私たちは変更の詳細を保存するために、change_logsという名前の空のDataFrameを作成します。pandasのDataFrameを使用して、行ごとにサービスプロバイダ、ページ名、およびウェブページのリンクを取得します。これらをprovider、page、linkとして示します。
ループ内では、以前に保存されたファイルのパターンに一致するファイルのコレクションを収集します。このコレクションはファイルの作成時刻に従ってソートされ、最新のファイルが最初に表示されます。
次に、現在のファイルと前のファイルの内容を比較するために、それぞれの内容を読み取ります。difflib.context_diff()関数は比較を行い、結果をcomparison変数に保存します。
比較されたテキストの内容によって、変更があるか、特定のメッセージがページが存在しないことやURLが変更されたことを示すかを判断することができます。
その後、change_description変数を構築し、前のファイルとの比較のための日付と参照日付を記録します。取得したデータを使用して、サービスプロバイダ、ページ名、変更の説明、およびウェブページのリンクを含む一時的なDataFrameであるtemp_logを生成します。
最後に、temp_logをchange_logs DataFrameに追加し、検出された変更の詳細を収集します。
通知メカニズム
変更を検出した場合にユーザーに通知するための通知メカニズムを利用します。通知の配信にはPythonのライブラリや外部APIを使用することができます。最初に、通知の送信に必要なライブラリをインポートし、選択した方法に応じて、追加のライブラリやAPIをインストールする必要があります。
電子メールの通知では、smtplibライブラリを使用してSMTPサーバーを介して電子メールを送信します。電子メールの資格情報とSMTPサーバーの詳細を提供してください。
以下は、電子メール通知を示すコードの一部です:
import smtplib
def send_email_notification(subject, message, recipient):
sender = '[email protected]'
password = 'your-email-password'
smtp_server = 'smtp.example.com'
smtp_port = 587
email_body = f'Subject: {subject}\n\n{message}'
with smtplib.SMTP(smtp_server, smtp_port) as server:
server.starttls()
server.login(sender, password)
server.sendmail(sender, recipient, email_body)
# 使用方法:
subject = 'ウェブサイトの変更通知'
message = 'ウェブサイトで変更が検出されました。確認してください。'
recipient = '[email protected]'
send_email_notification(subject, message, recipient)SMSの通知では、TwilioやNexmoなどの外部APIを統合することができます。これらのAPIを使用すると、プログラムでSMSメッセージを送信することができます。アカウントに登録し、必要なAPIの資格情報を取得し、対応するPythonライブラリをインストールしてください。
以下は、Twilio APIを使用したSMS通知の例のコードスニペットです:
from twilio.rest import Client
def send_sms_notification(message, recipient):
account_sid = 'your-account-sid'
auth_token = 'your-auth-token'
twilio_number = 'your-twilio-phone-number'
client = Client(account_sid, auth_token)
message = client.messages.create(
body=message,
from_=twilio_number,
to=recipient
)
# 使用方法:
message = 'ウェブサイトで変更が検出されました。確認してください。'
recipient = '+1234567890'
send_sms_notification(message, recipient)ログとレポート
組織はこのスクリプトを頻繁に実行して変更を追跡するため、各実行の出力の記録を保持することが重要です。実行ごとに、時間、所要時間、および検出された変更を記録することで、このプロセスを容易にすることができます。このデータを使用して、時間の経過に伴う傾向を示すサマリーレポートを生成し、ウェブサイトの更新の頻度と性質を理解するのに役立てることができます。
適切なライブラリをインポートするために、Pythonのloggingライブラリを含む適切なライブラリをインポートします。同時に、ログレベルとログファイルの形式を設定する必要があります。
import logging
# ロギング設定の構成
logging.basicConfig(filename='website_monitoring.log',
level=logging.INFO, format='%(asctime)s - %(levelname)s - %(message)s')
# 情報メッセージを記録する
logging.info('ウェブサイトの監視を開始しました。')
# 検出された変更を記録する
logging.info('変更が{date}に検出されました: {details}'
.format(date='2023-06-15', details='ホームページのコンテンツが更新されました。'))
# エラーメッセージを記録する
logging.error('ウェブサイトのコンテンツの取得中にエラーが発生しました。')ログデータからレポートを生成するために、matplotlibやseabornのようなライブラリを使用して、時間の経過に伴う変更の要約を示す視覚化を作成することができます。レポートや視覚化の選択は、追跡される変更によって異なります。
以下は、変更の頻度を示す簡単な折れ線グラフを生成するためのコードスニペットの例です:
import matplotlib.pyplot as plt
import pandas as pd
# ログファイルをpandasのDataFrameに読み込む
log_data = pd.read_csv('website_monitoring.log',
delimiter=' - ', header=None, names=['Timestamp', 'Level', 'Message'])
# Timestamp列をdatetime形式に変換する
log_data['Timestamp'] = pd.to_datetime(log_data
['Timestamp'], format='%Y-%m-%d %H:%M:%S')
# 日付ごとにデータをグループ化し、1日あたりの変更回数をカウントする
changes_per_day = log_data[log_data['Level'] == 'INFO']
.groupby(log_data['Timestamp'].dt.date).size()
# 時間経過に応じて変更をプロットする
plt.plot(changes_per_day.index, changes_per_day.values)
plt.xlabel('日付')
plt.ylabel('変更回数')
plt.title('ウェブサイトのコンテンツの時間経過による変更')
plt.xticks(rotation=45)
plt.show()制約事項
プロジェクトの実装中には、いくつかの課題が発生する可能性があり、慎重な考慮が必要です。これらの制約事項には、ウェブサイトの構造の変更、法的または倫理的な制約、ウェブスクレイピングやデータ比較プロセスのエラーが含まれます。
ウェブサイトの構造の変更：ダイナミックなウェブサイトはしばしば変更が加わり、ウェブスクレイピングプロセスに影響を与えます。これらの変更に対応するために、スクレイピングコードを適応させる必要があります。定期的なモニタリングとスクレイピングコードの更新により、進化するウェブサイトの構造との互換性が確保できます。
法的および倫理的な制約：ウェブスクレイピングでは法的および倫理的なガイドラインに従うことが重要です。ウェブサイトにはスクレイピングを禁止する利用規約がある場合や、データ収集に制限がある場合があります。これらの規約を尊重し、スクレイピングしたデータを責任を持って使用することは、遵守を確保するために重要です。
ウェブスクレイピングとデータ比較のエラー：ウェブスクレイピングには外部ウェブサイトとのやり取りが伴いますので、エラーが発生する可能性があります。スクレイピング中に接続の失敗、タイムアウト、またはサーバーの問題が発生する場合があります。このような状況に対応するために堅牢なエラーハンドリングメカニズムを使用することが重要です。さらに、データ比較プロセスの正確性を確保し、偽の陽性や陰性などの潜在的なエラーを考慮することは、信頼性のある結果を得るために重要です。
許可とウェブサイトのポリシー：ウェブスクレイピングを開始する前に、対象のウェブサイトがスクレイピングを許可しているか、ウェブサイトのオーナーから必要な許可を取得するかを確認することが重要です。ウェブサイトのrobots.txtファイルを遵守し、利用規約を尊重し、リクエストの頻度に注意することは、ポリシー違反を避けるための重要な考慮事項です。
結論
まとめると、このプロジェクトはウェブスクレイピングを通じてウェブサイトの更新を追跡するための強力なPythonツールを成功裏に作成しました。ウェブスクレイピング、データ比較、通知、ログ、レポートなど、重要な機能を備えたツールを開発しました。
このプロジェクトを通じて、HTMLの理解を深め、テキスト処理のスキルを磨き、データ操作の技術をマスターしました。BeautifulSoupとrequestsの機能を活用して、Pythonを使用したウェブスクレイピングと自動化タスクに熟練しました。さらに、堅牢なエラーハンドリングメカニズムを開発し、データ分析とレポート作成の専門知識を獲得しました。
私たちのツールは、ニュース記事や製品リストなどのウェブコンテンツの変更を追跡するための信頼性のあるソリューションです。プロセスを自動化することで、手動の更新の必要性を排除し、情報が常に最新かつ正確であることを保証します。
この旅を通じて、以下のような貴重な知識とスキルを得ました：
- BeautifulSoupとrequestsを使用したウェブスクレイピングの技術。
- HTML構造から価値ある情報を効果的に抽出する方法。
- プロセスを効率化するためのタスクの自動化。
- ウェブスクレイピング手順の堅牢なエラーハンドリング。
- 変更を特定するための高度なデータ分析と比較。
- 効率的な追跡と洞察に役立つ包括的な通知、ログ、レポートの作成。
よくある質問
この記事に表示されているメディアはAnalytics Vidhyaの所有物ではなく、著者の裁量で使用されています。
We will continue to update VoAGI; if you have any questions or suggestions, please contact us!
Was this article helpful?
93 out of 132 found this helpful
Related articles
