【業務自動化】Chapter4-3：動的ページをスクレイピングしよう

import openpyxl, pathlib, sys
from tkinter import messagebox
from selenium import webdriver
from selenium.webdriver.chrome.options import Options
from selenium.webdriver.common.by import By
# openpyxl: Excelファイルの操作
# pathlib: ファイルやフォルダのパス操作
# sys: 実行環境の判定や終了処理
# tkinter.messagebox: エラーや完了メッセージをポップアップで表示
# selenium: ブラウザを自動操作して、動的ページを扱うためのライブラリ

# === 実行環境に応じた基準ディレクトリ ===
if getattr(sys, 'frozen', False):
    BASE_DIR = pathlib.Path(sys.executable).parent
else:
    BASE_DIR = pathlib.Path(__file__).parent

file_path = BASE_DIR / "workbooks"
file_path.mkdir(exist_ok=True)

output_file = file_path / "news_dynamic.xlsx"

# === Seleniumの設定 ===
options = Options()
options.add_argument("--headless")  # ブラウザ画面を表示せずに処理（ヘッドレスモード）
driver = webdriver.Chrome(options=options)  # Chromeブラウザを起動

# === 動的ページのURL ===
url = "https://news.yahoo.co.jp/"  # サンプルとしてYahoo!ニュースを使用
try:
    # 指定したページを開く
    driver.get(url)
    # 要素が出るまで最大5秒間待機（ページ読み込みが遅い場合の対策）
    driver.implicitly_wait(5)
except Exception as e:
    # ページが開けなかった場合はエラーメッセージを表示して終了
    messagebox.showerror("エラー", f"ニュースページを開けませんでした\n{e}")
    driver.quit()
    sys.exit(1)

# === ニュース見出しを取得 ===
# ページ内のリンク（<a>タグ）をすべて取得
news_elements = driver.find_elements(By.TAG_NAME, "a")
new_data = []
for elem in news_elements:
    # <a>タグのテキスト部分（リンク文字列）を取得
    title = elem.text.strip()
    # リンク先のURLを取得
    link = elem.get_attribute("href")

    # タイトルとリンクが存在し、かつYahooニュース内の記事のみを抽出
    if title and link and "news.yahoo.co.jp" in link:
        new_data.append((title, link))

# 使い終わったブラウザを閉じる
driver.quit()

# ニュースが1つも取得できなかった場合はエラーメッセージを出して終了
if not new_data:
    messagebox.showerror("エラー", "ニュース見出しが取得できませんでした")
    sys.exit(1)

# === 既存ファイルの読み込み（差分更新用） ===
existing_titles = set()  # すでに保存済みの見出しタイトルを格納する集合

if output_file.exists():
    # 既存のExcelファイルを開く
    book = openpyxl.load_workbook(output_file)
    sheet = book.active
    # 2行目以降（データ部分）の「タイトル列」を読み込み、重複判定用に格納
    for row in sheet.iter_rows(min_row=2, values_only=True):
        if row[0]:
            existing_titles.add(row[0])
else:
    # Excelファイルが存在しない場合は新しく作成
    book = openpyxl.Workbook()
    sheet = book.active
    sheet.title = "ニュース一覧"
    # 1行目にヘッダーを追加
    sheet.append(["タイトル", "リンク"])

# === 新しいニュースのみを追加 ===
added_count = 0  # 新しく追加された件数をカウント
for title, link in new_data:
    # すでに存在するタイトルは追加しない（差分更新）
    if title not in existing_titles:
        sheet.append([title, link])
        added_count += 1

# === 保存 ===
book.save(output_file)

# === 完了メッセージ ===
if added_count > 0:
    # 新しいニュースが追加された場合は件数と保存先を通知
    messagebox.showinfo("完了", f"{added_count} 件の新しいニュースを追加しました\n保存先: {output_file}")
else:
    # 新しいニュースがなかった場合の通知
    messagebox.showinfo("完了", "新しいニュースはありませんでした")

options = Options()
options.add_argument("--headless")  # 画面を表示せず実行
driver = webdriver.Chrome(options=options)

driver.get(url)
driver.implicitly_wait(5)

news_elements = driver.find_elements(By.TAG_NAME, "a")
for elem in news_elements:
    title = elem.text.strip()
    link = elem.get_attribute("href")

existing_titles = set()
if output_file.exists():
    book = openpyxl.load_workbook(output_file)
    sheet = book.active
    for row in sheet.iter_rows(min_row=2, values_only=True):
        if row[0]:
            existing_titles.add(row[0])

for title, link in new_data:
    if title not in existing_titles:
        sheet.append([title, link])

if added_count > 0:
    messagebox.showinfo("完了", f"{added_count} 件の新しいニュースを追加しました\n保存先: {output_file}")
else:
    messagebox.showinfo("完了", "新しいニュースはありませんでした")