1
2
3
4
5
6
7

# 仮想環境の作成とアクティベート
python -m venv .venv
source .venv/bin/activate

# OpenClawと必要なライブラリのインストール
pip install openclaw
pip install python-dotenv # .envファイルでAPIキーを管理するため

1
2

claw new confluence_crawler
cd confluence_crawler

1
2
3
4
5
6
7
8

import scrapy

class ConfluencePageItem(scrapy.Item):
    # 収集するデータのフィールドを定義
    url = scrapy.Field()
    title = scrapy.Field()
    content = scrapy.Field()
    summary = scrapy.Field() # LLMによる要約を格納するフィールド

 1
 2
 3
 4
 5
 6
 7
 8
 9
10
11
12
13
14
15
16
17
18
19
20
21
22
23
24
25
26
27
28
29
30
31
32
33
34
35
36
37
38
39
40
41
42
43
44
45
46
47
48
49
50
51
52
53
54
55
56
57
58
59
60
61
62
63
64
65
66
67
68
69
70
71
72
73
74
75
76

import scrapy
from confluence_crawler.items import ConfluencePageItem

class ConfluenceSpider(scrapy.Spider):
    name = "confluence"
    
    # .envファイルなどから設定を読み込むことを推奨
    # ここでは例として直接記述
    CONFLUENCE_BASE_URL = "https://your-company.atlassian.net"
    LOGIN_URL = f"{CONFLUENCE_BASE_URL}/login"
    START_URL = f"{CONFLUENCE_BASE_URL}/wiki/spaces/YOUR_SPACE_KEY/pages"
    USERNAME = "your-email@example.com"
    PASSWORD = "your-password-or-api-token" # APIトークンの使用を推奨

    def start_requests(self):
        # 最初にログインページにアクセス
        yield scrapy.Request(
            url=self.LOGIN_URL,
            callback=self.login,
            dont_filter=True
        )

    def login(self, response):
        # ログインフォームに認証情報をPOST
        # CSRFトークンなどが必要な場合は、responseから抽出して含める
        # Confluenceのログイン仕様に合わせて調整が必要
        return scrapy.FormRequest.from_response(
            response,
            formdata={
                "username": self.USERNAME,
                "password": self.PASSWORD
            },
            callback=self.after_login
        )

    def after_login(self, response):
        # ログインが成功したかを確認
        # ログイン後のリダイレクト先やページの内容で判断
        if "dashboard" in response.url:
            self.logger.info("Login successful!")
            # ログイン成功後、目的のページの巡回を開始
            yield scrapy.Request(url=self.START_URL, callback=self.parse_space)
        else:
            self.logger.error("Login failed!")

    def parse_space(self, response):
        # スペース内のページ一覧から各ページへのリンクをたどる
        # CSSセレクタは実際のConfluenceのHTML構造に合わせて調整
        page_links = response.css('a.content-list-item-title::attr(href)').getall()
        for link in page_links:
            yield response.follow(link, callback=self.parse_page)

        # 「次へ」のリンクがあればたどる（ページネーション対応）
        next_page = response.css('a.pagination-next::attr(href)').get()
        if next_page:
            yield response.follow(next_page, callback=self.parse_space)

    def parse_page(self, response):
        # ページから情報を抽出
        item = ConfluencePageItem()
        item['url'] = response.url
        
        # タイトルを抽出
        item['title'] = response.css('h1#title-text a::text').get() or \
                        response.css('h1#title-text::text').get()

        # 本文を抽出（メインコンテンツエリアを指定）
        # このセレクタが最も重要で、サイトの構造に合わせて調整が必要
        content_html = response.css('div#main-content').get()
        
        # HTMLタグを除去してプレーンテキストにする
        from w3lib.html import remove_tags
        item['content'] = remove_tags(content_html).strip()

        # Itemをパイプラインに渡す
        yield item

1

pip install openai

 1
 2
 3
 4
 5
 6
 7
 8
 9
10
11
12
13
14
15
16
17
18
19
20
21
22
23
24
25
26
27
28
29
30
31
32
33
34
35
36
37
38
39
40
41
42
43
44
45
46
47
48
49
50
51
52
53
54
55
56
57
58
59
60
61
62
63
64
65

import os
from dotenv import load_dotenv
from openai import OpenAI
from itemadapter import ItemAdapter

# .envファイルから環境変数を読み込む
load_dotenv()

class LlmSummaryPipeline:
    def open_spider(self, spider):
        # Spider開始時に呼び出される
        api_key = os.getenv("OPENAI_API_KEY")
        if not api_key:
            raise ValueError("OPENAI_API_KEY is not set in .env file")
        self.client = OpenAI(api_key=api_key)
        spider.logger.info("LLM Summary Pipeline is enabled.")

    def close_spider(self, spider):
        # Spider終了時に呼び出される
        spider.logger.info("LLM Summary Pipeline is finished.")

    def process_item(self, item, spider):
        # 各Itemがパイプラインを通過するたびに呼び出される
        adapter = ItemAdapter(item)
        content = adapter.get('content')

        if not content:
            adapter['summary'] = "Content is empty."
            return item

        # 長すぎるコンテンツはLLMに渡す前に切り詰める
        max_tokens_for_content = 8000  # モデルのコンテキスト長に応じて調整
        truncated_content = content[:max_tokens_for_content]

        try:
            # LLMに要約を依頼するプロンプト
            prompt = f"""
            以下の社内Wikiのページ内容を、3つの箇条書きで簡潔に要約してください。
            このページが「誰の」「どんな課題を解決する」ためのドキュメントなのかが明確にわかるようにしてください。

            ---
            {truncated_content}
            ---
            """
            
            response = self.client.chat.completions.create(
                model="gpt-4o",  # または "gpt-3.5-turbo" など
                messages=[
                    {"role": "system", "content": "あなたは優秀なアシスタントです。渡された文章を的確に要約します。"},
                    {"role": "user", "content": prompt}
                ],
                temperature=0.3,
                max_tokens=500
            )
            
            summary = response.choices[0].message.content.strip()
            adapter['summary'] = summary
            spider.logger.info(f"Successfully summarized: {adapter.get('title')}")

        except Exception as e:
            adapter['summary'] = f"Failed to generate summary: {e}"
            spider.logger.error(f"Error during summarization for {adapter.get('url')}: {e}")

        # 次のパイプライン（または出力）にItemを渡す
        return item

 1
 2
 3
 4
 5
 6
 7
 8
 9
10
11
12
13
14
15
16
17
18
19
20
21
22
23

# ... (他の設定) ...

# 作成したパイプラインを有効にする
# 数値が小さいほど先に実行される
ITEM_PIPELINES = {
   'confluence_crawler.pipelines.LlmSummaryPipeline': 300,
}

# 結果をJSONファイルに出力する設定
FEEDS = {
    'output.json': {
        'format': 'json',
        'encoding': 'utf8',
        'store_empty': False,
        'fields': ['title', 'url', 'summary'], # 出力するフィールドを指定
        'indent': 4,
    },
}

# クローリングの挙動に関する設定
ROBOTSTXT_OBEY = False # 社内Wikiなのでrobots.txtは無視
DOWNLOAD_DELAY = 1 # サーバーに負荷をかけないように1秒待つ
# ... (他の設定) ...

1

claw crawl confluence

 1
 2
 3
 4
 5
 6
 7
 8
 9
10
11
12

[
    {
        "title": "【設計書】〇〇機能のAPI仕様",
        "url": "https://your-company.atlassian.net/wiki/spaces/DEV/pages/12345/API",
        "summary": "・このドキュメントは、〇〇機能のバックエンドAPIを利用するクライアント開発者を対象としています。\n・APIのエンドポイント一覧、リクエスト/レスポンスのフォーマット、認証方法について詳細に解説しています。\n・クライアント実装時に発生しがちなエラーコードとその対処法も網羅しており、開発効率の向上を目的としています。"
    },
    {
        "title": "新メンバー向けオンボーディングガイド",
        "url": "https://your-company.atlassian.net/wiki/spaces/DEV/pages/67890/",
        "summary": "・このガイドは、新しく開発チームに参加したメンバーがスムーズに業務を開始できるようにするためのものです。\n・開発環境のセットアップ手順、主要なリポジトリへのアクセス方法、チームのコミュニケーションルールについて説明しています。\n・最初の1週間で取り組むべきタスクリストが提示されており、早期の戦力化をサポートします。"
    }
]