身近なAIサービスに潜むリスク:チャットするだけでアカウントが奪われる?

近年、ChatGPTをはじめとする生成AI(人工知能)サービスは、私たちの仕事や学習、日常の調べものに欠かせないツールとなりました。指示文を入力するだけで、瞬時にわかりやすい回答を作成してくれたり、プログラムのコードを書き上げてくれたりするため、日々の業務効率化に役立てている方も多いのではないでしょうか。
しかし、こうした便利なAIツールを安心して使っている裏で、「ただAIとやり取りをしているだけ」「画面に表示された結果を見ているだけ」で、自分のアカウントや会話データが他人に奪われてしまう危険性が存在するとしたらどうでしょうか。
セキュリティ研究機関であるParameter Labsは、ChatGPTの実装に存在した重大な脆弱性(セキュリティ上の欠陥)に関する報告を行いました。その内容は、ChatGPTの特定機能である「Canvas(旧称。最新の改訂ではHTMLプレビューなどと呼ばれます)」を悪用し、アカウントを乗っ取ることができてしまうという衝撃的なものです。
一見すると、Webサイトの閲覧やAIとの対話は安全な操作に思えます。しかし、AIに意図しない挙動を行わせる「プロンプトエンジニアリング」の手法が悪用された結果、本来保護されているはずのアカウント情報や機密データが外部へ漏洩する仕組みが作られてしまいました。
専門的な知識がない読者の方にとっても、これは決して遠い世界の話ではありません。仕事で社外のデータをAIに読み込ませたり、インターネット上で共有されている「便利なプロンプト(指示文)」をコピーしてChatGPTに貼り付けたりする行為が、思わぬ被害につながるリスクを示しているからです。本記事では、この脆弱性がどのような仕組みで発生したのか、なぜプロンプトエンジニアリングが悪用されたのか、そして私たちが今後どのように安全にAIを利用すべきなのかを分かりやすく解説します。
どのような攻撃が行われたのか:Canvas機能とプロンプトエンジニアリングの悪用
今回のエクスプロイト(脆弱性を突いた攻撃)の核心を理解するためには、ChatGPTに搭載されている「Canvas(HTMLプレビュー)」という機能と、AIの命令文を設計する「プロンプトエンジニアリング」の関係性を知る必要があります。
1. Canvas(HTMLプレビュー機能)とは何か
ChatGPTには、単にテキストで回答を返すだけでなく、生成されたWebページ(HTML)やプログラムコードを、画面上の独立した枠内で直接レンダリング(描画・実行)してプレビュー表示する機能があります。以前は「Canvas」と呼ばれていましたが、システムの更新により「HTMLプレビュー」といった名称でも扱われています。
この機能を使うと、ユーザーは自分で作成したWebデザインや簡易的なWebアプリケーションの動きを、ブラウザ上で即座に確認できます。非常に便利な機能である反面、Webブラウザ上でプログラム(JavaScriptなど)を動作させるため、厳重なセキュリティ管理が求められる部分でもあります。
2. プロンプトエンジニアリングの「光と影」
「プロンプトエンジニアリング」とは、本来、AIから望ましい出力や精度の高い回答を引き出すために、入力する指示文(プロンプト)の構造や表現を工夫する技術のことです。例えば、「あなたはプロのライターです。以下の条件で記事を書いてください」といった役割設定や、出力形式を指定するノウハウがこれに該当します。
しかし、プロンプトエンジニアリングは「AIの動作ルールを上書きする」「開発者が設定した安全装置を回避して意図しない挙動をさせる」ためにも利用できてしまいます。このようにAIを悪用・誤作動させる技術は「プロンプトインジェクション(指示の挿入・乗っ取り)」と呼ばれ、プロンプトエンジニアリングの悪質な応用例として問題視されています。
3. アカウント乗っ取りに至るシナリオ
Parameter Labsが実証した攻撃では、このプロンプトエンジニアリングの手法を用いて、ChatGPTに対して「悪意のあるプログラムコードを含んだHTML」を生成させるよう誘導しました。具体的な流れは以下の通りです。
- 悪意ある指示の注入: 攻撃者は、外部のWebサイトや悪意のあるファイル、あるいは第三者に共有するプロンプトの中に、AIの指示を乗っ取る隠された命令(プロンプトインジェクション)を忍ばせます。
- 不正なコードの生成: ChatGPTがその指示を読み込むと、開発側の意図に反して、攻撃者が仕込んだ特殊なJavaScriptコードを含むHTMLコンテンツを出力・生成してしまいます。
- HTMLプレビューでの実行: ユーザーがChatGPT上でその生成結果(Canvas/HTMLプレビュー)を表示した際、ブラウザ内で悪意あるプログラムが自動的に実行されます。
- セキュリティ境界の突破とデータ送信: 本来であれば、生成されたコンテンツは「サンドボックス」と呼ばれる安全な隔離空間で実行され、親画面(ChatGPT本体のアカウント情報や通信トークン)にはアクセスできないはずでした。しかし、実装上の不備をつくことでこの隔離を突破し、ログイン中のユーザーのアカウント情報や会話履歴を取得して、攻撃者の外部サーバーへ送信させることに成功しました。
結果として、被害を受けたユーザーは特別な操作をした自覚がないまま、アカウントの権限や過去の会話データを第三者に奪われてしまう状態(アカウント乗っ取り)が引き起こされたのです。
専門用語の分かりやすい整理
今回のニュースやセキュリティの話題では、多くの技術用語が登場します。ここで改めて、主要な専門用語を平易な言葉に言い換えて整理しておきましょう。
- プロンプトエンジニアリング(指示文の設計技術) AIに対する「指示の出し方」を工夫することです。AIに期待通りの仕事をさせるための技術ですが、指示の出し方次第でAIの制約を無視させたり、危険な出力をさせたりすることも可能になってしまいます。
- プロンプトインジェクション(指示の乗っ取り) Webサイト上のテキストや外部ファイルなどに悪意ある指示を潜ませておき、AIにそれを読み込ませることで、本来の動作ルールを無視させて攻撃者の意図通りに動かす攻撃手法です。
- Canvas / HTMLプレビュー(画面上の簡易Web表示機能) ChatGPTが作成したWebページのコードなどを、別ウィンドウのようにその場で表示・動かして確認できる機能です。
- サンドボックス(安全な隔離部屋) プログラムが暴走したり悪意のある動きをしたりしても、パソコンや他の大事なデータに影響を与えないように準備された「鍵のかかった実験室」のような空間です。今回の脆弱性では、この隔離部屋の鍵や壁の隙間が突かれてしまいました。
- エクスプロイト(脆弱性を攻撃するプログラムや手法) システムの不具合やセキュリティ上の欠陥(脆弱性)を利用して、不正アクセスやデータ窃取などの攻撃を成功させる具体的な手段のことです。
利用者が知っておくべき注意点とセキュリティ対策
今回の脆弱性に関する報告は、生成AIを利用する私たち全員に対して重要な教訓を与えています。AIが生成した結果を画面で確認するだけでもリスクが生じ得る時代において、個人ユーザーおよび企業・開発者はどのような点に注意すべきでしょうか。
個人・ビジネスユーザーが気をつけるべき注意点
- 出所不明のプロンプトやファイルを不用意に読み込ませない インターネット上で「業務が劇的に効率化する魔法のプロンプト」や「ChatGPTに読み込ませるだけで自動分析してくれるデータ」として配布されているものの中には、悪意ある指示(プロンプトインジェクション)が隠されている可能性があります。信頼できないソースから入手したテキストやファイルをAIに入力させるのは避けましょう。
- 共有された会話リンクの扱いに注意する 他人が作成したChatGPTの共有会話リンクを開く際も注意が必要です。リンク先の会話内に悪意あるコードを生成させる仕掛けが含まれている場合、アクセスしてプレビューを表示しただけで影響を受けるリスクがあります。
- 公式のセキュリティアップデートとアナウンスを確認する AIサービスを提供する側(OpenAIなど)は、脆弱性が発見されると速やかに修正パッチやシステムの改訂を適用します。新機能が追加された際やセキュリティ更新が行われた際は、サービス仕様の変更点に目を通す習慣をつけましょう。
システム開発者・サービス提供者が考慮すべき点
- AI出力の徹底した検証と無害化 「AIが生成したテキストやコードだから安全」と過信せず、出力されたデータをWeb上に表示する場合は、悪意あるスクリプトが含まれていないかチェック(サニタイズ)を徹底する必要があります。
- 強固な隔離環境(サンドボックス)の維持 HTMLプレビューやコード実行環境を提供する場合は、メインアプリケーションの認証情報(クッキーやローカルストレージ内のトークン)にアクセスできないよう、生成されるコンテンツの実行環境を完全に隔離しなければなりません。
- プロンプトエンジニアリングの悪用を想定した設計 ユーザーからの入力だけでなく、Web検索結果や読み込んだ外部ドキュメントなど、あらゆる外部データが攻撃コードを含んでいる可能性(間接的プロンプトインジェクション)を考慮したシステム設計が求められます。
なお、一次情報元であるSimon Willison氏のブログ記事で言及されている脆弱性の詳細なコードレベルの実装や、OpenAI側による修正の完了時期・詳細なやり取りのタイムラインなどについては、提供されている一次情報リンクの記述範囲を超えるため、本記事では未確認とさせていただきます。
まとめ:AI時代に求められる新しいセキュリティ意識
今回紹介した「Parameter LabsによるChatGPTのアカウント乗っ取り脆弱性」の事例は、生成AIの急速な発展と普及に伴い、セキュリティの脅威もまた新しい形へと進化していることを明確に示しています。
かつては「怪しいメールの添付ファイルを開かない」「偽サイトでパスワードを入力しない」といった注意が中心でした。しかし今や、AIとの対話やプロンプトエンジニアリングのやり取り、生成された結果のプレビュー表示といった、一見すると安全に思える日常的な操作の中にもリスクが潜むようになっています。
プロンプトエンジニアリングは、AIの可能性を最大限に引き出すための非常に強力なツールです。しかしその一方で、AIの制約を回避し、意図しない動作を引き起こす武器としても使われ得るという「二面性」を持っています。
私たちユーザーに求められるのは、過度な恐れを抱くことではなく、生成AIの便利さを享受しながらも「外部からの入力や指示にはリスクが伴うかもしれない」という健全な警戒心を持つことです。AI技術の進化に合わせて、私たち自身のセキュリティ意識もアップデートしていくことが、今後のAI時代を安全に泳ぎ切るための重要な鍵となるでしょう。