<?xml version="1.0" encoding="utf-8" standalone="yes"?>
<rss version="2.0" xmlns:atom="http://www.w3.org/2005/Atom" xmlns:content="http://purl.org/rss/1.0/modules/content/">
  <channel>
    <title>Web Dev on AI2CORE - AI技術ブログ</title>
    <link>https://www.ai2core.com/categories/web-dev/</link>
    <description>Recent content in Web Dev on AI2CORE - AI技術ブログ</description>
    <generator>Hugo -- 0.146.4</generator>
    <language>ja</language>
    <lastBuildDate>Fri, 20 Feb 2026 12:00:00 +0900</lastBuildDate>
    <atom:link href="https://www.ai2core.com/categories/web-dev/index.xml" rel="self" type="application/rss+xml" />
    <item>
      <title>Vercel AI SDKの新機能：マルチモーダル対応の強化</title>
      <link>https://www.ai2core.com/posts/2026-02-20-vercel-ai-sdk/</link>
      <pubDate>Fri, 20 Feb 2026 12:00:00 +0900</pubDate>
      <guid>https://www.ai2core.com/posts/2026-02-20-vercel-ai-sdk/</guid>
      <description>Vercel AI SDKのアップデートで追加された画像・音声入力のハンドリング手法。</description>
      <content:encoded><![CDATA[<h1 id="vercel-ai-sdkの新機能マルチモーダル対応の強化">Vercel AI SDKの新機能：マルチモーダル対応の強化</h1>
<h2 id="はじめに">はじめに</h2>
<p>テキストベースのチャットボットや文章生成AIが当たり前になった今、開発者の関心は次のステージ、すなわち「マルチモーダルAI」へと急速にシフトしています。ユーザーがアップロードした画像を認識して説明を生成したり、音声で指示を受け付けたりするアプリケーションは、もはやSFの世界の話ではありません。</p>
<p>しかし、このようなリッチな体験を実現しようとすると、開発者は多くの課題に直面します。</p>
<ul>
<li>「画像データをどうやってフロントエンドからサーバーに送ればいいんだろう？」</li>
<li>「OpenAI、Google、Anthropic… 各社で微妙に違うマルチモーダルAPIの仕様を吸収するのが大変だ」</li>
<li>「Base64エンコード？ファイルアップロード？ストリーミングUIとどう組み合わせるの？」</li>
</ul>
<p>これらの悩みは、AIアプリケーションのアイデアを形にする上で大きな障壁となっていました。</p>
<p>そんな中、フロントエンド開発者にとっての福音とも言えるVercel AI SDKが、待望のマルチモーダル対応を大幅に強化しました。このアップデートにより、これまで複雑だった画像や音声データのハンドリングが驚くほどシンプルになり、開発者は本来注力すべきアプリケーションのコアロジックとユーザー体験の向上に集中できるようになったのです。</p>
<p>この記事では、プロの技術ブロガーとして、Vercel AI SDKの最新機能を徹底的に掘り下げます。具体的なコード例を交えながら、画像や音声といった非テキストデータを活用した次世代AIアプリケーションを、いかに効率的に、そして高速に構築できるかをご紹介します。この記事を読み終える頃には、あなたもマルチモーダルAIアプリ開発の最前線に立つ準備が整っているはずです。</p>
<h2 id="なぜ今マルチモーダルaiとvercel-ai-sdkなのか">なぜ今、マルチモーダルAIとVercel AI SDKなのか？</h2>
<p>この新機能の詳細に入る前に、なぜこのトピックがこれほどまでに重要なのか、その背景と課題を整理しておきましょう。</p>
<h3 id="マルチモーダルaiの台頭とユーザー体験の革新">マルチモーダルAIの台頭とユーザー体験の革新</h3>
<p>GPT-4oやClaude 3、Geminiといった最新のLLM（大規模言語モデル）は、テキストだけでなく画像、音声、さらには動画までも理解・生成する能力（マルチモーダル能力）を獲得しています。これにより、可能になるアプリケーションの幅は飛躍的に広がりました。</p>
<ul>
<li><strong>ビジュアルQ&amp;A</strong>: ホワイトボードの写真を撮って「この図をコードに書き起こして」と指示する。</li>
<li><strong>デザイン支援</strong>: Webサイトのスクリーンショットをアップロードして「このデザインの改善点を指摘して」と依頼する。</li>
<li><strong>音声アシスタント</strong>: 音声で「今日の天気と、それに合った服装を提案して」と話しかける。</li>
</ul>
<p>これらはほんの一例ですが、人間が普段行うような、複数の感覚情報を組み合わせたコミュニケーションをAIと行えるようになることで、ユーザー体験はより直感的で豊かなものになります。このトレンドに適応できないアプリケーションは、近い将来、時代遅れと見なされてしまうかもしれません。</p>
<h3 id="従来の実装における複雑さという壁">従来の実装における複雑さという「壁」</h3>
<p>アイデアはあっても、それを実現する道のりは平坦ではありませんでした。マルチモーダルAIアプリを自前で実装しようとすると、以下のような複雑な処理に直面します。</p>
<ol>
<li>
<p><strong>フロントエンドでのデータハンドリング</strong>:</p>
<ul>
<li>ユーザーが選択した画像や音声ファイルをJavaScriptで読み込み、適切な形式（多くはBase64文字列やバイナリデータ）に変換する必要があります。</li>
<li>大きなファイルの場合、UIがフリーズしないよう非同期処理を適切に管理しなければなりません。</li>
</ul>
</li>
<li>
<p><strong>クライアント・サーバー間のデータ転送</strong>:</p>
<ul>
<li>変換したデータをHTTPリクエストのボディに含めてサーバーに送信します。JSONペイロードにBase64文字列を埋め込むのが一般的ですが、データサイズが大きくなりがちで、リクエストサイズの制限に抵触する可能性もあります。</li>
</ul>
</li>
<li>
<p><strong>バックエンドでのAPI差異の吸収</strong>:</p>
<ul>
<li>サーバーサイドでは、受け取ったデータを各AIベンダーのAPI仕様に合わせて再度整形する必要があります。例えば、OpenAIのAPIとAnthropicのAPIでは、画像データの渡し方が異なります。</li>
<li>新しいモデルが登場したり、API仕様が変更されたりするたびに、コードの修正を迫られます。</li>
</ul>
</li>
<li>
<p><strong>ストリーミングとの組み合わせ</strong>:</p>
<ul>
<li>AIの応答をリアルタイムでユーザーに表示するストリーミングは、現代のAIチャットUIには不可欠です。しかし、これにマルチモーダルな入力を組み合わせると、状態管理やエラーハンドリングはさらに複雑になります。</li>
</ul>
</li>
</ol>
<p>これらの課題は、開発者から多くの時間とエネルギーを奪い、イノベーションの足かせとなっていました。</p>
<h3 id="vercel-ai-sdkがもたらす解決策">Vercel AI SDKがもたらす解決策</h3>
<p>Vercel AI SDKは、まさにこの「壁」を打ち破るために生まれました。ReactやNext.jsといったモダンなWebフレームワークと深く統合し、AIアプリケーション開発における定型的な処理を美しく抽象化してくれます。</p>
<p>今回のマルチモーダル対応強化により、SDKは以下の価値を提供します。</p>
<ul>
<li><strong>統一されたAPI</strong>: どのLLMを使うかに関わらず、同じような記述で画像やテキストを送信できます。</li>
<li><strong>シンプルなデータ形式</strong>: フロントエンドでファイルを読み込んだら、あとはSDKの関数に渡すだけ。面倒なエンコードやリクエストの組み立てはSDKが裏側で処理してくれます。</li>
<li><strong>Generative UIとのシームレスな統合</strong>: <code>streamUI</code> や <code>generateUI</code> といった革新的な機能と組み合わせることで、「画像を入力として、動的なUIコンポーネントを生成・ストリーミングする」といった高度なアプリケーションも驚くほど簡単に実装できます。</li>
</ul>
<p>次章から、この強力なSDKを使って、実際にマルチモーダルアプリケーションを構築していく手順を詳しく見ていきましょう。</p>
<h2 id="具体的な実装解説画像と音声でaiと対話する">具体的な実装解説：画像と音声でAIと対話する</h2>
<p>ここからは、Vercel AI SDKを使ってマルチモーダルアプリケーションを構築する具体的な方法を、コードを交えてステップバイステップで解説します。今回はNext.js App Routerを使った実装を例に進めます。</p>
<h3 id="1-環境構築">1. 環境構築</h3>
<p>まずは、Next.jsプロジェクトをセットアップし、必要なパッケージをインストールします。</p>
<div class="highlight"><div style="color:#f8f8f2;background-color:#272822;-moz-tab-size:4;-o-tab-size:4;tab-size:4;">
<table style="border-spacing:0;padding:0;margin:0;border:0;"><tr><td style="vertical-align:top;padding:0;margin:0;border:0;">
<pre tabindex="0" style="color:#f8f8f2;background-color:#272822;-moz-tab-size:4;-o-tab-size:4;tab-size:4;"><code><span style="white-space:pre;-webkit-user-select:none;user-select:none;margin-right:0.4em;padding:0 0.4em 0 0.4em;color:#7f7f7f"> 1
</span><span style="white-space:pre;-webkit-user-select:none;user-select:none;margin-right:0.4em;padding:0 0.4em 0 0.4em;color:#7f7f7f"> 2
</span><span style="white-space:pre;-webkit-user-select:none;user-select:none;margin-right:0.4em;padding:0 0.4em 0 0.4em;color:#7f7f7f"> 3
</span><span style="white-space:pre;-webkit-user-select:none;user-select:none;margin-right:0.4em;padding:0 0.4em 0 0.4em;color:#7f7f7f"> 4
</span><span style="white-space:pre;-webkit-user-select:none;user-select:none;margin-right:0.4em;padding:0 0.4em 0 0.4em;color:#7f7f7f"> 5
</span><span style="white-space:pre;-webkit-user-select:none;user-select:none;margin-right:0.4em;padding:0 0.4em 0 0.4em;color:#7f7f7f"> 6
</span><span style="white-space:pre;-webkit-user-select:none;user-select:none;margin-right:0.4em;padding:0 0.4em 0 0.4em;color:#7f7f7f"> 7
</span><span style="white-space:pre;-webkit-user-select:none;user-select:none;margin-right:0.4em;padding:0 0.4em 0 0.4em;color:#7f7f7f"> 8
</span><span style="white-space:pre;-webkit-user-select:none;user-select:none;margin-right:0.4em;padding:0 0.4em 0 0.4em;color:#7f7f7f"> 9
</span><span style="white-space:pre;-webkit-user-select:none;user-select:none;margin-right:0.4em;padding:0 0.4em 0 0.4em;color:#7f7f7f">10
</span><span style="white-space:pre;-webkit-user-select:none;user-select:none;margin-right:0.4em;padding:0 0.4em 0 0.4em;color:#7f7f7f">11
</span><span style="white-space:pre;-webkit-user-select:none;user-select:none;margin-right:0.4em;padding:0 0.4em 0 0.4em;color:#7f7f7f">12
</span><span style="white-space:pre;-webkit-user-select:none;user-select:none;margin-right:0.4em;padding:0 0.4em 0 0.4em;color:#7f7f7f">13
</span></code></pre></td>
<td style="vertical-align:top;padding:0;margin:0;border:0;;width:100%">
<pre tabindex="0" style="color:#f8f8f2;background-color:#272822;-moz-tab-size:4;-o-tab-size:4;tab-size:4;"><code class="language-bash" data-lang="bash"><span style="display:flex;"><span><span style="color:#75715e"># Next.jsプロジェクトの作成</span>
</span></span><span style="display:flex;"><span>npx create-next-app@latest vercel-ai-multimodal-app
</span></span><span style="display:flex;"><span>
</span></span><span style="display:flex;"><span><span style="color:#75715e"># プロジェクトディレクトリに移動</span>
</span></span><span style="display:flex;"><span>cd vercel-ai-multimodal-app
</span></span><span style="display:flex;"><span>
</span></span><span style="display:flex;"><span><span style="color:#75715e"># Vercel AI SDKと関連パッケージのインストール</span>
</span></span><span style="display:flex;"><span>npm install ai zod-to-json-schema
</span></span><span style="display:flex;"><span>
</span></span><span style="display:flex;"><span><span style="color:#75715e"># UIのためにshadcn/uiなどを入れておくと便利です</span>
</span></span><span style="display:flex;"><span><span style="color:#75715e"># (本記事では省略しますが、実際の開発では推奨します)</span>
</span></span><span style="display:flex;"><span>npx shadcn-ui@latest init
</span></span><span style="display:flex;"><span>npx shadcn-ui@latest add input button
</span></span></code></pre></td></tr></table>
</div>
</div><p>次に、プロジェクトのルートに <code>.env.local</code> ファイルを作成し、使用するAIモデルのAPIキーを設定します。今回はOpenAIのGPT-4oを例にします。</p>
<pre tabindex="0"><code class="language-.env.local" data-lang=".env.local">OPENAI_API_KEY=&#34;sk-...&#34;
</code></pre><h3 id="2-基本的な画像入力チャットの実装">2. 基本的な画像入力チャットの実装</h3>
<p>最も基本的なユースケースとして、「ユーザーが画像をアップロードし、その画像に関する質問をテキストで入力できるチャットUI」を実装します。</p>
<h4 id="データの流れる仕組み">データの流れる仕組み</h4>
<p>実装に入る前に、全体のデータの流れを把握しておきましょう。</p>
<pre tabindex="0"><code class="language-mermaid" data-lang="mermaid">sequenceDiagram
    participant Client as ブラウザ (Reactコンポーネント)
    participant Server as Next.jsサーバー (Server Action)
    participant OpenAI as OpenAI API (GPT-4o)

    Client-&gt;&gt;Client: ユーザーが画像とテキストを入力
    Client-&gt;&gt;Client: 画像をBase64文字列に変換
    Client-&gt;&gt;Server: Server Actionを呼び出し (テキスト + Base64画像)
    Server-&gt;&gt;OpenAI: Vercel AI SDKを使いAPIリクエストを整形・送信
    OpenAI--&gt;&gt;Server: テキスト応答をストリーミング
    Server--&gt;&gt;Client: 応答をクライアントにストリーミング
    Client-&gt;&gt;Client: ストリーミングされたテキストをリアルタイムで表示
</code></pre><p>Vercel AI SDKは、特にサーバーとOpenAI API間の通信を劇的に簡素化してくれます。</p>
<h4 id="サーバーサイドserver-actionの作成">サーバーサイド：Server Actionの作成</h4>
<p>まず、AIとの通信を担うサーバーサイドのロジックを <code>app/actions.ts</code> に実装します。React Server Components（RSC）とServer Actionsの組み合わせは、Vercel AI SDKと非常に相性が良いです。</p>
<div class="highlight"><div style="color:#f8f8f2;background-color:#272822;-moz-tab-size:4;-o-tab-size:4;tab-size:4;">
<table style="border-spacing:0;padding:0;margin:0;border:0;"><tr><td style="vertical-align:top;padding:0;margin:0;border:0;">
<pre tabindex="0" style="color:#f8f8f2;background-color:#272822;-moz-tab-size:4;-o-tab-size:4;tab-size:4;"><code><span style="white-space:pre;-webkit-user-select:none;user-select:none;margin-right:0.4em;padding:0 0.4em 0 0.4em;color:#7f7f7f"> 1
</span><span style="white-space:pre;-webkit-user-select:none;user-select:none;margin-right:0.4em;padding:0 0.4em 0 0.4em;color:#7f7f7f"> 2
</span><span style="white-space:pre;-webkit-user-select:none;user-select:none;margin-right:0.4em;padding:0 0.4em 0 0.4em;color:#7f7f7f"> 3
</span><span style="white-space:pre;-webkit-user-select:none;user-select:none;margin-right:0.4em;padding:0 0.4em 0 0.4em;color:#7f7f7f"> 4
</span><span style="white-space:pre;-webkit-user-select:none;user-select:none;margin-right:0.4em;padding:0 0.4em 0 0.4em;color:#7f7f7f"> 5
</span><span style="white-space:pre;-webkit-user-select:none;user-select:none;margin-right:0.4em;padding:0 0.4em 0 0.4em;color:#7f7f7f"> 6
</span><span style="white-space:pre;-webkit-user-select:none;user-select:none;margin-right:0.4em;padding:0 0.4em 0 0.4em;color:#7f7f7f"> 7
</span><span style="white-space:pre;-webkit-user-select:none;user-select:none;margin-right:0.4em;padding:0 0.4em 0 0.4em;color:#7f7f7f"> 8
</span><span style="white-space:pre;-webkit-user-select:none;user-select:none;margin-right:0.4em;padding:0 0.4em 0 0.4em;color:#7f7f7f"> 9
</span><span style="white-space:pre;-webkit-user-select:none;user-select:none;margin-right:0.4em;padding:0 0.4em 0 0.4em;color:#7f7f7f">10
</span><span style="white-space:pre;-webkit-user-select:none;user-select:none;margin-right:0.4em;padding:0 0.4em 0 0.4em;color:#7f7f7f">11
</span><span style="white-space:pre;-webkit-user-select:none;user-select:none;margin-right:0.4em;padding:0 0.4em 0 0.4em;color:#7f7f7f">12
</span><span style="white-space:pre;-webkit-user-select:none;user-select:none;margin-right:0.4em;padding:0 0.4em 0 0.4em;color:#7f7f7f">13
</span><span style="white-space:pre;-webkit-user-select:none;user-select:none;margin-right:0.4em;padding:0 0.4em 0 0.4em;color:#7f7f7f">14
</span><span style="white-space:pre;-webkit-user-select:none;user-select:none;margin-right:0.4em;padding:0 0.4em 0 0.4em;color:#7f7f7f">15
</span><span style="white-space:pre;-webkit-user-select:none;user-select:none;margin-right:0.4em;padding:0 0.4em 0 0.4em;color:#7f7f7f">16
</span><span style="white-space:pre;-webkit-user-select:none;user-select:none;margin-right:0.4em;padding:0 0.4em 0 0.4em;color:#7f7f7f">17
</span><span style="white-space:pre;-webkit-user-select:none;user-select:none;margin-right:0.4em;padding:0 0.4em 0 0.4em;color:#7f7f7f">18
</span><span style="white-space:pre;-webkit-user-select:none;user-select:none;margin-right:0.4em;padding:0 0.4em 0 0.4em;color:#7f7f7f">19
</span><span style="white-space:pre;-webkit-user-select:none;user-select:none;margin-right:0.4em;padding:0 0.4em 0 0.4em;color:#7f7f7f">20
</span><span style="white-space:pre;-webkit-user-select:none;user-select:none;margin-right:0.4em;padding:0 0.4em 0 0.4em;color:#7f7f7f">21
</span><span style="white-space:pre;-webkit-user-select:none;user-select:none;margin-right:0.4em;padding:0 0.4em 0 0.4em;color:#7f7f7f">22
</span><span style="white-space:pre;-webkit-user-select:none;user-select:none;margin-right:0.4em;padding:0 0.4em 0 0.4em;color:#7f7f7f">23
</span><span style="white-space:pre;-webkit-user-select:none;user-select:none;margin-right:0.4em;padding:0 0.4em 0 0.4em;color:#7f7f7f">24
</span><span style="white-space:pre;-webkit-user-select:none;user-select:none;margin-right:0.4em;padding:0 0.4em 0 0.4em;color:#7f7f7f">25
</span><span style="white-space:pre;-webkit-user-select:none;user-select:none;margin-right:0.4em;padding:0 0.4em 0 0.4em;color:#7f7f7f">26
</span><span style="white-space:pre;-webkit-user-select:none;user-select:none;margin-right:0.4em;padding:0 0.4em 0 0.4em;color:#7f7f7f">27
</span><span style="white-space:pre;-webkit-user-select:none;user-select:none;margin-right:0.4em;padding:0 0.4em 0 0.4em;color:#7f7f7f">28
</span><span style="white-space:pre;-webkit-user-select:none;user-select:none;margin-right:0.4em;padding:0 0.4em 0 0.4em;color:#7f7f7f">29
</span><span style="white-space:pre;-webkit-user-select:none;user-select:none;margin-right:0.4em;padding:0 0.4em 0 0.4em;color:#7f7f7f">30
</span><span style="white-space:pre;-webkit-user-select:none;user-select:none;margin-right:0.4em;padding:0 0.4em 0 0.4em;color:#7f7f7f">31
</span><span style="white-space:pre;-webkit-user-select:none;user-select:none;margin-right:0.4em;padding:0 0.4em 0 0.4em;color:#7f7f7f">32
</span><span style="white-space:pre;-webkit-user-select:none;user-select:none;margin-right:0.4em;padding:0 0.4em 0 0.4em;color:#7f7f7f">33
</span><span style="white-space:pre;-webkit-user-select:none;user-select:none;margin-right:0.4em;padding:0 0.4em 0 0.4em;color:#7f7f7f">34
</span><span style="white-space:pre;-webkit-user-select:none;user-select:none;margin-right:0.4em;padding:0 0.4em 0 0.4em;color:#7f7f7f">35
</span><span style="white-space:pre;-webkit-user-select:none;user-select:none;margin-right:0.4em;padding:0 0.4em 0 0.4em;color:#7f7f7f">36
</span><span style="white-space:pre;-webkit-user-select:none;user-select:none;margin-right:0.4em;padding:0 0.4em 0 0.4em;color:#7f7f7f">37
</span><span style="white-space:pre;-webkit-user-select:none;user-select:none;margin-right:0.4em;padding:0 0.4em 0 0.4em;color:#7f7f7f">38
</span><span style="white-space:pre;-webkit-user-select:none;user-select:none;margin-right:0.4em;padding:0 0.4em 0 0.4em;color:#7f7f7f">39
</span><span style="white-space:pre;-webkit-user-select:none;user-select:none;margin-right:0.4em;padding:0 0.4em 0 0.4em;color:#7f7f7f">40
</span><span style="white-space:pre;-webkit-user-select:none;user-select:none;margin-right:0.4em;padding:0 0.4em 0 0.4em;color:#7f7f7f">41
</span><span style="white-space:pre;-webkit-user-select:none;user-select:none;margin-right:0.4em;padding:0 0.4em 0 0.4em;color:#7f7f7f">42
</span><span style="white-space:pre;-webkit-user-select:none;user-select:none;margin-right:0.4em;padding:0 0.4em 0 0.4em;color:#7f7f7f">43
</span><span style="white-space:pre;-webkit-user-select:none;user-select:none;margin-right:0.4em;padding:0 0.4em 0 0.4em;color:#7f7f7f">44
</span><span style="white-space:pre;-webkit-user-select:none;user-select:none;margin-right:0.4em;padding:0 0.4em 0 0.4em;color:#7f7f7f">45
</span><span style="white-space:pre;-webkit-user-select:none;user-select:none;margin-right:0.4em;padding:0 0.4em 0 0.4em;color:#7f7f7f">46
</span><span style="white-space:pre;-webkit-user-select:none;user-select:none;margin-right:0.4em;padding:0 0.4em 0 0.4em;color:#7f7f7f">47
</span><span style="white-space:pre;-webkit-user-select:none;user-select:none;margin-right:0.4em;padding:0 0.4em 0 0.4em;color:#7f7f7f">48
</span><span style="white-space:pre;-webkit-user-select:none;user-select:none;margin-right:0.4em;padding:0 0.4em 0 0.4em;color:#7f7f7f">49
</span><span style="white-space:pre;-webkit-user-select:none;user-select:none;margin-right:0.4em;padding:0 0.4em 0 0.4em;color:#7f7f7f">50
</span><span style="white-space:pre;-webkit-user-select:none;user-select:none;margin-right:0.4em;padding:0 0.4em 0 0.4em;color:#7f7f7f">51
</span><span style="white-space:pre;-webkit-user-select:none;user-select:none;margin-right:0.4em;padding:0 0.4em 0 0.4em;color:#7f7f7f">52
</span><span style="white-space:pre;-webkit-user-select:none;user-select:none;margin-right:0.4em;padding:0 0.4em 0 0.4em;color:#7f7f7f">53
</span></code></pre></td>
<td style="vertical-align:top;padding:0;margin:0;border:0;;width:100%">
<pre tabindex="0" style="color:#f8f8f2;background-color:#272822;-moz-tab-size:4;-o-tab-size:4;tab-size:4;"><code class="language-typescript:app/actions.ts" data-lang="typescript:app/actions.ts"><span style="display:flex;"><span><span style="color:#e6db74">&#39;use server&#39;</span>;
</span></span><span style="display:flex;"><span>
</span></span><span style="display:flex;"><span><span style="color:#66d9ef">import</span> { <span style="color:#a6e22e">streamUI</span> } <span style="color:#66d9ef">from</span> <span style="color:#e6db74">&#39;ai/rsc&#39;</span>;
</span></span><span style="display:flex;"><span><span style="color:#66d9ef">import</span> { <span style="color:#a6e22e">openai</span> } <span style="color:#66d9ef">from</span> <span style="color:#e6db74">&#39;@ai-sdk/openai&#39;</span>;
</span></span><span style="display:flex;"><span><span style="color:#66d9ef">import</span> { <span style="color:#a6e22e">ReactNode</span> } <span style="color:#66d9ef">from</span> <span style="color:#e6db74">&#39;react&#39;</span>;
</span></span><span style="display:flex;"><span><span style="color:#66d9ef">import</span> { <span style="color:#a6e22e">z</span> } <span style="color:#66d9ef">from</span> <span style="color:#e6db74">&#39;zod&#39;</span>;
</span></span><span style="display:flex;"><span>
</span></span><span style="display:flex;"><span><span style="color:#75715e">// APIキーを環境変数から取得
</span></span></span><span style="display:flex;"><span><span style="color:#75715e">// Next.jsでは、`process.env`で自動的に.env.localを読み込みます
</span></span></span><span style="display:flex;"><span><span style="color:#75715e">// const openaiApiKey = process.env.OPENAI_API_KEY;
</span></span></span><span style="display:flex;"><span><span style="color:#75715e"></span>
</span></span><span style="display:flex;"><span><span style="color:#66d9ef">export</span> <span style="color:#66d9ef">async</span> <span style="color:#66d9ef">function</span> <span style="color:#a6e22e">continueConversation</span>(
</span></span><span style="display:flex;"><span>  <span style="color:#a6e22e">history</span><span style="color:#f92672">:</span> { <span style="color:#a6e22e">role</span><span style="color:#f92672">:</span> <span style="color:#e6db74">&#39;user&#39;</span> <span style="color:#f92672">|</span> <span style="color:#e6db74">&#39;assistant&#39;</span>; <span style="color:#a6e22e">content</span>: <span style="color:#66d9ef">string</span>; <span style="color:#a6e22e">data?</span>: <span style="color:#66d9ef">any</span> }[],
</span></span><span style="display:flex;"><span>)<span style="color:#f92672">:</span> <span style="color:#a6e22e">Promise</span><span style="color:#f92672">&lt;</span>{
</span></span><span style="display:flex;"><span>  <span style="color:#a6e22e">messages</span><span style="color:#f92672">:</span> { <span style="color:#a6e22e">role</span><span style="color:#f92672">:</span> <span style="color:#e6db74">&#39;user&#39;</span> <span style="color:#f92672">|</span> <span style="color:#e6db74">&#39;assistant&#39;</span>; <span style="color:#a6e22e">content</span>: <span style="color:#66d9ef">string</span>; <span style="color:#a6e22e">data?</span>: <span style="color:#66d9ef">any</span> }[];
</span></span><span style="display:flex;"><span>  <span style="color:#a6e22e">ui</span>: <span style="color:#66d9ef">ReactNode</span>;
</span></span><span style="display:flex;"><span>}<span style="color:#f92672">&gt;</span> {
</span></span><span style="display:flex;"><span>  <span style="color:#66d9ef">const</span> { <span style="color:#a6e22e">messages</span>, <span style="color:#a6e22e">ui</span> } <span style="color:#f92672">=</span> <span style="color:#66d9ef">await</span> <span style="color:#a6e22e">streamUI</span>({
</span></span><span style="display:flex;"><span>    <span style="color:#a6e22e">model</span>: <span style="color:#66d9ef">openai</span>(<span style="color:#e6db74">&#39;gpt-4o&#39;</span>), <span style="color:#75715e">// 最新のマルチモーダルモデルを指定
</span></span></span><span style="display:flex;"><span><span style="color:#75715e"></span>    <span style="color:#75715e">// system: &#39;あなたは優秀なアシスタントです。&#39;, // 必要に応じてシステムプロンプトを設定
</span></span></span><span style="display:flex;"><span><span style="color:#75715e"></span>    <span style="color:#a6e22e">messages</span>: <span style="color:#66d9ef">history.map</span>((<span style="color:#a6e22e">message</span>) <span style="color:#f92672">=&gt;</span> ({
</span></span><span style="display:flex;"><span>      <span style="color:#a6e22e">role</span>: <span style="color:#66d9ef">message.role</span>,
</span></span><span style="display:flex;"><span>      <span style="color:#a6e22e">content</span>: <span style="color:#66d9ef">message.content</span>,
</span></span><span style="display:flex;"><span>      <span style="color:#75715e">// dataプロパティに画像データが含まれている場合、それをcontentに含める
</span></span></span><span style="display:flex;"><span><span style="color:#75715e"></span>      ...(<span style="color:#a6e22e">message</span>.<span style="color:#a6e22e">data</span> <span style="color:#f92672">&amp;&amp;</span> {
</span></span><span style="display:flex;"><span>        <span style="color:#a6e22e">content</span><span style="color:#f92672">:</span> [
</span></span><span style="display:flex;"><span>          { <span style="color:#66d9ef">type</span><span style="color:#f92672">:</span> <span style="color:#e6db74">&#39;text&#39;</span>, <span style="color:#a6e22e">text</span>: <span style="color:#66d9ef">message.content</span> },
</span></span><span style="display:flex;"><span>          ...<span style="color:#a6e22e">message</span>.<span style="color:#a6e22e">data</span>.<span style="color:#a6e22e">images</span>.<span style="color:#a6e22e">map</span>((<span style="color:#a6e22e">img</span>: <span style="color:#66d9ef">string</span>) <span style="color:#f92672">=&gt;</span> ({
</span></span><span style="display:flex;"><span>            <span style="color:#66d9ef">type</span><span style="color:#f92672">:</span> <span style="color:#e6db74">&#39;image&#39;</span>,
</span></span><span style="display:flex;"><span>            <span style="color:#a6e22e">image</span>: <span style="color:#66d9ef">Buffer.from</span>(<span style="color:#a6e22e">img</span>.<span style="color:#a6e22e">split</span>(<span style="color:#e6db74">&#39;,&#39;</span>)[<span style="color:#ae81ff">1</span>], <span style="color:#e6db74">&#39;base64&#39;</span>),
</span></span><span style="display:flex;"><span>          })),
</span></span><span style="display:flex;"><span>        ],
</span></span><span style="display:flex;"><span>      }),
</span></span><span style="display:flex;"><span>    })),
</span></span><span style="display:flex;"><span>    <span style="color:#a6e22e">text</span><span style="color:#f92672">:</span> ({ <span style="color:#a6e22e">content</span>, <span style="color:#a6e22e">done</span> }) <span style="color:#f92672">=&gt;</span> {
</span></span><span style="display:flex;"><span>      <span style="color:#66d9ef">if</span> (<span style="color:#a6e22e">done</span>) {
</span></span><span style="display:flex;"><span>        <span style="color:#75715e">// AIの応答が完了したら、そのメッセージを履歴に追加
</span></span></span><span style="display:flex;"><span><span style="color:#75715e"></span>        <span style="color:#a6e22e">history</span>.<span style="color:#a6e22e">push</span>({ <span style="color:#a6e22e">role</span><span style="color:#f92672">:</span> <span style="color:#e6db74">&#39;assistant&#39;</span>, <span style="color:#a6e22e">content</span> });
</span></span><span style="display:flex;"><span>      }
</span></span><span style="display:flex;"><span>      <span style="color:#66d9ef">return</span> &lt;<span style="color:#f92672">div</span>&gt;{<span style="color:#a6e22e">content</span>}&lt;/<span style="color:#f92672">div</span>&gt;;
</span></span><span style="display:flex;"><span>    },
</span></span><span style="display:flex;"><span>    <span style="color:#75715e">// 将来的にUIコンポーネントを生成する場合のスキーマ
</span></span></span><span style="display:flex;"><span><span style="color:#75715e"></span>    <span style="color:#75715e">// zodスキーマを定義しておくことで、構造化されたUIを生成可能
</span></span></span><span style="display:flex;"><span><span style="color:#75715e"></span>    <span style="color:#75715e">// schema: z.object({
</span></span></span><span style="display:flex;"><span><span style="color:#75715e"></span>    <span style="color:#75715e">//   ...
</span></span></span><span style="display:flex;"><span><span style="color:#75715e"></span>    <span style="color:#75715e">// })
</span></span></span><span style="display:flex;"><span><span style="color:#75715e"></span>  });
</span></span><span style="display:flex;"><span>
</span></span><span style="display:flex;"><span>  <span style="color:#66d9ef">return</span> {
</span></span><span style="display:flex;"><span>    <span style="color:#a6e22e">messages</span>: <span style="color:#66d9ef">history</span>,
</span></span><span style="display:flex;"><span>    <span style="color:#a6e22e">ui</span>,
</span></span><span style="display:flex;"><span>  };
</span></span><span style="display:flex;"><span>}
</span></span></code></pre></td></tr></table>
</div>
</div><p><strong>ポイント解説:</strong></p>
<ul>
<li><strong><code>'use server'</code></strong>: このファイルがサーバーサイドでのみ実行されることを示します。</li>
<li><strong><code>streamUI</code></strong>: Vercel AI SDKのコア機能の一つ。テキストだけでなく、Reactコンポーネント（UI）そのものをストリーミングできます。</li>
<li><strong><code>openai('gpt-4o')</code></strong>: 使用するモデルを簡単に指定できます。<code>@ai-sdk/anthropic</code> や <code>@ai-sdk/google</code> を使えば、ClaudeやGeminiも同様に扱えます。</li>
<li><strong><code>messages</code>の整形</strong>: <code>history</code> 配列をループし、AI SDKが要求する形式に変換しています。</li>
<li><strong>マルチモーダル入力</strong>: ユーザーメッセージに <code>data.images</code>（Base64文字列の配列）が含まれている場合、<code>content</code> をテキストと画像のオブジェクト配列に変換しています。<code>{ type: 'image', image: ... }</code> という形式が重要です。SDKはこの形式を解釈し、モデルに適切に送信してくれます。</li>
<li><strong>Base64からBufferへ</strong>: <code>image</code> プロパティには、Base64文字列からデコードしたBufferを渡しています。これにより、SDKが効率的にデータを処理できます。</li>
</ul>
<h4 id="クライアントサイドチャットuiの実装">クライアントサイド：チャットUIの実装</h4>
<p>次に、ユーザーが操作するフロントエンド部分を <code>app/page.tsx</code> に実装します。</p>
<div class="highlight"><div style="color:#f8f8f2;background-color:#272822;-moz-tab-size:4;-o-tab-size:4;tab-size:4;">
<table style="border-spacing:0;padding:0;margin:0;border:0;"><tr><td style="vertical-align:top;padding:0;margin:0;border:0;">
<pre tabindex="0" style="color:#f8f8f2;background-color:#272822;-moz-tab-size:4;-o-tab-size:4;tab-size:4;"><code><span style="white-space:pre;-webkit-user-select:none;user-select:none;margin-right:0.4em;padding:0 0.4em 0 0.4em;color:#7f7f7f">  1
</span><span style="white-space:pre;-webkit-user-select:none;user-select:none;margin-right:0.4em;padding:0 0.4em 0 0.4em;color:#7f7f7f">  2
</span><span style="white-space:pre;-webkit-user-select:none;user-select:none;margin-right:0.4em;padding:0 0.4em 0 0.4em;color:#7f7f7f">  3
</span><span style="white-space:pre;-webkit-user-select:none;user-select:none;margin-right:0.4em;padding:0 0.4em 0 0.4em;color:#7f7f7f">  4
</span><span style="white-space:pre;-webkit-user-select:none;user-select:none;margin-right:0.4em;padding:0 0.4em 0 0.4em;color:#7f7f7f">  5
</span><span style="white-space:pre;-webkit-user-select:none;user-select:none;margin-right:0.4em;padding:0 0.4em 0 0.4em;color:#7f7f7f">  6
</span><span style="white-space:pre;-webkit-user-select:none;user-select:none;margin-right:0.4em;padding:0 0.4em 0 0.4em;color:#7f7f7f">  7
</span><span style="white-space:pre;-webkit-user-select:none;user-select:none;margin-right:0.4em;padding:0 0.4em 0 0.4em;color:#7f7f7f">  8
</span><span style="white-space:pre;-webkit-user-select:none;user-select:none;margin-right:0.4em;padding:0 0.4em 0 0.4em;color:#7f7f7f">  9
</span><span style="white-space:pre;-webkit-user-select:none;user-select:none;margin-right:0.4em;padding:0 0.4em 0 0.4em;color:#7f7f7f"> 10
</span><span style="white-space:pre;-webkit-user-select:none;user-select:none;margin-right:0.4em;padding:0 0.4em 0 0.4em;color:#7f7f7f"> 11
</span><span style="white-space:pre;-webkit-user-select:none;user-select:none;margin-right:0.4em;padding:0 0.4em 0 0.4em;color:#7f7f7f"> 12
</span><span style="white-space:pre;-webkit-user-select:none;user-select:none;margin-right:0.4em;padding:0 0.4em 0 0.4em;color:#7f7f7f"> 13
</span><span style="white-space:pre;-webkit-user-select:none;user-select:none;margin-right:0.4em;padding:0 0.4em 0 0.4em;color:#7f7f7f"> 14
</span><span style="white-space:pre;-webkit-user-select:none;user-select:none;margin-right:0.4em;padding:0 0.4em 0 0.4em;color:#7f7f7f"> 15
</span><span style="white-space:pre;-webkit-user-select:none;user-select:none;margin-right:0.4em;padding:0 0.4em 0 0.4em;color:#7f7f7f"> 16
</span><span style="white-space:pre;-webkit-user-select:none;user-select:none;margin-right:0.4em;padding:0 0.4em 0 0.4em;color:#7f7f7f"> 17
</span><span style="white-space:pre;-webkit-user-select:none;user-select:none;margin-right:0.4em;padding:0 0.4em 0 0.4em;color:#7f7f7f"> 18
</span><span style="white-space:pre;-webkit-user-select:none;user-select:none;margin-right:0.4em;padding:0 0.4em 0 0.4em;color:#7f7f7f"> 19
</span><span style="white-space:pre;-webkit-user-select:none;user-select:none;margin-right:0.4em;padding:0 0.4em 0 0.4em;color:#7f7f7f"> 20
</span><span style="white-space:pre;-webkit-user-select:none;user-select:none;margin-right:0.4em;padding:0 0.4em 0 0.4em;color:#7f7f7f"> 21
</span><span style="white-space:pre;-webkit-user-select:none;user-select:none;margin-right:0.4em;padding:0 0.4em 0 0.4em;color:#7f7f7f"> 22
</span><span style="white-space:pre;-webkit-user-select:none;user-select:none;margin-right:0.4em;padding:0 0.4em 0 0.4em;color:#7f7f7f"> 23
</span><span style="white-space:pre;-webkit-user-select:none;user-select:none;margin-right:0.4em;padding:0 0.4em 0 0.4em;color:#7f7f7f"> 24
</span><span style="white-space:pre;-webkit-user-select:none;user-select:none;margin-right:0.4em;padding:0 0.4em 0 0.4em;color:#7f7f7f"> 25
</span><span style="white-space:pre;-webkit-user-select:none;user-select:none;margin-right:0.4em;padding:0 0.4em 0 0.4em;color:#7f7f7f"> 26
</span><span style="white-space:pre;-webkit-user-select:none;user-select:none;margin-right:0.4em;padding:0 0.4em 0 0.4em;color:#7f7f7f"> 27
</span><span style="white-space:pre;-webkit-user-select:none;user-select:none;margin-right:0.4em;padding:0 0.4em 0 0.4em;color:#7f7f7f"> 28
</span><span style="white-space:pre;-webkit-user-select:none;user-select:none;margin-right:0.4em;padding:0 0.4em 0 0.4em;color:#7f7f7f"> 29
</span><span style="white-space:pre;-webkit-user-select:none;user-select:none;margin-right:0.4em;padding:0 0.4em 0 0.4em;color:#7f7f7f"> 30
</span><span style="white-space:pre;-webkit-user-select:none;user-select:none;margin-right:0.4em;padding:0 0.4em 0 0.4em;color:#7f7f7f"> 31
</span><span style="white-space:pre;-webkit-user-select:none;user-select:none;margin-right:0.4em;padding:0 0.4em 0 0.4em;color:#7f7f7f"> 32
</span><span style="white-space:pre;-webkit-user-select:none;user-select:none;margin-right:0.4em;padding:0 0.4em 0 0.4em;color:#7f7f7f"> 33
</span><span style="white-space:pre;-webkit-user-select:none;user-select:none;margin-right:0.4em;padding:0 0.4em 0 0.4em;color:#7f7f7f"> 34
</span><span style="white-space:pre;-webkit-user-select:none;user-select:none;margin-right:0.4em;padding:0 0.4em 0 0.4em;color:#7f7f7f"> 35
</span><span style="white-space:pre;-webkit-user-select:none;user-select:none;margin-right:0.4em;padding:0 0.4em 0 0.4em;color:#7f7f7f"> 36
</span><span style="white-space:pre;-webkit-user-select:none;user-select:none;margin-right:0.4em;padding:0 0.4em 0 0.4em;color:#7f7f7f"> 37
</span><span style="white-space:pre;-webkit-user-select:none;user-select:none;margin-right:0.4em;padding:0 0.4em 0 0.4em;color:#7f7f7f"> 38
</span><span style="white-space:pre;-webkit-user-select:none;user-select:none;margin-right:0.4em;padding:0 0.4em 0 0.4em;color:#7f7f7f"> 39
</span><span style="white-space:pre;-webkit-user-select:none;user-select:none;margin-right:0.4em;padding:0 0.4em 0 0.4em;color:#7f7f7f"> 40
</span><span style="white-space:pre;-webkit-user-select:none;user-select:none;margin-right:0.4em;padding:0 0.4em 0 0.4em;color:#7f7f7f"> 41
</span><span style="white-space:pre;-webkit-user-select:none;user-select:none;margin-right:0.4em;padding:0 0.4em 0 0.4em;color:#7f7f7f"> 42
</span><span style="white-space:pre;-webkit-user-select:none;user-select:none;margin-right:0.4em;padding:0 0.4em 0 0.4em;color:#7f7f7f"> 43
</span><span style="white-space:pre;-webkit-user-select:none;user-select:none;margin-right:0.4em;padding:0 0.4em 0 0.4em;color:#7f7f7f"> 44
</span><span style="white-space:pre;-webkit-user-select:none;user-select:none;margin-right:0.4em;padding:0 0.4em 0 0.4em;color:#7f7f7f"> 45
</span><span style="white-space:pre;-webkit-user-select:none;user-select:none;margin-right:0.4em;padding:0 0.4em 0 0.4em;color:#7f7f7f"> 46
</span><span style="white-space:pre;-webkit-user-select:none;user-select:none;margin-right:0.4em;padding:0 0.4em 0 0.4em;color:#7f7f7f"> 47
</span><span style="white-space:pre;-webkit-user-select:none;user-select:none;margin-right:0.4em;padding:0 0.4em 0 0.4em;color:#7f7f7f"> 48
</span><span style="white-space:pre;-webkit-user-select:none;user-select:none;margin-right:0.4em;padding:0 0.4em 0 0.4em;color:#7f7f7f"> 49
</span><span style="white-space:pre;-webkit-user-select:none;user-select:none;margin-right:0.4em;padding:0 0.4em 0 0.4em;color:#7f7f7f"> 50
</span><span style="white-space:pre;-webkit-user-select:none;user-select:none;margin-right:0.4em;padding:0 0.4em 0 0.4em;color:#7f7f7f"> 51
</span><span style="white-space:pre;-webkit-user-select:none;user-select:none;margin-right:0.4em;padding:0 0.4em 0 0.4em;color:#7f7f7f"> 52
</span><span style="white-space:pre;-webkit-user-select:none;user-select:none;margin-right:0.4em;padding:0 0.4em 0 0.4em;color:#7f7f7f"> 53
</span><span style="white-space:pre;-webkit-user-select:none;user-select:none;margin-right:0.4em;padding:0 0.4em 0 0.4em;color:#7f7f7f"> 54
</span><span style="white-space:pre;-webkit-user-select:none;user-select:none;margin-right:0.4em;padding:0 0.4em 0 0.4em;color:#7f7f7f"> 55
</span><span style="white-space:pre;-webkit-user-select:none;user-select:none;margin-right:0.4em;padding:0 0.4em 0 0.4em;color:#7f7f7f"> 56
</span><span style="white-space:pre;-webkit-user-select:none;user-select:none;margin-right:0.4em;padding:0 0.4em 0 0.4em;color:#7f7f7f"> 57
</span><span style="white-space:pre;-webkit-user-select:none;user-select:none;margin-right:0.4em;padding:0 0.4em 0 0.4em;color:#7f7f7f"> 58
</span><span style="white-space:pre;-webkit-user-select:none;user-select:none;margin-right:0.4em;padding:0 0.4em 0 0.4em;color:#7f7f7f"> 59
</span><span style="white-space:pre;-webkit-user-select:none;user-select:none;margin-right:0.4em;padding:0 0.4em 0 0.4em;color:#7f7f7f"> 60
</span><span style="white-space:pre;-webkit-user-select:none;user-select:none;margin-right:0.4em;padding:0 0.4em 0 0.4em;color:#7f7f7f"> 61
</span><span style="white-space:pre;-webkit-user-select:none;user-select:none;margin-right:0.4em;padding:0 0.4em 0 0.4em;color:#7f7f7f"> 62
</span><span style="white-space:pre;-webkit-user-select:none;user-select:none;margin-right:0.4em;padding:0 0.4em 0 0.4em;color:#7f7f7f"> 63
</span><span style="white-space:pre;-webkit-user-select:none;user-select:none;margin-right:0.4em;padding:0 0.4em 0 0.4em;color:#7f7f7f"> 64
</span><span style="white-space:pre;-webkit-user-select:none;user-select:none;margin-right:0.4em;padding:0 0.4em 0 0.4em;color:#7f7f7f"> 65
</span><span style="white-space:pre;-webkit-user-select:none;user-select:none;margin-right:0.4em;padding:0 0.4em 0 0.4em;color:#7f7f7f"> 66
</span><span style="white-space:pre;-webkit-user-select:none;user-select:none;margin-right:0.4em;padding:0 0.4em 0 0.4em;color:#7f7f7f"> 67
</span><span style="white-space:pre;-webkit-user-select:none;user-select:none;margin-right:0.4em;padding:0 0.4em 0 0.4em;color:#7f7f7f"> 68
</span><span style="white-space:pre;-webkit-user-select:none;user-select:none;margin-right:0.4em;padding:0 0.4em 0 0.4em;color:#7f7f7f"> 69
</span><span style="white-space:pre;-webkit-user-select:none;user-select:none;margin-right:0.4em;padding:0 0.4em 0 0.4em;color:#7f7f7f"> 70
</span><span style="white-space:pre;-webkit-user-select:none;user-select:none;margin-right:0.4em;padding:0 0.4em 0 0.4em;color:#7f7f7f"> 71
</span><span style="white-space:pre;-webkit-user-select:none;user-select:none;margin-right:0.4em;padding:0 0.4em 0 0.4em;color:#7f7f7f"> 72
</span><span style="white-space:pre;-webkit-user-select:none;user-select:none;margin-right:0.4em;padding:0 0.4em 0 0.4em;color:#7f7f7f"> 73
</span><span style="white-space:pre;-webkit-user-select:none;user-select:none;margin-right:0.4em;padding:0 0.4em 0 0.4em;color:#7f7f7f"> 74
</span><span style="white-space:pre;-webkit-user-select:none;user-select:none;margin-right:0.4em;padding:0 0.4em 0 0.4em;color:#7f7f7f"> 75
</span><span style="white-space:pre;-webkit-user-select:none;user-select:none;margin-right:0.4em;padding:0 0.4em 0 0.4em;color:#7f7f7f"> 76
</span><span style="white-space:pre;-webkit-user-select:none;user-select:none;margin-right:0.4em;padding:0 0.4em 0 0.4em;color:#7f7f7f"> 77
</span><span style="white-space:pre;-webkit-user-select:none;user-select:none;margin-right:0.4em;padding:0 0.4em 0 0.4em;color:#7f7f7f"> 78
</span><span style="white-space:pre;-webkit-user-select:none;user-select:none;margin-right:0.4em;padding:0 0.4em 0 0.4em;color:#7f7f7f"> 79
</span><span style="white-space:pre;-webkit-user-select:none;user-select:none;margin-right:0.4em;padding:0 0.4em 0 0.4em;color:#7f7f7f"> 80
</span><span style="white-space:pre;-webkit-user-select:none;user-select:none;margin-right:0.4em;padding:0 0.4em 0 0.4em;color:#7f7f7f"> 81
</span><span style="white-space:pre;-webkit-user-select:none;user-select:none;margin-right:0.4em;padding:0 0.4em 0 0.4em;color:#7f7f7f"> 82
</span><span style="white-space:pre;-webkit-user-select:none;user-select:none;margin-right:0.4em;padding:0 0.4em 0 0.4em;color:#7f7f7f"> 83
</span><span style="white-space:pre;-webkit-user-select:none;user-select:none;margin-right:0.4em;padding:0 0.4em 0 0.4em;color:#7f7f7f"> 84
</span><span style="white-space:pre;-webkit-user-select:none;user-select:none;margin-right:0.4em;padding:0 0.4em 0 0.4em;color:#7f7f7f"> 85
</span><span style="white-space:pre;-webkit-user-select:none;user-select:none;margin-right:0.4em;padding:0 0.4em 0 0.4em;color:#7f7f7f"> 86
</span><span style="white-space:pre;-webkit-user-select:none;user-select:none;margin-right:0.4em;padding:0 0.4em 0 0.4em;color:#7f7f7f"> 87
</span><span style="white-space:pre;-webkit-user-select:none;user-select:none;margin-right:0.4em;padding:0 0.4em 0 0.4em;color:#7f7f7f"> 88
</span><span style="white-space:pre;-webkit-user-select:none;user-select:none;margin-right:0.4em;padding:0 0.4em 0 0.4em;color:#7f7f7f"> 89
</span><span style="white-space:pre;-webkit-user-select:none;user-select:none;margin-right:0.4em;padding:0 0.4em 0 0.4em;color:#7f7f7f"> 90
</span><span style="white-space:pre;-webkit-user-select:none;user-select:none;margin-right:0.4em;padding:0 0.4em 0 0.4em;color:#7f7f7f"> 91
</span><span style="white-space:pre;-webkit-user-select:none;user-select:none;margin-right:0.4em;padding:0 0.4em 0 0.4em;color:#7f7f7f"> 92
</span><span style="white-space:pre;-webkit-user-select:none;user-select:none;margin-right:0.4em;padding:0 0.4em 0 0.4em;color:#7f7f7f"> 93
</span><span style="white-space:pre;-webkit-user-select:none;user-select:none;margin-right:0.4em;padding:0 0.4em 0 0.4em;color:#7f7f7f"> 94
</span><span style="white-space:pre;-webkit-user-select:none;user-select:none;margin-right:0.4em;padding:0 0.4em 0 0.4em;color:#7f7f7f"> 95
</span><span style="white-space:pre;-webkit-user-select:none;user-select:none;margin-right:0.4em;padding:0 0.4em 0 0.4em;color:#7f7f7f"> 96
</span><span style="white-space:pre;-webkit-user-select:none;user-select:none;margin-right:0.4em;padding:0 0.4em 0 0.4em;color:#7f7f7f"> 97
</span><span style="white-space:pre;-webkit-user-select:none;user-select:none;margin-right:0.4em;padding:0 0.4em 0 0.4em;color:#7f7f7f"> 98
</span><span style="white-space:pre;-webkit-user-select:none;user-select:none;margin-right:0.4em;padding:0 0.4em 0 0.4em;color:#7f7f7f"> 99
</span><span style="white-space:pre;-webkit-user-select:none;user-select:none;margin-right:0.4em;padding:0 0.4em 0 0.4em;color:#7f7f7f">100
</span><span style="white-space:pre;-webkit-user-select:none;user-select:none;margin-right:0.4em;padding:0 0.4em 0 0.4em;color:#7f7f7f">101
</span><span style="white-space:pre;-webkit-user-select:none;user-select:none;margin-right:0.4em;padding:0 0.4em 0 0.4em;color:#7f7f7f">102
</span><span style="white-space:pre;-webkit-user-select:none;user-select:none;margin-right:0.4em;padding:0 0.4em 0 0.4em;color:#7f7f7f">103
</span><span style="white-space:pre;-webkit-user-select:none;user-select:none;margin-right:0.4em;padding:0 0.4em 0 0.4em;color:#7f7f7f">104
</span><span style="white-space:pre;-webkit-user-select:none;user-select:none;margin-right:0.4em;padding:0 0.4em 0 0.4em;color:#7f7f7f">105
</span><span style="white-space:pre;-webkit-user-select:none;user-select:none;margin-right:0.4em;padding:0 0.4em 0 0.4em;color:#7f7f7f">106
</span><span style="white-space:pre;-webkit-user-select:none;user-select:none;margin-right:0.4em;padding:0 0.4em 0 0.4em;color:#7f7f7f">107
</span><span style="white-space:pre;-webkit-user-select:none;user-select:none;margin-right:0.4em;padding:0 0.4em 0 0.4em;color:#7f7f7f">108
</span><span style="white-space:pre;-webkit-user-select:none;user-select:none;margin-right:0.4em;padding:0 0.4em 0 0.4em;color:#7f7f7f">109
</span><span style="white-space:pre;-webkit-user-select:none;user-select:none;margin-right:0.4em;padding:0 0.4em 0 0.4em;color:#7f7f7f">110
</span><span style="white-space:pre;-webkit-user-select:none;user-select:none;margin-right:0.4em;padding:0 0.4em 0 0.4em;color:#7f7f7f">111
</span><span style="white-space:pre;-webkit-user-select:none;user-select:none;margin-right:0.4em;padding:0 0.4em 0 0.4em;color:#7f7f7f">112
</span><span style="white-space:pre;-webkit-user-select:none;user-select:none;margin-right:0.4em;padding:0 0.4em 0 0.4em;color:#7f7f7f">113
</span><span style="white-space:pre;-webkit-user-select:none;user-select:none;margin-right:0.4em;padding:0 0.4em 0 0.4em;color:#7f7f7f">114
</span><span style="white-space:pre;-webkit-user-select:none;user-select:none;margin-right:0.4em;padding:0 0.4em 0 0.4em;color:#7f7f7f">115
</span><span style="white-space:pre;-webkit-user-select:none;user-select:none;margin-right:0.4em;padding:0 0.4em 0 0.4em;color:#7f7f7f">116
</span><span style="white-space:pre;-webkit-user-select:none;user-select:none;margin-right:0.4em;padding:0 0.4em 0 0.4em;color:#7f7f7f">117
</span><span style="white-space:pre;-webkit-user-select:none;user-select:none;margin-right:0.4em;padding:0 0.4em 0 0.4em;color:#7f7f7f">118
</span><span style="white-space:pre;-webkit-user-select:none;user-select:none;margin-right:0.4em;padding:0 0.4em 0 0.4em;color:#7f7f7f">119
</span><span style="white-space:pre;-webkit-user-select:none;user-select:none;margin-right:0.4em;padding:0 0.4em 0 0.4em;color:#7f7f7f">120
</span><span style="white-space:pre;-webkit-user-select:none;user-select:none;margin-right:0.4em;padding:0 0.4em 0 0.4em;color:#7f7f7f">121
</span><span style="white-space:pre;-webkit-user-select:none;user-select:none;margin-right:0.4em;padding:0 0.4em 0 0.4em;color:#7f7f7f">122
</span><span style="white-space:pre;-webkit-user-select:none;user-select:none;margin-right:0.4em;padding:0 0.4em 0 0.4em;color:#7f7f7f">123
</span></code></pre></td>
<td style="vertical-align:top;padding:0;margin:0;border:0;;width:100%">
<pre tabindex="0" style="color:#f8f8f2;background-color:#272822;-moz-tab-size:4;-o-tab-size:4;tab-size:4;"><code class="language-tsx:app/page.tsx" data-lang="tsx:app/page.tsx"><span style="display:flex;"><span><span style="color:#e6db74">&#39;use client&#39;</span>;
</span></span><span style="display:flex;"><span>
</span></span><span style="display:flex;"><span><span style="color:#66d9ef">import</span> { <span style="color:#a6e22e">useState</span>, <span style="color:#a6e22e">useRef</span>, <span style="color:#a6e22e">ChangeEvent</span>, <span style="color:#a6e22e">FormEvent</span>, <span style="color:#a6e22e">ReactNode</span> } <span style="color:#66d9ef">from</span> <span style="color:#e6db74">&#39;react&#39;</span>;
</span></span><span style="display:flex;"><span><span style="color:#66d9ef">import</span> { <span style="color:#a6e22e">useActions</span>, <span style="color:#a6e22e">useUIState</span> } <span style="color:#66d9ef">from</span> <span style="color:#e6db74">&#39;ai/rsc&#39;</span>;
</span></span><span style="display:flex;"><span><span style="color:#66d9ef">import</span> { <span style="color:#a6e22e">continueConversation</span> } <span style="color:#66d9ef">from</span> <span style="color:#e6db74">&#39;./actions&#39;</span>;
</span></span><span style="display:flex;"><span><span style="color:#66d9ef">import</span> <span style="color:#a6e22e">Image</span> <span style="color:#66d9ef">from</span> <span style="color:#e6db74">&#39;next/image&#39;</span>;
</span></span><span style="display:flex;"><span>
</span></span><span style="display:flex;"><span><span style="color:#75715e">// メッセージの型定義
</span></span></span><span style="display:flex;"><span><span style="color:#75715e"></span><span style="color:#66d9ef">type</span> <span style="color:#a6e22e">Message</span> <span style="color:#f92672">=</span> {
</span></span><span style="display:flex;"><span>  <span style="color:#a6e22e">role</span><span style="color:#f92672">:</span> <span style="color:#e6db74">&#39;user&#39;</span> <span style="color:#f92672">|</span> <span style="color:#e6db74">&#39;assistant&#39;</span>;
</span></span><span style="display:flex;"><span>  <span style="color:#a6e22e">content</span>: <span style="color:#66d9ef">string</span>;
</span></span><span style="display:flex;"><span>  <span style="color:#75715e">// 画像データを保持するためのオプショナルなプロパティ
</span></span></span><span style="display:flex;"><span><span style="color:#75715e"></span>  <span style="color:#a6e22e">data</span><span style="color:#f92672">?:</span> {
</span></span><span style="display:flex;"><span>    <span style="color:#a6e22e">images?</span>: <span style="color:#66d9ef">string</span>[];
</span></span><span style="display:flex;"><span>  };
</span></span><span style="display:flex;"><span>};
</span></span><span style="display:flex;"><span>
</span></span><span style="display:flex;"><span><span style="color:#66d9ef">export</span> <span style="color:#66d9ef">default</span> <span style="color:#66d9ef">function</span> <span style="color:#a6e22e">Home() {</span>
</span></span><span style="display:flex;"><span>  <span style="color:#66d9ef">const</span> [<span style="color:#a6e22e">inputValue</span>, <span style="color:#a6e22e">setInputValue</span>] <span style="color:#f92672">=</span> <span style="color:#a6e22e">useState</span>(<span style="color:#e6db74">&#39;&#39;</span>);
</span></span><span style="display:flex;"><span>  <span style="color:#66d9ef">const</span> [<span style="color:#a6e22e">messages</span>, <span style="color:#a6e22e">setMessages</span>] <span style="color:#f92672">=</span> <span style="color:#a6e22e">useUIState</span>&lt;<span style="color:#f92672">typeof</span> <span style="color:#a6e22e">continueConversation</span>&gt;([]);
</span></span><span style="display:flex;"><span>  <span style="color:#66d9ef">const</span> { <span style="color:#a6e22e">continueConversation</span>: <span style="color:#66d9ef">performAction</span> } <span style="color:#f92672">=</span> <span style="color:#a6e22e">useActions</span>&lt;<span style="color:#f92672">typeof</span> <span style="color:#a6e22e">continueConversation</span>&gt;();
</span></span><span style="display:flex;"><span>
</span></span><span style="display:flex;"><span>  <span style="color:#66d9ef">const</span> [<span style="color:#a6e22e">imageFiles</span>, <span style="color:#a6e22e">setImageFiles</span>] <span style="color:#f92672">=</span> <span style="color:#a6e22e">useState</span>&lt;<span style="color:#f92672">string</span><span style="color:#960050;background-color:#1e0010">[]</span>&gt;([]);
</span></span><span style="display:flex;"><span>  <span style="color:#66d9ef">const</span> <span style="color:#a6e22e">fileInputRef</span> <span style="color:#f92672">=</span> <span style="color:#a6e22e">useRef</span>&lt;<span style="color:#f92672">HTMLInputElement</span>&gt;(<span style="color:#66d9ef">null</span>);
</span></span><span style="display:flex;"><span>
</span></span><span style="display:flex;"><span>  <span style="color:#75715e">// ファイルが選択されたときのハンドラ
</span></span></span><span style="display:flex;"><span><span style="color:#75715e"></span>  <span style="color:#66d9ef">const</span> <span style="color:#a6e22e">handleFileChange</span> <span style="color:#f92672">=</span> (<span style="color:#a6e22e">e</span>: <span style="color:#66d9ef">ChangeEvent</span>&lt;<span style="color:#f92672">HTMLInputElement</span>&gt;) <span style="color:#f92672">=&gt;</span> {
</span></span><span style="display:flex;"><span>    <span style="color:#66d9ef">const</span> <span style="color:#a6e22e">files</span> <span style="color:#f92672">=</span> <span style="color:#a6e22e">e</span>.<span style="color:#a6e22e">target</span>.<span style="color:#a6e22e">files</span>;
</span></span><span style="display:flex;"><span>    <span style="color:#66d9ef">if</span> (<span style="color:#f92672">!</span><span style="color:#a6e22e">files</span>) <span style="color:#66d9ef">return</span>;
</span></span><span style="display:flex;"><span>
</span></span><span style="display:flex;"><span>    <span style="color:#66d9ef">const</span> <span style="color:#a6e22e">newImageFiles</span>: <span style="color:#66d9ef">string</span>[] <span style="color:#f92672">=</span> [];
</span></span><span style="display:flex;"><span>    Array.<span style="color:#66d9ef">from</span>(<span style="color:#a6e22e">files</span>).<span style="color:#a6e22e">forEach</span>((<span style="color:#a6e22e">file</span>) <span style="color:#f92672">=&gt;</span> {
</span></span><span style="display:flex;"><span>      <span style="color:#66d9ef">const</span> <span style="color:#a6e22e">reader</span> <span style="color:#f92672">=</span> <span style="color:#66d9ef">new</span> <span style="color:#a6e22e">FileReader</span>();
</span></span><span style="display:flex;"><span>      <span style="color:#a6e22e">reader</span>.<span style="color:#a6e22e">onloadend</span> <span style="color:#f92672">=</span> () <span style="color:#f92672">=&gt;</span> {
</span></span><span style="display:flex;"><span>        <span style="color:#66d9ef">if</span> (<span style="color:#66d9ef">typeof</span> <span style="color:#a6e22e">reader</span>.<span style="color:#a6e22e">result</span> <span style="color:#f92672">===</span> <span style="color:#e6db74">&#39;string&#39;</span>) {
</span></span><span style="display:flex;"><span>          <span style="color:#a6e22e">newImageFiles</span>.<span style="color:#a6e22e">push</span>(<span style="color:#a6e22e">reader</span>.<span style="color:#a6e22e">result</span>);
</span></span><span style="display:flex;"><span>          <span style="color:#75715e">// すべてのファイルの読み込みが終わったらstateを更新
</span></span></span><span style="display:flex;"><span><span style="color:#75715e"></span>          <span style="color:#66d9ef">if</span> (<span style="color:#a6e22e">newImageFiles</span>.<span style="color:#a6e22e">length</span> <span style="color:#f92672">===</span> <span style="color:#a6e22e">files</span>.<span style="color:#a6e22e">length</span>) {
</span></span><span style="display:flex;"><span>            <span style="color:#a6e22e">setImageFiles</span>((<span style="color:#a6e22e">prev</span>) <span style="color:#f92672">=&gt;</span> [...<span style="color:#a6e22e">prev</span>, ...<span style="color:#a6e22e">newImageFiles</span>]);
</span></span><span style="display:flex;"><span>          }
</span></span><span style="display:flex;"><span>        }
</span></span><span style="display:flex;"><span>      };
</span></span><span style="display:flex;"><span>      <span style="color:#a6e22e">reader</span>.<span style="color:#a6e22e">readAsDataURL</span>(<span style="color:#a6e22e">file</span>); <span style="color:#75715e">// ファイルをBase64文字列として読み込む
</span></span></span><span style="display:flex;"><span><span style="color:#75715e"></span>    });
</span></span><span style="display:flex;"><span>  };
</span></span><span style="display:flex;"><span>
</span></span><span style="display:flex;"><span>  <span style="color:#75715e">// フォーム送信時のハンドラ
</span></span></span><span style="display:flex;"><span><span style="color:#75715e"></span>  <span style="color:#66d9ef">const</span> <span style="color:#a6e22e">handleSubmit</span> <span style="color:#f92672">=</span> <span style="color:#66d9ef">async</span> (<span style="color:#a6e22e">e</span>: <span style="color:#66d9ef">FormEvent</span>&lt;<span style="color:#f92672">HTMLFormElement</span>&gt;) <span style="color:#f92672">=&gt;</span> {
</span></span><span style="display:flex;"><span>    <span style="color:#a6e22e">e</span>.<span style="color:#a6e22e">preventDefault</span>();
</span></span><span style="display:flex;"><span>    <span style="color:#66d9ef">if</span> (<span style="color:#f92672">!</span><span style="color:#a6e22e">inputValue</span> <span style="color:#f92672">&amp;&amp;</span> <span style="color:#a6e22e">imageFiles</span>.<span style="color:#a6e22e">length</span> <span style="color:#f92672">===</span> <span style="color:#ae81ff">0</span>) <span style="color:#66d9ef">return</span>;
</span></span><span style="display:flex;"><span>
</span></span><span style="display:flex;"><span>    <span style="color:#75715e">// 現在の入力値と画像でユーザーメッセージを作成
</span></span></span><span style="display:flex;"><span><span style="color:#75715e"></span>    <span style="color:#66d9ef">const</span> <span style="color:#a6e22e">userMessage</span>: <span style="color:#66d9ef">Message</span> <span style="color:#f92672">=</span> {
</span></span><span style="display:flex;"><span>      <span style="color:#a6e22e">role</span><span style="color:#f92672">:</span> <span style="color:#e6db74">&#39;user&#39;</span>,
</span></span><span style="display:flex;"><span>      <span style="color:#a6e22e">content</span>: <span style="color:#66d9ef">inputValue</span>,
</span></span><span style="display:flex;"><span>      <span style="color:#a6e22e">data</span><span style="color:#f92672">:</span> {
</span></span><span style="display:flex;"><span>        <span style="color:#a6e22e">images</span>: <span style="color:#66d9ef">imageFiles</span>,
</span></span><span style="display:flex;"><span>      },
</span></span><span style="display:flex;"><span>    };
</span></span><span style="display:flex;"><span>
</span></span><span style="display:flex;"><span>    <span style="color:#75715e">// UIStateを更新し、アクションを実行
</span></span></span><span style="display:flex;"><span><span style="color:#75715e"></span>    <span style="color:#a6e22e">setMessages</span>((<span style="color:#a6e22e">currentMessages</span>) <span style="color:#f92672">=&gt;</span> [...<span style="color:#a6e22e">currentMessages</span>, <span style="color:#a6e22e">userMessage</span>]);
</span></span><span style="display:flex;"><span>    
</span></span><span style="display:flex;"><span>    <span style="color:#66d9ef">const</span> <span style="color:#a6e22e">response</span> <span style="color:#f92672">=</span> <span style="color:#66d9ef">await</span> <span style="color:#a6e22e">performAction</span>([
</span></span><span style="display:flex;"><span>        ...<span style="color:#a6e22e">messages</span>,
</span></span><span style="display:flex;"><span>        <span style="color:#a6e22e">userMessage</span>,
</span></span><span style="display:flex;"><span>      ]);
</span></span><span style="display:flex;"><span>    
</span></span><span style="display:flex;"><span>    <span style="color:#a6e22e">setMessages</span>(<span style="color:#a6e22e">response</span>.<span style="color:#a6e22e">messages</span>);
</span></span><span style="display:flex;"><span>
</span></span><span style="display:flex;"><span>    <span style="color:#75715e">// 送信後に入力と画像をクリア
</span></span></span><span style="display:flex;"><span><span style="color:#75715e"></span>    <span style="color:#a6e22e">setInputValue</span>(<span style="color:#e6db74">&#39;&#39;</span>);
</span></span><span style="display:flex;"><span>    <span style="color:#a6e22e">setImageFiles</span>([]);
</span></span><span style="display:flex;"><span>    <span style="color:#66d9ef">if</span> (<span style="color:#a6e22e">fileInputRef</span>.<span style="color:#a6e22e">current</span>) {
</span></span><span style="display:flex;"><span>        <span style="color:#a6e22e">fileInputRef</span>.<span style="color:#a6e22e">current</span>.<span style="color:#a6e22e">value</span> <span style="color:#f92672">=</span> <span style="color:#e6db74">&#39;&#39;</span>;
</span></span><span style="display:flex;"><span>    }
</span></span><span style="display:flex;"><span>  };
</span></span><span style="display:flex;"><span>
</span></span><span style="display:flex;"><span>  <span style="color:#66d9ef">return</span> (
</span></span><span style="display:flex;"><span>    &lt;<span style="color:#f92672">div</span> <span style="color:#a6e22e">className</span><span style="color:#f92672">=</span><span style="color:#e6db74">&#34;flex flex-col w-full max-w-2xl mx-auto py-8&#34;</span>&gt;
</span></span><span style="display:flex;"><span>      {<span style="color:#75715e">/* メッセージ表示エリア */</span>}
</span></span><span style="display:flex;"><span>      &lt;<span style="color:#f92672">div</span> <span style="color:#a6e22e">className</span><span style="color:#f92672">=</span><span style="color:#e6db74">&#34;flex-grow mb-4 space-y-4&#34;</span>&gt;
</span></span><span style="display:flex;"><span>        {<span style="color:#a6e22e">messages</span>.<span style="color:#a6e22e">map</span>((<span style="color:#a6e22e">msg</span>, <span style="color:#a6e22e">index</span>) <span style="color:#f92672">=&gt;</span> (
</span></span><span style="display:flex;"><span>          &lt;<span style="color:#f92672">div</span> <span style="color:#a6e22e">key</span><span style="color:#f92672">=</span>{<span style="color:#a6e22e">index</span>} <span style="color:#a6e22e">className</span><span style="color:#f92672">=</span>{<span style="color:#e6db74">`flex </span><span style="color:#e6db74">${</span><span style="color:#a6e22e">msg</span>.<span style="color:#a6e22e">role</span> <span style="color:#f92672">===</span> <span style="color:#e6db74">&#39;user&#39;</span> <span style="color:#f92672">?</span> <span style="color:#e6db74">&#39;justify-end&#39;</span> <span style="color:#f92672">:</span> <span style="color:#e6db74">&#39;justify-start&#39;</span><span style="color:#e6db74">}</span><span style="color:#e6db74">`</span>}&gt;
</span></span><span style="display:flex;"><span>            &lt;<span style="color:#f92672">div</span> <span style="color:#a6e22e">className</span><span style="color:#f92672">=</span>{<span style="color:#e6db74">`p-3 rounded-lg </span><span style="color:#e6db74">${</span><span style="color:#a6e22e">msg</span>.<span style="color:#a6e22e">role</span> <span style="color:#f92672">===</span> <span style="color:#e6db74">&#39;user&#39;</span> <span style="color:#f92672">?</span> <span style="color:#e6db74">&#39;bg-blue-500 text-white&#39;</span> <span style="color:#f92672">:</span> <span style="color:#e6db74">&#39;bg-gray-200&#39;</span><span style="color:#e6db74">}</span><span style="color:#e6db74">`</span>}&gt;
</span></span><span style="display:flex;"><span>              {<span style="color:#75715e">/* ユーザーメッセージの画像プレビュー */</span>}
</span></span><span style="display:flex;"><span>              {<span style="color:#a6e22e">msg</span>.<span style="color:#a6e22e">data</span><span style="color:#f92672">?</span>.<span style="color:#a6e22e">images</span><span style="color:#f92672">?</span>.<span style="color:#a6e22e">map</span>((<span style="color:#a6e22e">img</span>, <span style="color:#a6e22e">i</span>) <span style="color:#f92672">=&gt;</span> (
</span></span><span style="display:flex;"><span>                  &lt;<span style="color:#f92672">Image</span> <span style="color:#a6e22e">key</span><span style="color:#f92672">=</span>{<span style="color:#a6e22e">i</span>} <span style="color:#a6e22e">src</span><span style="color:#f92672">=</span>{<span style="color:#a6e22e">img</span>} <span style="color:#a6e22e">alt</span><span style="color:#f92672">=</span><span style="color:#e6db74">&#34;uploaded image&#34;</span> <span style="color:#a6e22e">width</span><span style="color:#f92672">=</span>{<span style="color:#ae81ff">200</span>} <span style="color:#a6e22e">height</span><span style="color:#f92672">=</span>{<span style="color:#ae81ff">200</span>} <span style="color:#a6e22e">className</span><span style="color:#f92672">=</span><span style="color:#e6db74">&#34;rounded-md mb-2&#34;</span> /&gt;
</span></span><span style="display:flex;"><span>              ))}
</span></span><span style="display:flex;"><span>              {<span style="color:#75715e">/* テキストコンテンツ */</span>}
</span></span><span style="display:flex;"><span>              &lt;<span style="color:#f92672">p</span>&gt;{<span style="color:#66d9ef">typeof</span> <span style="color:#a6e22e">msg</span>.<span style="color:#a6e22e">content</span> <span style="color:#f92672">===</span> <span style="color:#e6db74">&#39;string&#39;</span> <span style="color:#f92672">?</span> <span style="color:#a6e22e">msg</span>.<span style="color:#a6e22e">content</span> <span style="color:#f92672">:</span> <span style="color:#e6db74">&#34;UI Component&#34;</span>}&lt;/<span style="color:#f92672">p</span>&gt;
</span></span><span style="display:flex;"><span>            &lt;/<span style="color:#f92672">div</span>&gt;
</span></span><span style="display:flex;"><span>          &lt;/<span style="color:#f92672">div</span>&gt;
</span></span><span style="display:flex;"><span>        ))}
</span></span><span style="display:flex;"><span>      &lt;/<span style="color:#f92672">div</span>&gt;
</span></span><span style="display:flex;"><span>
</span></span><span style="display:flex;"><span>      {<span style="color:#75715e">/* 入力フォーム */</span>}
</span></span><span style="display:flex;"><span>      &lt;<span style="color:#f92672">form</span> <span style="color:#a6e22e">onSubmit</span><span style="color:#f92672">=</span>{<span style="color:#a6e22e">handleSubmit</span>} <span style="color:#a6e22e">className</span><span style="color:#f92672">=</span><span style="color:#e6db74">&#34;flex flex-col gap-2&#34;</span>&gt;
</span></span><span style="display:flex;"><span>        {<span style="color:#75715e">/* 画像プレビュー */</span>}
</span></span><span style="display:flex;"><span>        {<span style="color:#a6e22e">imageFiles</span>.<span style="color:#a6e22e">length</span> <span style="color:#f92672">&gt;</span> <span style="color:#ae81ff">0</span> <span style="color:#f92672">&amp;&amp;</span> (
</span></span><span style="display:flex;"><span>          &lt;<span style="color:#f92672">div</span> <span style="color:#a6e22e">className</span><span style="color:#f92672">=</span><span style="color:#e6db74">&#34;flex gap-2 p-2 border rounded-md&#34;</span>&gt;
</span></span><span style="display:flex;"><span>            {<span style="color:#a6e22e">imageFiles</span>.<span style="color:#a6e22e">map</span>((<span style="color:#a6e22e">src</span>, <span style="color:#a6e22e">index</span>) <span style="color:#f92672">=&gt;</span> (
</span></span><span style="display:flex;"><span>              &lt;<span style="color:#f92672">Image</span> <span style="color:#a6e22e">key</span><span style="color:#f92672">=</span>{<span style="color:#a6e22e">index</span>} <span style="color:#a6e22e">src</span><span style="color:#f92672">=</span>{<span style="color:#a6e22e">src</span>} <span style="color:#a6e22e">alt</span><span style="color:#f92672">=</span><span style="color:#e6db74">&#34;preview&#34;</span> <span style="color:#a6e22e">width</span><span style="color:#f92672">=</span>{<span style="color:#ae81ff">80</span>} <span style="color:#a6e22e">height</span><span style="color:#f92672">=</span>{<span style="color:#ae81ff">80</span>} <span style="color:#a6e22e">className</span><span style="color:#f92672">=</span><span style="color:#e6db74">&#34;rounded-md object-cover&#34;</span> /&gt;
</span></span><span style="display:flex;"><span>            ))}
</span></span><span style="display:flex;"><span>          &lt;/<span style="color:#f92672">div</span>&gt;
</span></span><span style="display:flex;"><span>        )}
</span></span><span style="display:flex;"><span>        &lt;<span style="color:#f92672">div</span> <span style="color:#a6e22e">className</span><span style="color:#f92672">=</span><span style="color:#e6db74">&#39;flex gap-2&#39;</span>&gt;
</span></span><span style="display:flex;"><span>            &lt;<span style="color:#f92672">input</span> <span style="color:#a6e22e">type</span><span style="color:#f92672">=</span><span style="color:#e6db74">&#34;file&#34;</span> <span style="color:#a6e22e">accept</span><span style="color:#f92672">=</span><span style="color:#e6db74">&#34;image/*&#34;</span> <span style="color:#a6e22e">multiple</span> <span style="color:#a6e22e">onChange</span><span style="color:#f92672">=</span>{<span style="color:#a6e22e">handleFileChange</span>} <span style="color:#a6e22e">ref</span><span style="color:#f92672">=</span>{<span style="color:#a6e22e">fileInputRef</span>} <span style="color:#a6e22e">className</span><span style="color:#f92672">=</span><span style="color:#e6db74">&#34;flex-1 p-2 border rounded-md&#34;</span>/&gt;
</span></span><span style="display:flex;"><span>            &lt;<span style="color:#f92672">input</span>
</span></span><span style="display:flex;"><span>                <span style="color:#a6e22e">type</span><span style="color:#f92672">=</span><span style="color:#e6db74">&#34;text&#34;</span>
</span></span><span style="display:flex;"><span>                <span style="color:#a6e22e">value</span><span style="color:#f92672">=</span>{<span style="color:#a6e22e">inputValue</span>}
</span></span><span style="display:flex;"><span>                <span style="color:#a6e22e">onChange</span><span style="color:#f92672">=</span>{(<span style="color:#a6e22e">e</span>) <span style="color:#f92672">=&gt;</span> <span style="color:#a6e22e">setInputValue</span>(<span style="color:#a6e22e">e</span>.<span style="color:#a6e22e">target</span>.<span style="color:#a6e22e">value</span>)}
</span></span><span style="display:flex;"><span>                <span style="color:#a6e22e">placeholder</span><span style="color:#f92672">=</span><span style="color:#e6db74">&#34;画像について質問...&#34;</span>
</span></span><span style="display:flex;"><span>                <span style="color:#a6e22e">className</span><span style="color:#f92672">=</span><span style="color:#e6db74">&#34;flex-[3] p-2 border rounded-md&#34;</span>
</span></span><span style="display:flex;"><span>            /&gt;
</span></span><span style="display:flex;"><span>            &lt;<span style="color:#f92672">button</span> <span style="color:#a6e22e">type</span><span style="color:#f92672">=</span><span style="color:#e6db74">&#34;submit&#34;</span> <span style="color:#a6e22e">className</span><span style="color:#f92672">=</span><span style="color:#e6db74">&#34;px-4 py-2 bg-blue-600 text-white rounded-md&#34;</span>&gt;
</span></span><span style="display:flex;"><span>                <span style="color:#960050;background-color:#1e0010">送信</span>
</span></span><span style="display:flex;"><span>            &lt;/<span style="color:#f92672">button</span>&gt;
</span></span><span style="display:flex;"><span>        &lt;/<span style="color:#f92672">div</span>&gt;
</span></span><span style="display:flex;"><span>      &lt;/<span style="color:#f92672">form</span>&gt;
</span></span><span style="display:flex;"><span>    &lt;/<span style="color:#f92672">div</span>&gt;
</span></span><span style="display:flex;"><span>  );
</span></span><span style="display:flex;"><span>}
</span></span></code></pre></td></tr></table>
</div>
</div><p><strong>ポイント解説:</strong></p>
<ul>
<li><strong><code>'use client'</code></strong>: このコンポーネントがクライアントサイドで動作することを示します。</li>
<li><strong><code>useUIState</code> と <code>useActions</code></strong>: Vercel AI SDKが提供するフックです。<code>useUIState</code> はUIの状態（この場合はメッセージ履歴）を管理し、<code>useActions</code> はServer Actionをクライアントサイドから安全に呼び出すためのものです。</li>
<li><strong>ファイルハンドリング</strong>:
<ol>
<li><code>&lt;input type=&quot;file&quot;&gt;</code> でユーザーに画像を選択させます。<code>multiple</code> 属性で複数選択を許可しています。</li>
<li><code>handleFileChange</code> 内で <code>FileReader</code> APIを使用し、選択されたファイルを <strong>Base64形式のデータURL</strong> に変換しています。これが、サーバーに送信する画像の形式になります。</li>
<li><code>useState</code> (<code>imageFiles</code>)でBase64文字列を保持し、プレビュー表示に利用します。</li>
</ol>
</li>
<li><strong>データ送信</strong>:
<ol>
<li><code>handleSubmit</code> で、テキスト入力 (<code>inputValue</code>) と画像 (<code>imageFiles</code>) をまとめて <code>userMessage</code> オブジェクトを作成します。</li>
<li><code>performAction</code>（実体は <code>continueConversation</code>）を呼び出す際に、この <code>userMessage</code> を含んだメッセージ履歴を渡します。</li>
<li>サーバーサイド（<code>actions.ts</code>）では、この <code>userMessage.data.images</code> を見て、マルチモーダル入力として処理します。</li>
</ol>
</li>
</ul>
<p>これで、画像とテキストを同時に送信できる基本的なチャットアプリケーションが完成しました。驚くほどボイラープレートコードが少ないことにお気づきでしょうか。SDKが面倒な部分をすべて引き受けてくれているのです。</p>
<h3 id="3-応用編音声入力のハンドリング">3. 応用編：音声入力のハンドリング</h3>
<p>Vercel AI SDKは直接的な音声処理機能は持ちませんが、他のライブラリと組み合わせることで、音声入力アプリケーションも簡単に構築できます。ここでは「ユーザーが録音した音声を文字起こしし、そのテキストをLLMに送信する」という流れを考えます。</p>
<h4 id="データの流れる仕組み-1">データの流れる仕組み</h4>
<pre tabindex="0"><code class="language-mermaid" data-lang="mermaid">sequenceDiagram
    participant Client as ブラウザ (Reactコンポーネント)
    participant Server as Next.jsサーバー (API Route)
    participant OpenAI_STT as OpenAI Whisper API
    participant OpenAI_LLM as OpenAI LLM API (GPT-4o)

    Client-&gt;&gt;Client: ユーザーがマイクで録音
    Client-&gt;&gt;Server: 音声ファイル (Blob) をAPI Routeに送信
    Server-&gt;&gt;OpenAI_STT: Whisper APIに音声データを転送し文字起こしを依頼
    OpenAI_STT--&gt;&gt;Server: 文字起こしされたテキストを返す
    Server-&gt;&gt;OpenAI_LLM: Vercel AI SDKを使い、テキストをLLMに送信
    OpenAI_LLM--&gt;&gt;Server: テキスト応答をストリーミング
    Server--&gt;&gt;Client: 応答をクライアントにストリーミング
    Client-&gt;&gt;Client: 応答をリアルタイムで表示
</code></pre><p>このシナリオでは、音声データを一旦サーバーに送り、Whisper APIなどで文字起こしするステップが加わります。</p>
<h4 id="実装のポイント">実装のポイント</h4>
<ol>
<li>
<p><strong>クライアントサイド</strong>:</p>
<ul>
<li><code>react-media-recorder</code> や <code>react-use-microphone</code> といったライブラリを使って、ブラウザのマイクから音声を録音し、Blobオブジェクトとして取得します。</li>
<li>取得したBlobを <code>FormData</code> に詰めて、Next.jsのAPI Routeに <code>fetch</code> でPOSTします。</li>
</ul>
</li>
<li>
<p><strong>サーバーサイド（API Route）</strong>:</p>
<ul>
<li>API Route (例: <code>app/api/transcribe/route.ts</code>) でリクエストを受け取ります。</li>
<li><code>formidable</code> のようなライブラリを使って、マルチパートフォームデータをパースし、音声ファイルを取得します。</li>
<li>取得した音声ファイルをOpenAIのWhisper APIに送信して文字起こしをします。これには <code>openai</code> ライブラリの <code>audio.transcriptions.create</code> メソッドが使えます。</li>
<li><strong>文字起こししたテキストを、前述の <code>continueConversation</code> のようなServer Actionに渡すか、あるいはこのAPI Route内で直接Vercel AI SDKの <code>streamText</code> などを使ってLLMに送信します。</strong></li>
</ul>
</li>
</ol>
<p>このように、Vercel AI SDKはエコシステムの他のツールと柔軟に組み合わせることができ、音声という異なるモダリティもシームレスにAIアプリケーションのワークフローに組み込むことが可能です。</p>
<h2 id="メリットとデメリットあるいは注意点">メリットとデメリット（あるいは注意点）</h2>
<p>Vercel AI SDKのマルチモーダル対応は非常に強力ですが、万能ではありません。そのメリットと、利用する上で注意すべき点を整理します。</p>
<h3 id="メリット">メリット</h3>
<ul>
<li><strong>圧倒的な開発速度</strong>: 面倒なAPI仕様の差異吸収、データエンコード、ストリーミング制御などをSDKが担うため、開発者は数行のコードでマルチモーダル機能を実装できます。</li>
<li><strong>コードの可読性と保守性</strong>: 宣言的なAPI設計により、何をしているかが分かりやすいコードになります。モデルを <code>openai('gpt-4o')</code> から <code>anthropic('claude-3-opus-20240229')</code> に変更するのも一行で済みます。</li>
<li><strong>Generative UIとの相性抜群</strong>: 画像を入力として、その説明文だけでなく、関連商品を表示するカードコンポーネントや、分析結果を可視化するグラフコンポーネントなどを動的に生成・ストリーミングできます。これは他のライブラリにはない大きな強みです。</li>
<li><strong>Vercelプラットフォームとの親和性</strong>: Vercelへのデプロイがスムーズなのはもちろん、Serverless Functionsの実行時間制限やペイロードサイズの制限などを考慮した設計になっています。</li>
</ul>
<h3 id="デメリット注意点">デメリット・注意点</h3>
<ul>
<li><strong>抽象化のトレードオフ</strong>: SDKは便利な反面、内部実装を隠蔽します。非常にニッチなAPIパラメータを使いたい場合や、特殊な認証フローを実装したい場合には、SDKの提供するインターフェースでは対応できない可能性があります。</li>
<li><strong>クライアントサイドのパフォーマンス</strong>: 特に画像をBase64にエンコードする処理は、画像のサイズが大きいとクライアントのCPUとメモリを消費します。ユーザー体験を損なわないよう、後述するTipsで紹介するような前処理が重要になります。</li>
<li><strong>コスト管理の徹底</strong>: マルチモーダルAPIは、テキストのみのAPIに比べて高価になる傾向があります。特に高解像度の画像を頻繁に送信すると、API利用料が想定外に膨れ上がる可能性があります。入力画像の解像度や枚数に制限を設けるなどの対策が不可欠です。</li>
</ul>
<h2 id="現場で使える実践的なtips">現場で使える実践的なTips</h2>
<p>最後に、開発現場でマルチモーダルAIアプリを運用していく上で役立つ、より実践的なテクニックをいくつかご紹介します。</p>
<h3 id="1-クライアントサイドでの画像圧縮">1. クライアントサイドでの画像圧縮</h3>
<p>ユーザーがアップロードする画像は、スマートフォンで撮影した高解像度の写真など、数MBに及ぶことがよくあります。これをそのままBase64にエンコードして送信すると、以下の問題が発生します。</p>
<ul>
<li>アップロードに時間がかかり、ユーザー体験が悪い。</li>
<li>APIリクエストのペイロードが大きくなりすぎる。</li>
<li>LLMのAPIコストが高くなる（多くのモデルは画像解像度に応じてコストが変動する）。</li>
</ul>
<p>そこで、<code>browser-image-compression</code>のようなライブラリを使い、画像をサーバーに送信する前にクライアントサイドで圧縮・リサイズするのが非常に効果的です。</p>
<div class="highlight"><div style="color:#f8f8f2;background-color:#272822;-moz-tab-size:4;-o-tab-size:4;tab-size:4;">
<table style="border-spacing:0;padding:0;margin:0;border:0;"><tr><td style="vertical-align:top;padding:0;margin:0;border:0;">
<pre tabindex="0" style="color:#f8f8f2;background-color:#272822;-moz-tab-size:4;-o-tab-size:4;tab-size:4;"><code><span style="white-space:pre;-webkit-user-select:none;user-select:none;margin-right:0.4em;padding:0 0.4em 0 0.4em;color:#7f7f7f">1
</span></code></pre></td>
<td style="vertical-align:top;padding:0;margin:0;border:0;;width:100%">
<pre tabindex="0" style="color:#f8f8f2;background-color:#272822;-moz-tab-size:4;-o-tab-size:4;tab-size:4;"><code class="language-bash" data-lang="bash"><span style="display:flex;"><span>npm install browser-image-compression
</span></span></code></pre></td></tr></table>
</div>
</div><div class="highlight"><div style="color:#f8f8f2;background-color:#272822;-moz-tab-size:4;-o-tab-size:4;tab-size:4;">
<table style="border-spacing:0;padding:0;margin:0;border:0;"><tr><td style="vertical-align:top;padding:0;margin:0;border:0;">
<pre tabindex="0" style="color:#f8f8f2;background-color:#272822;-moz-tab-size:4;-o-tab-size:4;tab-size:4;"><code><span style="white-space:pre;-webkit-user-select:none;user-select:none;margin-right:0.4em;padding:0 0.4em 0 0.4em;color:#7f7f7f"> 1
</span><span style="white-space:pre;-webkit-user-select:none;user-select:none;margin-right:0.4em;padding:0 0.4em 0 0.4em;color:#7f7f7f"> 2
</span><span style="white-space:pre;-webkit-user-select:none;user-select:none;margin-right:0.4em;padding:0 0.4em 0 0.4em;color:#7f7f7f"> 3
</span><span style="white-space:pre;-webkit-user-select:none;user-select:none;margin-right:0.4em;padding:0 0.4em 0 0.4em;color:#7f7f7f"> 4
</span><span style="white-space:pre;-webkit-user-select:none;user-select:none;margin-right:0.4em;padding:0 0.4em 0 0.4em;color:#7f7f7f"> 5
</span><span style="white-space:pre;-webkit-user-select:none;user-select:none;margin-right:0.4em;padding:0 0.4em 0 0.4em;color:#7f7f7f"> 6
</span><span style="white-space:pre;-webkit-user-select:none;user-select:none;margin-right:0.4em;padding:0 0.4em 0 0.4em;color:#7f7f7f"> 7
</span><span style="white-space:pre;-webkit-user-select:none;user-select:none;margin-right:0.4em;padding:0 0.4em 0 0.4em;color:#7f7f7f"> 8
</span><span style="white-space:pre;-webkit-user-select:none;user-select:none;margin-right:0.4em;padding:0 0.4em 0 0.4em;color:#7f7f7f"> 9
</span><span style="white-space:pre;-webkit-user-select:none;user-select:none;margin-right:0.4em;padding:0 0.4em 0 0.4em;color:#7f7f7f">10
</span><span style="white-space:pre;-webkit-user-select:none;user-select:none;margin-right:0.4em;padding:0 0.4em 0 0.4em;color:#7f7f7f">11
</span><span style="white-space:pre;-webkit-user-select:none;user-select:none;margin-right:0.4em;padding:0 0.4em 0 0.4em;color:#7f7f7f">12
</span><span style="white-space:pre;-webkit-user-select:none;user-select:none;margin-right:0.4em;padding:0 0.4em 0 0.4em;color:#7f7f7f">13
</span><span style="white-space:pre;-webkit-user-select:none;user-select:none;margin-right:0.4em;padding:0 0.4em 0 0.4em;color:#7f7f7f">14
</span><span style="white-space:pre;-webkit-user-select:none;user-select:none;margin-right:0.4em;padding:0 0.4em 0 0.4em;color:#7f7f7f">15
</span><span style="white-space:pre;-webkit-user-select:none;user-select:none;margin-right:0.4em;padding:0 0.4em 0 0.4em;color:#7f7f7f">16
</span><span style="white-space:pre;-webkit-user-select:none;user-select:none;margin-right:0.4em;padding:0 0.4em 0 0.4em;color:#7f7f7f">17
</span><span style="white-space:pre;-webkit-user-select:none;user-select:none;margin-right:0.4em;padding:0 0.4em 0 0.4em;color:#7f7f7f">18
</span><span style="white-space:pre;-webkit-user-select:none;user-select:none;margin-right:0.4em;padding:0 0.4em 0 0.4em;color:#7f7f7f">19
</span><span style="white-space:pre;-webkit-user-select:none;user-select:none;margin-right:0.4em;padding:0 0.4em 0 0.4em;color:#7f7f7f">20
</span><span style="white-space:pre;-webkit-user-select:none;user-select:none;margin-right:0.4em;padding:0 0.4em 0 0.4em;color:#7f7f7f">21
</span><span style="white-space:pre;-webkit-user-select:none;user-select:none;margin-right:0.4em;padding:0 0.4em 0 0.4em;color:#7f7f7f">22
</span><span style="white-space:pre;-webkit-user-select:none;user-select:none;margin-right:0.4em;padding:0 0.4em 0 0.4em;color:#7f7f7f">23
</span><span style="white-space:pre;-webkit-user-select:none;user-select:none;margin-right:0.4em;padding:0 0.4em 0 0.4em;color:#7f7f7f">24
</span></code></pre></td>
<td style="vertical-align:top;padding:0;margin:0;border:0;;width:100%">
<pre tabindex="0" style="color:#f8f8f2;background-color:#272822;-moz-tab-size:4;-o-tab-size:4;tab-size:4;"><code class="language-typescript" data-lang="typescript"><span style="display:flex;"><span><span style="color:#66d9ef">import</span> <span style="color:#a6e22e">imageCompression</span> <span style="color:#66d9ef">from</span> <span style="color:#e6db74">&#39;browser-image-compression&#39;</span>;
</span></span><span style="display:flex;"><span>
</span></span><span style="display:flex;"><span><span style="color:#66d9ef">const</span> <span style="color:#a6e22e">handleFileChange</span> <span style="color:#f92672">=</span> <span style="color:#66d9ef">async</span> (<span style="color:#a6e22e">e</span>: <span style="color:#66d9ef">ChangeEvent</span>&lt;<span style="color:#f92672">HTMLInputElement</span>&gt;) <span style="color:#f92672">=&gt;</span> {
</span></span><span style="display:flex;"><span>  <span style="color:#66d9ef">const</span> <span style="color:#a6e22e">file</span> <span style="color:#f92672">=</span> <span style="color:#a6e22e">e</span>.<span style="color:#a6e22e">target</span>.<span style="color:#a6e22e">files</span><span style="color:#f92672">?</span>.[<span style="color:#ae81ff">0</span>];
</span></span><span style="display:flex;"><span>  <span style="color:#66d9ef">if</span> (<span style="color:#f92672">!</span><span style="color:#a6e22e">file</span>) <span style="color:#66d9ef">return</span>;
</span></span><span style="display:flex;"><span>
</span></span><span style="display:flex;"><span>  <span style="color:#a6e22e">console</span>.<span style="color:#a6e22e">log</span>(<span style="color:#e6db74">`Original file size: </span><span style="color:#e6db74">${</span><span style="color:#a6e22e">file</span>.<span style="color:#a6e22e">size</span> <span style="color:#f92672">/</span> <span style="color:#ae81ff">1024</span> <span style="color:#f92672">/</span> <span style="color:#ae81ff">1024</span><span style="color:#e6db74">}</span><span style="color:#e6db74"> MB`</span>);
</span></span><span style="display:flex;"><span>
</span></span><span style="display:flex;"><span>  <span style="color:#66d9ef">const</span> <span style="color:#a6e22e">options</span> <span style="color:#f92672">=</span> {
</span></span><span style="display:flex;"><span>    <span style="color:#a6e22e">maxSizeMB</span>: <span style="color:#66d9ef">1</span>, <span style="color:#75715e">// 最大ファイルサイズ
</span></span></span><span style="display:flex;"><span><span style="color:#75715e"></span>    <span style="color:#a6e22e">maxWidthOrHeight</span>: <span style="color:#66d9ef">1024</span>, <span style="color:#75715e">// 最大幅・高さ
</span></span></span><span style="display:flex;"><span><span style="color:#75715e"></span>    <span style="color:#a6e22e">useWebWorker</span>: <span style="color:#66d9ef">true</span>, <span style="color:#75715e">// Web Workerを使ってUIスレッドをブロックしない
</span></span></span><span style="display:flex;"><span><span style="color:#75715e"></span>  };
</span></span><span style="display:flex;"><span>
</span></span><span style="display:flex;"><span>  <span style="color:#66d9ef">try</span> {
</span></span><span style="display:flex;"><span>    <span style="color:#66d9ef">const</span> <span style="color:#a6e22e">compressedFile</span> <span style="color:#f92672">=</span> <span style="color:#66d9ef">await</span> <span style="color:#a6e22e">imageCompression</span>(<span style="color:#a6e22e">file</span>, <span style="color:#a6e22e">options</span>);
</span></span><span style="display:flex;"><span>    <span style="color:#a6e22e">console</span>.<span style="color:#a6e22e">log</span>(<span style="color:#e6db74">`Compressed file size: </span><span style="color:#e6db74">${</span><span style="color:#a6e22e">compressedFile</span>.<span style="color:#a6e22e">size</span> <span style="color:#f92672">/</span> <span style="color:#ae81ff">1024</span> <span style="color:#f92672">/</span> <span style="color:#ae81ff">1024</span><span style="color:#e6db74">}</span><span style="color:#e6db74"> MB`</span>);
</span></span><span style="display:flex;"><span>
</span></span><span style="display:flex;"><span>    <span style="color:#75715e">// この圧縮されたファイルをFileReaderでBase64に変換して送信する
</span></span></span><span style="display:flex;"><span><span style="color:#75715e"></span>    <span style="color:#75715e">// ...
</span></span></span><span style="display:flex;"><span><span style="color:#75715e"></span>  } <span style="color:#66d9ef">catch</span> (<span style="color:#a6e22e">error</span>) {
</span></span><span style="display:flex;"><span>    <span style="color:#a6e22e">console</span>.<span style="color:#a6e22e">error</span>(<span style="color:#a6e22e">error</span>);
</span></span><span style="display:flex;"><span>  }
</span></span><span style="display:flex;"><span>};
</span></span></code></pre></td></tr></table>
</div>
</div><p>この一手間を加えるだけで、アプリケーションのパフォーマンスと運用コストを劇的に改善できます。</p>
<h3 id="2-堅牢なuiuxの構築">2. 堅牢なUI/UXの構築</h3>
<p>AIの応答には時間がかかるため、ユーザーが「今、何が起きているのか」を理解できるようなUI/UXが不可欠です。</p>
<ul>
<li><strong>ローディング状態の明示</strong>: APIにリクエストを送信してから応答が返ってくるまでの間、ボタンを無効化したり、スピナーやスケルトンスクリーンを表示したりしましょう。</li>
<li><strong>画像の即時プレビュー</strong>: <code>URL.createObjectURL()</code> を使えば、ファイルを読み込みながらすぐにプレビューを表示できます。ユーザーは自分が正しい画像をアップロードしたことを即座に確認できます。</li>
<li><strong>エラーハンドリングとフィードバック</strong>: ファイル形式が不正な場合、ファイルサイズが大きすぎる場合、API通信に失敗した場合など、想定されるエラーを適切にキャッチし、「〜のため処理に失敗しました。もう一度お試しください」といった具体的なメッセージをユーザーに提示しましょう。</li>
</ul>
<h3 id="3-コストとセキュリティの考慮">3. コストとセキュリティの考慮</h3>
<ul>
<li><strong>入力制限</strong>: ユーザーが一度にアップロードできる画像の枚数や、合計ファイルサイズに上限を設けましょう。これにより、意図しない高額なAPI利用を防ぎます。</li>
<li><strong>認証とレートリミット</strong>: 誰でも無制限にAPIを呼び出せる状態は非常に危険です。NextAuth.jsなどでユーザー認証を導入し、ユーザーごとにAPI呼び出し回数の制限（レートリミット）を設けることを強く推奨します。</li>
</ul>
<h2 id="まとめ">まとめ</h2>
<p>本記事では、Vercel AI SDKの強力な新機能であるマルチモーダル対応について、その重要性から具体的な実装方法、そして実践的なTipsまでを網羅的に解説しました。</p>
<p>Vercel AI SDKは、これまで専門家でなければ困難だったマルチモーダルAIアプリケーションの開発を、フロントエンド開発者にとって身近なものへと変えてくれました。煩雑なデータハンドリングやAPIの差異を抽象化することで、私たちはより創造的な作業、すなわち「AIを使ってどのような新しいユーザー体験を創造するか」に集中することができます。</p>
<p>画像認識チャット、デザインレビューツール、ビジュアル検索エンジンなど、あなたのアイデアを形にするためのツールは、かつてないほどシンプルで強力なものになりました。もちろん、コスト管理やパフォーマンスチューニングといった実践的な課題は残りますが、それらを乗り越えた先には、ユーザーをあっと驚かせるような革新的なアプリケーションが待っています。</p>
<p>テキストの時代から、画像、音声、そしてUIが融合するマルチモーダルの時代へ。Vercel AI SDKは、その大きな潮流に乗るための、最も確かな羅針盤となるでしょう。さあ、あなたもこの新しいツールを手に、次世代のAIアプリケーション開発に挑戦してみてはいかがでしょうか。</p>
]]></content:encoded>
      <category>Web Dev</category>
      <category>Vercel</category>
      <category>AI SDK</category>
      <category>Next.js</category>
    </item>
  </channel>
</rss>
