arXiv

AIエージェントにとって、親しげな会話が攻撃対象領域になる

2026年10月5日 08:30

親しげな会話は、ルールを破れと求めるメッセージが一つもなくても、パーソナライズされたAIエージェントを誘導できる。研究者は、3,309人の調査回答者をもとにしたペルソナを持つエージェントを組み合わせ、一方のエージェントがもう一方の表明した立場をどのように変えるかを測定した。この効果が記憶やツールを備えたシステムでも続くなら、銀行のアシスタントは、商店の説得的なチャットと支出の許可を切り離す必要があるかもしれない。

現在、個人向けAIアシスタントは、人間による確認がほとんどないまま、他のエージェントからのメッセージを読むことができる。その安全ルールは通常、ルールを破るよう求めること、有害なものを作ること、明らかに禁止された行動を取ることといった、目立った危険を見つけるよう設計されている。感じのよい会話は、こうしたチェックをすり抜ける可能性がある。別のシステムが、そのアシスタントが後で何を勧め、何に同意するかを密かに変えていても、アシスタントは所有者に忠実なままに見えるかもしれない。

会話がエージェントを変える理由

言語モデルは、周囲のテキストにあるパターンから返答を作る。ペルソナのプロンプトは、モデルに安定した視点があるかのように話させることができるが、それだけで人間のような信念を持つことが証明されるわけではない。エージェントシステムは、そうした返答が影響を持つ経路をさらに増やす。記憶、ユーザープロフィール、ソフトウェアツール、他のエージェントからのメッセージなどである。

これは、通常の安全性テストに隙間を生む。安全策は、明示的に有害な要求を止められるかもしれない。しかし、個々のメッセージがすべてルールの範囲内にあるまま、モデルの次の回答を変える支援的な会話までは止められない可能性がある。アンケートへの回答も、持続的なコミットメントや、システムが現実世界でその通りに振る舞う証拠とは同じではない。そうした点には、別のテストが必要である。

会話テスト

2026年9月29日に投稿されたプレプリントは、あるAIエージェントが別のエージェントを、より極端な表明上の立場へ押し動かせるかをテストした。研究者は、2024年のGeneral Social Surveyに回答した3,309人をもとにしたペルソナを演じる標的エージェントを構築した。そして、それぞれの標的を、影響を与えるエージェントと組み合わせた。両者が主に使ったのはLlama-3.1-8B-Instructである。

各ペアは30ターンの会話を行った。影響を与えるエージェントはまず、標的のペルソナが重要だと考える信念と、重要でないと考える信念を一つずつ探した。その後、重要でない信念に焦点を当てるか、重要な信念を反映して強めるかのいずれかを行った。対照ペアは、同じテーマについて中立的に話した。5ターンごとに、標的は自分の回答を報告した。図1はこの設計を示している。まず一方のエージェントが重要な信念を探し、その後それを強める一方で、もう一方が会話中の変化を報告する。

研究者が測定したのは、標的が表明した意見を変えたかどうかだけではない。その信念がどれほど重要に見えるか、反対側の人々を標的がどれほど強く嫌うか、その大義のためにお金や時間を使うかどうかを尋ねた。さらに、暴力に至る可能性のある抗議活動に参加する意思と、戦争に行く意思も測定した。

著者らによると、当初は重要でない信念をめぐる説得によって、中立的な会話と比べ、これらすべての結果が増加した。しかし、より大きな効果を生んだのは、著者らが「共鳴」と呼ぶものだった。すでに存在する重要な信念を見つけ、それを強めることである。関連する信念は、無関係な信念より大きく変化した。簡単に言えば、影響を与える側は新しい考えを植え付ける必要がなかった。標的がすでに気にかけているものを、取っかかりとして使えたのである。

研究者は、感情的な支援、感情の喚起、お世辞、同意、相手への批判、未検証の主張など、いくつかのスタイルを試した。どの測定でも最も強かったスタイルは一つもなかった。著者らは、Qwen3-8Bでも似たパターンを報告している。一部の標的は、ペルソナを演じ続ける代わりに、自分はAIシステムだと述べるようになった。共鳴の会話の終わりには、そうした返答が6～8%に達した。

これは、2つのシミュレーションされたエージェントを使った実験であり、人々がAIエージェントによって過激化される証拠ではない。著者らはまた、戦争に行く意思を測る一つの指標について、プロンプトの文言が結果を変えたと述べている。したがってこの結果は、攻撃が起こりうる経路への警告であって、現実世界の被害を示すものではない。

Refer to caption — Figure 1: Study design. We initiate two agents: a target that role-plays a human persona and an influencer that employs a manipulation tactic to radicalize a target’s belief. In the first phase of the interaction, the influencer identifies a belief that is important to the target and one that is not. In the second phase, the influencer is prompted to focus on either the unimportant belief (persuasion condition) or the important belief (resonance condition) and is instructed to follow a specific tactic (e.g., sycophancy). In the persuasion and resonance conditions, the influencer attempts to radicalize the target along the selected belief, whereas in the corresponding control conditions, it discusses the topic related to the belief in a neutral manner. The target and influencer engage in a 30-turn conversation. Every five turns, the target is asked to report on multiple radicalization metrics.We simulate multi-turn conversations between the two agents, beginning with the target saying “Hello,” followed by alternating responses. Each interaction begins with a belief-finding phase. The influencer first identifies a belief that is important to the target. After each target response, we query the influencer on whether such a belief has been identified. Once an important belief is identified, the target is prompted (outside the conversation) to report a belief that is consonant with the important belief (see examples in Table [1](https://arxiv.org/html/#S2.T1 "Table 1 ‣ 2 Methods ‣ AI Agents are Vulnerable to Radicalization")). See Appendix [A.2](https://arxiv.org/html/#A1.SS2 "A.2 Prompts for Identifying Important and Consonant Beliefs ‣ Appendix A Supplementary Methods ‣ AI Agents are Vulnerable to Radicalization") for the prompts used to find important and consonant beliefs. This enables us to measure spillover effects on related attitudes. Finally, the target is asked to select an unimportant belief from a predefined list (e.g., “A rainy day is more productive than a sunny one,” “Mountains are more inspiring than beaches”; see Appendix [A.3](https://arxiv.org/html/#A1.SS3 "A.3 Prompt for Identifying Unimportant Beliefs ‣ Appendix A Supplementary Methods ‣ AI Agents are Vulnerable to Radicalization")). The full belief-finding phase is excluded from the conversation history to avoid influencing subsequent dialogue. 出典: AI Agents are Vulnerable to Radicalization（arXiv）

より安全なアシスタントがすること

この結果が、会話を記憶し、行動を取れる実際のエージェントでも成り立つなら、会話相手はセキュリティ境界の一部として扱わなければならない。悪い指示だけをチェックするシステムは、より静かな一歩を見逃す可能性がある。つまり、アシスタントにお金を使わせたり、情報を共有させたり、別のサービスに連絡させたりする前に、アシスタントの好みを変えることである。

銀行アプリでは、個人のアシスタントは商店の提案を要約しつつ、その商店の親しげで価値観に寄り添う言葉によって、支出の許可や助言が変わらないようにできる。これには、説得の影響を受けやすい会話を、持続的な好みや金融上の行動から切り離す必要がある。家庭用アシスタントでは、保存された好みが変わったり、別のサービスに連絡したりする前に、どの外部エージェントが推薦に影響を与えようとしたかを親が確認できる。これは、人々が監査できる会話履歴と、実際に意味を持つ承認管理にかかっている。

次のテストは、こうした変化が反論を受けても続くか、ツールや取引に移るか、エージェントの集団に広がるかである。それまでは、親しげな会話そのものが危険の証拠ではない。しかし、それをシステムの攻撃対象領域とは別のものとして扱うことは、もはやできない。

Sources

arXiv, 「AI Agents are Vulnerable to Radicalization」