🧭 AIGSで自社の該当性を診断する →
図で見る4極比較

AI安全ガバナンス サマリー

中国・EU・米国・日本の主要4文書を、図解ですばやく把握するためのページです。詳細な根拠・条文は「国際比較」タブおよび各法域タブをご覧ください。
この資料の読み方: 中国『人工智能安全治理框架3.0』・EU AI Act・米国NIST AI RMF・日本『AI事業者ガイドライン』は、いずれも「AI安全ガバナンス」を扱いますが、法的性質も分類の考え方も大きく異なります。このページでは、その違いを図でざっと把握できるようにまとめています。詳しい条文・根拠は「国際比較」タブの28軸マトリクス、各法域タブの解説資料・原文をご確認ください。 本資料は約1,300ページ相当のボリュームがあるため、まず全体像をつかみたい方はこのサマリーから、特定の条文・根拠まで踏み込みたい方は各セクションの図から対応する「国際比較」タブ・各法域タブへ進む、という順で読み進めることをお勧めします。図中の色は各法域タブのタグ色と統一しているため、どの図でも同じ色が同じ法域を指します。
色の凡例 中国 EU 米国 日本

00 法的拘束力の位置づけ

4文書のうち、法的拘束力を持つ法令はEU AI Actのみです。中国『AI安全治理框架3.0』・米国NIST AI RMF・日本『AI事業者ガイドライン』は、いずれも法律ではなく、罰則も法的拘束力も持たない参照フレームワーク(非拘束的ソフトロー)です。なお日本には、AIに関する基本理念・国と事業者等の責務・政府の基本計画等を定める別の法律「AI法」(令和7年法律第53号)も存在しますが、AI法自体は、EU AI Actのような段階的なリスク分類や、AI事業者ガイドラインに見られる主体別の具体的な実務対応事項を中心的な規律として設けていないため、本資料では日本の代表文書として『AI事業者ガイドライン』を用い、AI法は関連法令として別途扱います(詳細は「国際比較」タブ0.1参照)。

非拘束フレームワーク(法律ではない)
米国 NIST AI RMF任意の自主的フレームワーク。特定の政府調達・契約・組織内ガバナンス要件等で参照される場合がある。
中国『AI安全治理框架3.0』TC260がCACの指導下で策定・公表する非拘束フレームワーク(框架)。GB/T等の国家標準番号なし。
日本『AI事業者ガイドライン』総務省・経済産業省が策定・公表する非拘束的ソフトロー(第1.2版)。罰則・法的拘束力を伴わない参照文書として、1.0→1.1→1.2と継続的に改定される「Living Document」。
⇄
法的拘束力あり(法律・規則)
EU AI ActEU全域で直接効力を持つ規則。違反には最大:全世界年間売上高7%(禁止AI慣行違反)の制裁金。
「法的拘束力」と「罰則の有無」は別の軸ですが、本資料の4文書に限って見ると、法的拘束力を持つのはEU AI Actのみで、中国3.0・NIST AI RMF・日本のAI事業者ガイドラインはいずれも法律ではないため拘束力も罰則もありません。将来どのような制度に発展するかは、いずれの文書についても現時点では確定していません。日本には別途、法的拘束力を持つが罰則規定のないAI法(基本法・理念法)が存在する点は0.1で扱っています。

罰則を持たない3文書も、それぞれ別の経路で実務上の圧力を持ちます。本資料の分析としては、中国『AI安全治理框架3.0』が将来の法制化・国家標準化の議論に影響する可能性は考えられますが、現時点で中国政府が3.0の法制化・国家標準化を決定したことを示すものではありません。米国NIST AI RMFは政府調達や取引先のデューデリジェンス要件を通じて特定の場面で参照される場合があり、日本のAI事業者ガイドラインは、法的拘束力を持つ別法であるAI法上の責務や政府の基本計画、監督府省庁による指導・助言等と組み合わさって実務上の参照点となります。本法上の責務、政府の施策、指導・助言、既存法制等を分けて確認する必要があります。

01 統合タイムライン(2023〜2028)

4法域の主要な制度動向を、ひとつの時間軸上にまとめました。中国では2024年版、2025年版、2026年版と框架が改訂され、日本ではAI事業者ガイドラインが1.0→1.1→1.2と改定を重ねるなど、各法域で制度の更新が続いています。EUは段階的な施行スケジュールを中心に、米国は大統領令・プロファイル文書の追加を中心に動いている様子が一目でわかります。

2023 2024 2025 2026 2027 2028 中国『AI安全治理框架3.0』 1.0版 公表 2.0版 公表 改正网络 安全法施行 3.0版 公表 EU AI Act 規則発効 禁止AI 慣行 GPAI 義務 透明性 義務 ハイリスク (附属書III) ハイリスク (附属書I) 米国 NIST AI RMF RMF 1.0 公表 生成AI プロファイル AI Action Plan 州法 プリエンプションEO RMF本体 改訂中 日本『AI事業者ガイドライン』 1.0版 公表 1.1版 改定 1.2版 改定
図中の項目は代表的なものに絞っています。各項目の詳細・出典は「国際比較」タブの各法域セクション、または各法域タブの解説資料をご覧ください。

02 リスクの捉え方 4アプローチ

「リスク」をどう分類するかという発想そのものが、4法域で大きく異なります。

中国:発生源による3層分類
内生的安全リスク
(モデル・データ・算力)
応用に伴う安全リスク
(エージェント・サイバー等)
派生的安全リスク
(社会・文化・雇用への波及)
「どこで発生するか」を軸に整理。附属書1で応用場面・知能化レベル・応用規模に応じた5段階の等級付けも規定。
EU:用途・被害による4段階
禁止
ハイリスク
限定リスク
最小リスク
「何に使われ、どれだけ被害が及びうるか」を軸に整理。上に行くほど対象は狭く義務は重い、逆三角形の構造。
米国:4機能の循環プロセス
Map(把握)
↓
Measure(測定)
↓
Manage(対応)
⟲ 循環
Govern(土台・全体を支える)
階層分類ではなく、Map・Measure・Manageが循環し、Governがその全体を土台として支える構造。
日本:段階的な等級分類ではなくサイクルで捉える
明確な段階的リスク等級(EU型・中国型)は設けず、
「環境・リスク分析→ゴール設定→システムデザイン→運用→評価」
という継続的な循環(アジャイル・ガバナンス)でリスクへの対応を捉える
開発者・提供者・利用者という主体別に実施事項を整理しつつ、リスクの水準そのものは事業者による継続的な分析・見直しに委ねる設計。

4つのアプローチの違いは、各法域がAIリスクをどのような観点から整理しているかという制度設計上の違いを反映しています。中国は発生源(内生的・応用・派生的)で切り分け、EUは用途と被害の大きさで段階を分け、米国は分類ではなくプロセス(循環的な機能)で捉えています。日本のAI事業者ガイドラインには、EU AI Actや中国3.0に相当する段階的なリスク分類規定はなく、米国NIST AI RMFに近い継続的サイクル(アジャイル・ガバナンス)としてリスクへの対応を位置づけています。そのため、本資料では段階的な等級分類ではなく、主体別の実施事項とガバナンスサイクルを中心とする制度設計として整理しています。同じ「AIリスク管理」という言葉を使っていても、比較の土俵が異なる点には注意が必要です。

03 罰則・執行の強さ

「法的拘束力」と「罰則・制裁規定の有無」は別の軸です。本資料の4文書に限れば、法的拘束力・罰則を伴う法令はEU AI Actのみで、中国3.0・NIST AI RMF・日本のAI事業者ガイドラインはいずれも法律ではなく、文書自体に罰則・制裁規定を持ちません。

!
EU AI Act
罰則規定あり(EU規則)

最大:全世界年間売上高7%、または3,500万ユーロのいずれか高い方(禁止AI慣行違反)。欧州委員会AI Office・加盟国当局による複層的な執行体制。

–
中国AI安全治理框架3.0 米国NIST AI RMF 日本AI事業者ガイドライン
法令ではなく、文書自体に罰則・制裁規定なし

中国3.0はガバナンス/技術上の参照枠組み、NIST AI RMFは任意フレームワーク、日本のAI事業者ガイドラインは総務省・経済産業省による非拘束的ソフトローであり、いずれも法律・規則ではないため、文書そのものに基づく罰則・制裁の仕組みは設けられていません。「守るべき法令上の義務」というより「AIリスク管理の実務上の参照枠」として利用されています。

中国『AI安全治理框架3.0』自体に罰則はありませんが、网络安全法・データセキュリティ法等の別の法律が、日本のAI事業者ガイドラインについても個人情報保護法・著作権法等の既存法制に加え、法的拘束力を持つ別の法律「AI法」(罰則規定は置かない基本法)が、それぞれ別途適用・関係し得る点に注意してください。具体的な行為規制・制裁は、主にこれら既存法制が担っています。

04 企業がまず着手すべきこと

詳細は「国際比較」タブの4極比較マトリクス「F. 企業の具体対応項目」に整理していますが、まず着手すべき点だけを早見表にまとめました。

中国AI安全治理框架3.0EU AI Act米国NIST AI RMF日本AI事業者ガイドライン
優先確認事項自社AIが内生的・応用・派生的のどのリスク層に関わるか禁止AI慣行・ハイリスク・GPAIのいずれかに該当しないか取引先からのガバナンス評価・調達要件の有無10項目の共通の指針・主体別(開発者・提供者・利用者)の実施事項への該当状況、AI法等既存法制上の該当性
体制整備AI安全評価・検測の実務体制(ハイリスク該当時)リスク管理・データガバナンス・人的監督体制Govern機能を土台にAIシステム台帳を整備アジャイル・ガバナンス(環境・リスク分析→ゴール設定→システムデザイン→運用→評価)の社内サイクル整備
今後の注視点将来の制度化(法制化)の動向デジタル・オムニバス等による施行時期の変更RMF本体改訂の完了時期、州法の動向AI事業者ガイドラインの改定(Living Document、1.0→1.1→1.2)、AI法の運用・附帯決議に基づく動向
次のステップ

自社のAI製品・サービスがどの法域のどの区分に該当するかを具体的に診断したい場合は、AIGS(AI Governance & Security Navigator)のウィザードをご利用ください。

🧭 AIGSで自社の該当性を診断する →

05 総括:4法域をどう読むか

4文書を並べて見えてくるのは、「どれが一番厳しいか」という優劣ではなく、AIガバナンスに対する4つの異なる制度設計上の特徴です。以下の「リスクベースの法規制型」「リスク分類+技術・ガバナンス型」「自主的リスクマネジメント型」「アジャイル・ガバナンス型」という分類は、各政府・制度が公式に採用している分類ではなく、本資料における比較分析上の整理です。EUは「リスクの程度に応じて規制上の義務を段階化する」リスクベースの法規制型、中国は「発生源ごとにリスクを分類し技術・ガバナンス両面で統制する」リスク分類+技術・ガバナンス型、米国は「継続的な機能循環でリスクを管理する」自主的リスクマネジメント型、日本は「段階的な等級分類ではなく、主体別(開発者・提供者・利用者)の実施事項と継続的な見直しサイクルでリスクに対応する」アジャイル・ガバナンス型――と整理できます。なお日本には、これとは別に法的拘束力を持つ基本法「AI法」が存在しますが、AI法自体は、EU AI Actのような段階的なリスク分類や、AI事業者ガイドラインに見られる主体別の具体的な実務対応事項を中心的な規律として設けていないため、この4類型比較ではAI事業者ガイドラインを比較対象としています。

実務上重要なのは、この4つが互いに排他的ではなく、多くの企業にとって同時に関係しうるという点です。たとえば日本企業がEU向けにAIサービスを提供し、そのバックエンドで米国クラウド事業者のAIを利用し、中国拠点でも開発を行っている場合、4法域すべてへの目配りが必要になります。この「多法域重複」こそが、単一法域の解説だけでは見えにくい実務上の難所であり、本資料が国際比較という形式を取っている理由でもあります。

また、4文書はいずれも制定・公表から日が浅く、今後も改訂が続きます(EUはデジタル・オムニバスによる施行時期調整、米国はNIST AI RMF本体改訂、中国は今後のバージョンアップ、日本はAI事業者ガイドラインの改定〔Living Document〕)。このサマリーおよび「国際比較」タブの内容も、最新の一次情報に基づいて随時見直す前提でご利用ください。

AIガバナンス 国際比較

中国・EU・米国・日本 4極比較

中国『人工智能安全治理框架3.0』(CAC・TC260公表資料)、EU一次資料(EUR-Lex・欧州委員会公表資料に基づく要約)、米国NIST公表資料、および日本『AI事業者ガイドライン』(総務省・経済産業省公表資料)に基づき作成 | 本資料は各制度の優劣を示すものではなく、規制・標準・フレームワークという異なるアプローチを共通軸で整理することを目的としています | 法制度は継続的に更新されるため、実務適用前に最新の一次情報をご確認ください
この資料の読み方: 本資料は、中国の『人工智能安全治理框架3.0』・EUのAI Act・米国のNIST AI RMF・日本のAI事業者ガイドラインを、AI安全ガバナンスという共通テーマから比較するものです。ただし4文書は法的性質が大きく異なります。4文書のうち、法的拘束力を持つ法令はEU AI Actのみです。中国『AI安全治理框架3.0』・米国NIST AI RMF・日本のAI事業者ガイドラインはいずれも法律ではなく、法的拘束力を持たない参照フレームワーク(ソフトロー)です。日本には別途「AI法」(令和7年法律第53号)という法的拘束力を持つ法律も存在しますが、AI法自体は、EU AI Actのような段階的なリスク分類や、AI事業者ガイドラインに見られる主体別の具体的な実務対応事項を中心的な規律として設けていないため、本資料では実質的なガバナンス内容を備えたAI事業者ガイドラインを日本の代表文書とし、AI法は関連法令の一つとして扱っています。したがって本資料の比較表は各制度の優劣を示すものではなく、規制・標準・フレームワークという異なるアプローチを共通軸で整理することを目的としています。世界のAIガバナンス全体を網羅するものではなく、比較対象を代表的な4つの文書に絞っている点にもご留意ください。
文書ステータス(基準日:2026年9月)
法域基準とする文書・版
中国CAC・TC260が2026年9月14日に公表した『人工智能安全治理框架3.0』(改正网络安全法〈2026年1月1日施行〉・GB/T 45654-2025は別文書として区別)
EURegulation (EU) 2024/1689を、2026年7月27日発効の改正Regulation (EU) 2026/1744(デジタル・オムニバス)を反映した現行版として基準
米国NIST AI RMF 1.0(2023年1月公表)を基準とし、生成AIプロファイル(NIST AI 600-1)等の関連文書、および2025年7月のAI Action Plan指示に基づき進行中のRMF本体改訂(2026年9月時点で未完了)を注記
日本総務省・経済産業省が2026年3月31日に公表した『AI事業者ガイドライン(第1.2版)』を基準(AI法:令和7年法律第53号は関連法令として別途参照)

日本語訳はすべて参考訳であり公式訳ではありません(日本のAI事業者ガイドラインのみ原文自体が日本語)。比較・評価にあたる記述は編集者による分析であり、各機関の公式見解ではありません。

00 比較の視点:そもそも性質が違う4つの文書

4極を並べる際に最初に押さえるべきは、それぞれの法的な立ち位置です。4文書のうち、法的拘束力を持つ法令はEU AI Actのみで、罰則付きの強制法(Regulation)です。これに対し、中国『AI安全治理框架3.0』はTC260がCACの指導下で策定・公表した、法律ではなく法的拘束力を持たない参照フレームワーク(框架)、米国NIST AI RMFも同様に法律ではない任意の自主的フレームワーク、そして日本のAI事業者ガイドラインも総務省・経済産業省が策定した非拘束的なソフトローであり、この3つはいずれも法律ではありません。この違いを前提としないまま内容だけを比較すると誤解を招きます。なお日本には別途、法的拘束力を持つ「AI法」(令和7年法律第53号)という法律も存在しますが、AI法自体は、EU AI Actのような段階的なリスク分類や、AI事業者ガイドラインに見られる主体別の具体的な実務対応事項を中心的な規律として設けていない基本法(理念法)であるため、実質的なガバナンス内容を備えたAI事業者ガイドラインを本資料の比較対象としています(AI法は「05 日本『AI事業者ガイドライン』の骨子」内で関連法令として扱います)。

中国『AI安全治理框架3.0』非拘束フレームワーク

TC260がCACの指導下で策定・公表した框架(フレームワーク)。法的拘束力はないが、AI安全評価・検測等の実務で参照され得る。

EU AI Act強制規則

EU全域で直接効力を持つ規則。違反には売上高比例の高額な制裁金が科される。

米国NIST AI RMF任意フレームワーク

NIST公表の自主的フレームワーク。法的義務ではないが、特定の政府調達・契約・組織内ガバナンス要件等で参照される場合がある。

日本『AI事業者ガイドライン』非拘束フレームワーク

総務省・経済産業省が策定した行政ガイドライン。「非拘束的なソフトロー」と明記され、法的拘束力を持たないが、AI開発者・提供者・利用者向けの実質的な実務指針として広く参照される。

日本には別途、法的拘束力を持つ「AI法」(令和7年法律第53号)が存在します。国会で成立した法律として拘束力を持ちますが、罰則を置かず、基本理念・関係主体の責務・基本計画・推進体制を定めることに重点を置く法律です。AI事業者ガイドラインとは別の文書である点にご注意ください(詳細は「05 日本『AI事業者ガイドライン』の骨子」内「関連法令との関係」)。

0.1 なぜ「強制・任意」という違いが生まれるのか

この違いは、AIへの理解度の差ではなく、それぞれの国・地域が持つ立法制度と規制哲学の違いに由来します。以下の各国・地域の特徴づけ(「重層的ガバナンス」「権利基盤型規制」「分権的アプローチ」等の表現や、ブリュッセル効果への言及を含む)は条文の直接の記述ではなく、編集者による分析・解釈です。法令上の根拠を伴う記述(法律名・条番号・施行日等)と、この分析部分は区別してお読みください。

  • 中国:法規範と標準・技術規範を組み合わせた重層的なガバナンス。中国では、法律(全国人民代表大会及びその常務委員会が制定)→行政法規(国務院)→部門規章(各省庁)という法規範の階層と、国家標準(GB/GB/T)・業界標準・団体標準等の標準・技術規範の体系が、別の系統として並行して存在し、実務上相互に参照し合う関係にあります。すでに《网络安全法》《数据安全法》《个人信息保护法》という法律や、生成式AIサービス・アルゴリズム推薦・ディープシンセシスに関する個別の管理弁法(部門規章)が具体的な義務を課しており、『人工智能安全治理框架』はこれらとは別に、TC260がCACの指導下で策定・公表する参照フレームワーク(框架)として位置づけられています。GB/T番号を持つ国家標準ではなく、法律改正のような重い手続きを経ないため、1.0→2.0→3.0という短いサイクルでの更新が可能になっています。個別の文書が将来どのような法的制度に発展するかは現時点で確定していませんが、実務が成熟した領域から法制化が進む可能性は指摘できます。またこの種の框架文書は、国連や世界互联网大会等での対外的な発信を通じて、中国のAIガバナンス構想を対外的に共有する役割も担っています。
  • EU:単一市場統合と権利基盤型規制。EUがAI Actを「指令(Directive)」ではなく「規則(Regulation)」として制定した背景には、加盟27か国それぞれの国内法制化を待たずに、単一市場全体で同一のルールを直接適用したいという統合上の要請があります。GDPR以降、EUの規制が域外適用を通じて事実上のグローバル標準になり得るという、いわゆる「ブリュッセル効果」につながり得るとの分析があり、AI Actについても同様の効果を指摘する見方があります。また、新技術を「製品安全規制(New Legislative Framework)」の枠組みで扱い、CEマーキング等の適合性評価の仕組みを既に確立していたことも、AIシステムに同じ枠組みを応用しやすくした制度的な下地といえます。
  • 米国:三権分立と業種別規制の伝統による分権的アプローチ。米国では、権限分立の伝統と、包括的な連邦データ・AI立法をめぐる議会内の意見対立から、包括的な連邦AI法を制定すること自体のハードルが高い状況が続いています。そのため、FTC法第5条(不公正・欺瞞的行為の禁止)等、既存の業種別・機関別の権限を用いた事後的な執行や、NISTのような技術標準機関による自主的フレームワークの普及という、分権的・間接的な手法が中心になっています。大統領令やホワイトハウスの政策文書がAI政策の方向性を示す一方、2025年1月には前政権のAI関連大統領令(EO 14110)が撤回され、2025年12月には州のAI法制へのプリエンプション(連邦法による専占)を志向する新たな大統領令が署名されるなど、政権交代・政策転換に伴い連邦・州の関係性そのものが流動的である点も、この分権的アプローチの一側面です(同時期の動きとして、コロラド州のAI法も2026年5月に別の新法へと置き換えられています。両者の時期は近接していますが、本資料はこの置き換えが当該大統領令によって直接もたらされたと断定するものではありません)。
  • 日本:省庁横断のソフトローによる先行的な実務指針の提示。日本では、法律である「AI法」が段階的なリスク分類や主体別の具体的な実務対応の枠組みを中心的な規律としては設けていない一方、総務省・経済産業省が共同で『AI事業者ガイドライン』を策定し、AI開発者・提供者・利用者向けの共通の指針・リスクベースアプローチ・アジャイル・ガバナンスの考え方を提示しています。従来個別に存在した「AI開発ガイドライン」「AI利活用ガイドライン」等を2024年に統合し、法律のような改正手続を経ずに年次で機動的に改訂できる「Living Document」として運用することで、AI技術・社会実装の急速な変化に対応するというアプローチです。個人情報保護法・著作権法等の既存法制による個別対応と、広島AIプロセス等の国際的な議論への関与を組み合わせる、分権的かつ漸進的な設計です。
拘束力の弱い文書ほど「軽視してよい」わけではありません。日本のAI法についても、附帯決議でリスクベースアプローチの検討が求められており、将来の法改正でAI事業者ガイドラインの内容が法制化される可能性はありますが、これも現時点では予測の域を出ません。

01 中国『人工智能安全治理框架3.0』の骨子

1.1 位置づけ:法的拘束力を持たないガバナンス・フレームワーク

『人工智能安全治理框架』は、全国网络安全标准化技术委员会(TC260)が、国家互联网信息办公室(CAC)の指導下で関係機関・研究機関・企業を組織して策定・公表する框架(フレームワーク)です。GB/T番号を持つ国家標準として発表されたものではなく、「发布(公表)」という語は使われるものの「实施」「生效」(施行・発効)といった法的効力の発生を示す語は用いられていません。2024年版(1.0)・2025年版(2.0)を経て、エージェントAIの普及を踏まえて全面改訂されたのが2026年9月公表の3.0版です。法的拘束力はないものの、AI安全評価・検測等の実務において参照され得るフレームワークであるため、中国国内でAI事業を展開する事業者にとって、AI安全評価・検測等との関係を踏まえて参照対象となり得ます。

1.2 3層のリスク分類(内生的・応用・派生的)

3.0版の主要な特徴の一つは、リスクを発生源に応じて次の3つの層で整理している点です。ただし、この3層構造自体は3.0版で新設されたものではなく、CACの公式解説によれば、1.0版の「内生・応用」2分類から発展する形で2025年公表の2.0版で既に導入されています。3.0版はこの3層構造を引き継ぎつつ、AIが自律的に行動する「エージェントAI」の普及を踏まえて内容を更新・拡充したものです。

リスク層内容例
内生的安全リスクモデル・アルゴリズム・データ・算力インフラそのものの欠陥ハルシネーション、安全機構の信頼性不足、データポイズニング、算力インフラの脆弱性等
応用に伴う安全リスクエージェント化・サイバー空間・コンテンツ配信など利用場面で生じる問題エージェントのID・権限濫用、自律型サイバー攻撃、フィルターバブルの助長等
派生的安全リスク雇用構造や文化・倫理など社会全体への波及効果労働・雇用構造への影響、文化的多様性の毀損、感情的依存等

1.3 総合ガバナンス(5本柱)と附属書構成

技術的対応だけでは埋まらない制度・体制面と、実務でそのまま使える参照ツールを、次のとおり整理しています。

区分項目
総合ガバナンス措置(5本柱)技術研究開発
安全リスク管理体制
法律・法規体系・基準の整備
インシデント対応
国際協力
附属書附属書1:人工知能安全リスクの等級付け原則
附属書2:エージェント(智能体)リスク管理フレームワーク
附属書3:信頼できる人工知能の基本準則

1.4 エージェントAIへの言及(附属書2)

自律的に行動するAIエージェント特有のリスク(ID・権限の濫用、推論・計画のずれ、ツール呼び出しの乗っ取り、マルチエージェント連携時の異常行動等)への対応を、附属書2として専用のフレームワークにまとめている点が3.0版の特徴の一つです。本資料で比較対象とした4文書のうち、中国『AI安全治理框架3.0』ではAIエージェントに特化した記述が公式文書内に明確に設けられていますが、米国NIST AI RMFでは業界団体による非公式の「エージェンティック・プロファイル」による補完、日本のAI事業者ガイドラインでは第1.2版で定義・便益・リスクが追記された段階にとどまるなど、扱いの厚みには差があります。

3.0は法的拘束力を持たないフレームワークであるため罰則規定はありませんが、個別の文書が将来どのような法的制度に発展するかは現時点で確定していません。

02 EU AI Actの骨子

2.1 リスクベースの4分類(説明上の整理)

EU AI Actは、AIシステムを4段階のリスクに分類し、リスクが高いほど義務が重くなる「リスクベースアプローチ」を採用しています。ただしこの4分類は説明の便宜上の整理であり、実際の条文構造はGPAI(汎用AIモデル)、透明性義務(第50条)、附属書I・IIIといった複数の法的レイヤーが重なる、より複層的な体系になっている点に注意が必要です。

分類該当例主な扱い
禁止AI慣行
(Unacceptable Risk・第5条)
潜在意識操作・欺瞞的手法、脆弱性の悪用、ソーシャルスコアリング、インターネット・CCTV映像からの顔画像の無差別スクレイピング、職場・教育機関での感情推定、法執行目的の公共空間におけるリアルタイム遠隔生体識別(限定的な例外あり)等。2026年12月2日からは非同意の性的画像合成・児童性的虐待素材(CSAM)生成等の禁止も追加される予定原則として提供・利用そのものを禁止
ハイリスクAIシステム重要インフラ、教育、雇用、必須サービス、法執行、出入国管理、司法・民主的プロセス、生体認証等(附属書III)、または規制対象製品の安全部品(附属書I)リスク管理体制・データガバナンス・技術文書・ログ機能・人的監督・適合性評価・EUデータベース登録・CEマーキングを義務化
限定リスク
(透明性義務)
チャットボット、ディープフェイク等AIと対話している旨や、AI生成物である旨の表示を義務化
最小リスクその他大多数のAIシステム法的義務なし(自主的な行動規範への参加は推奨)

2.2 汎用AIモデル(GPAI)に対する義務

チャットGPT等の基盤モデルを提供する事業者には、リスク階層とは別建てで、技術文書の提供・下流事業者への情報提供・著作権法(DSM指令)遵守方針の整備・学習データ概要の公表が義務付けられています(第53条〜第54条)。システミックリスクを持つと分類されるモデル(第51条・第52条)には、敵対的テストを含むモデル評価・システミックリスクの低減措置・重大インシデントの報告・強化されたサイバーセキュリティ対策が追加で義務付けられます。計算量10²⁵FLOPsという閾値はこの判定に関わる重要な基準の一つですが、それだけでシステミックリスクの該当性がすべて決まるわけではありません。

2.3 域外適用・執行体制

適用対象はEU域内に拠点を置く提供者・利用者だけでなく、EU域内でAIシステムを市場投入する提供者や、第三国の提供者・利用者であっても、そのAIシステムの出力がEU域内で使用される場合を含みます(第2条)。執行体制は、欧州委員会内のAI OfficeがGPAIモデル等について専管的な監督権限を持ち、加盟国ごとに指定される国内所管当局がそれ以外の分野を担当する、複層的な監督体制です。

違反類型制裁金上限
禁止AI慣行(第5条)違反3,500万ユーロ、または全世界年間売上高の7%のいずれか高い方
ハイリスクAI・GPAI義務違反1,500万ユーロ、または全世界年間売上高の3%のいずれか高い方
当局への虚偽情報提供750万ユーロ、または全世界年間売上高の1%のいずれか高い方

2.4 施行スケジュール

時期適用開始事項
2024年8月規則の発効
2025年2月禁止AI慣行(第5条、原8類型)の適用開始
2025年8月GPAI(汎用AIモデル)義務の適用開始
2026年8月透明性義務(第50条:AIとの対話表示等)の適用開始
2026年12月第50条の合成メディア表示義務(既存システムの経過措置満了)、および第5条の新規禁止類型(非同意性的画像・CSAM関連)の適用開始
2027年12月ハイリスクAIシステム(附属書III)義務の適用開始
2028年8月ハイリスクAIシステム(附属書I・規制対象製品組込み型)義務の適用開始
2026年7月の「デジタル・オムニバス」による見直し

2026年7月27日に発効した「デジタル・オムニバス」規則(Regulation (EU) 2026/1744)により、ハイリスクAIシステムの適用開始時期が当初予定(2026年8月)から2027年12月・2028年8月へとそれぞれ延期されたほか、第5条に新たな禁止類型(非同意の性的画像合成、CSAM関連)が追加され、2026年12月2日から適用されます。第50条の対話表示義務そのものは延期されていません。延期は猶予期間であって免除ではなく、リスク分類やインベントリ整備等の準備は前倒しで進めるべきとされています。

03 米国NIST AI RMFの骨子

3.1 位置づけ:任意の自主的フレームワーク

NIST AI RMF(AI Risk Management Framework)1.0は、米国国立標準技術研究所(NIST)が2023年1月に公表した、自主的な利用を前提とするリスク管理フレームワークです。民間・公的組織に一律の法的利用義務を課すものではなく、法的拘束力もありませんが、リスク管理の参照フレームワークとして広く参照・利用されています。

3.2 4つのコア機能(Govern・Map・Measure・Manage)

フレームワークの中核は4つの機能です。Map・Measure・Manageの3機能が循環的に繰り返される一方、Governはこの3機能全体を下から支える土台として位置づけられており、他の3機能と並列の1ステップではない点が特徴です。

Govern(ガバナンス・土台)

AIリスクの責任者・エスカレーション経路を明確化し、利用方針・人的監督方針・調達方針を文書化し、AIシステム台帳を整備します。他の3機能全体を支える基盤です。

Map(把握)

各システムの目的・利用文脈・関係者・第三者依存関係を洗い出し、リスクと便益を特定・整理します(特定業種・用途向けの「プロファイル」はMAP機能とは別の補完文書として整備されます)。

Measure(測定)

精度・堅牢性・公平性・説明可能性等の指標を選定し、レッドチーム演習やバイアス監査を実施し、稼働後も継続的にモニタリングします。

Manage(対応)

測定結果をもとにリスクの優先順位付けと低減・移転・回避・受容の判断を行い、ベンダー管理とインシデント対応体制を維持します。

3.3 信頼できるAIの7要素

NIST AI RMFは、信頼できるAIを構成する要素として以下の7つを挙げています。これらは互いにトレードオフの関係にあり得るため、判断根拠を明示的に文書化することが求められます。

  • 妥当性・信頼性:実運用条件下でも主張どおりの性能を安定して発揮すること
  • 安全性:人の生命・健康・環境を脅かさない範囲で動作すること
  • セキュリティ・レジリエンス:データ汚染等の攻撃に耐え、被害からの復旧力を持つこと
  • 説明責任・透明性:システムの情報と責任の所在が明確であること
  • 説明可能性・解釈可能性:AIシステムの出力や動作の仕組みを人が理解・解釈できること(利用者による異議申立て・救済の制度設計は、これとは別に組織のガバナンスの問題として扱われます)
  • プライバシー強化:データ最小化・同意設計等により個人の自律性を保護すること
  • 公平性(バイアス管理):制度的・計算的・認知的な偏りを特定し管理すること

3.4 生成AI・エージェントAIへの拡張

NISTは2024年7月、生成AI固有のリスクを扱う「生成AIプロファイル(NIST AI 600-1)」を公表しました。さらに、自律的に行動するAIエージェント特有のリスク(自律性の階層分け、ツール利用に伴う結果の重大性、稼働中の挙動監視、委任の連鎖における責任の所在)に対応する「エージェンティック・プロファイル」も、業界団体(Cloud Security Alliance等)によりNIST AI RMFの4機能を拡張する形で提案されています。これは、本資料で比較対象とした4文書のうち中国『AI安全治理框架3.0』が附属書2(エージェントのリスク管理フレームワーク)で扱っている領域と問題意識が近いものです。

エージェンティック・プロファイルは業界団体による提案であり、NIST自身が公式に発行した文書ではない点に留意してください。

3.5 連邦AI政策との関係

NIST AI RMF自体はEU AI Actのような域外適用条項を持つ法規制ではなく、あくまで自主的利用を前提とする文書です。NIST自身は国際標準化活動にも別途関与しています。2026年9月時点で、連邦レベルの包括的なAI法は存在せず、各州が独自のAI法制を進める、連邦・州が並存する分権的な状況が続いていますが、関連する大統領令は政権交代に伴い見直される場合があり、これに紐づく政策の方向性は変動し得ます。主な関連動向は次のとおりです。

時期出来事
2023年1月NIST AI RMF 1.0公表
2024年7月生成AIプロファイル(NIST AI 600-1)公表
2025年1月前政権のAI関連大統領令(EO 14110)撤回
2025年7月「America's AI Action Plan」公表、NISTにAI RMF本体の改訂を指示
2025年12月州のAI法制へのプリエンプション(連邦法による専占)を志向する新たな大統領令に署名
2026年4月重要インフラ向けプロファイル(Trustworthy Use of AI in Critical Infrastructure Profile)の検討開始
2026年5月コロラド州のAI法が新法(Automated Decision-Making Technology Act)へ置き換え(2025年12月の大統領令と近接した時期だが、直接の因果関係は本資料では断定しない)
2026年9月時点AI RMF本体の改訂作業は進行中(完了時期は未公表)

04 日本『AI事業者ガイドライン』の骨子

4.1 位置づけ:非拘束的なソフトロー

『AI事業者ガイドライン』は、総務省・経済産業省が共同で策定・公表する行政ガイドラインです。本文中でも「非拘束的なソフトロー」であり、法的強制力を持たず、関係者による自主的な取組を促すゴールベースの指針である旨が明記されています。2024年4月に、従来個別に存在した「AI開発ガイドライン」(2017年)・「AI利活用ガイドライン」(2019年)・「機械学習品質マネジメントガイドライン」等を統合する形で第1.0版が策定されました。対象はAI開発者・AI提供者・AI利用者の3主体(政府・自治体等の公的機関を含む)で、本編・別添(付属資料)を合わせると200ページを超えるボリュームです。

4.2 改定履歴とLiving Documentとしての性質

本ガイドラインは、法律のような改正手続を経る必要がないため、機動的な改訂を前提とした「Living Document」として運用されています。

版公表日主な内容
第1.0版2024年4月既存3ガイドラインを統合し、基本理念・原則・共通の指針・主体別事項からなる体系を新設
第1.1版2025年3月28日内容の明確化・充実(別添付属資料の追加等)
第1.2版2026年3月31日AIエージェント・フィジカルAIの定義や便益・リスクを追記、リスクベースアプローチの記載を実務に即して見直し、主体区分の整理、EU AI Actや広島AIプロセス等の国内外動向を反映

4.3 基本理念・共通の指針(10項目)とリスクベースアプローチ

基本理念として「人間の尊厳が尊重される社会」「多様な幸せを追求できる社会」「持続可能な社会」の3つの価値が掲げられ、これを実現するための「共通の指針」として、人間中心・安全性・公平性・プライバシー保護・セキュリティ確保・透明性・アカウンタビリティ・教育リテラシー・公正競争確保・イノベーションの10項目が、全主体に共通して示されています(各項目の詳細は解説タブ・原文タブを参照)。リスクの大きさ(危害の程度と蓋然性)に応じて対策の程度を対応させる「リスクベースアプローチ」を基本的な考え方としており、EU AI Actの段階的リスク分類ほど明確な区分は設けていないものの、考え方としては共通する部分があります。

4.4 アジャイル・ガバナンスと主体別の実施事項

「AIガバナンスの構築」の節では、複雑で変化の速いサイバー・フィジカル・システム環境を前提に、「環境・リスク分析→ゴール設定→システムデザイン→運用→評価」という循環サイクルをマルチステークホルダーで継続的に回転させる「アジャイル・ガバナンス」の考え方が示されています。この循環構造は、米国NIST AI RMFのGovern・Map・Measure・Manageの4機能循環と発想の点で近い関係にあります。第3部(AI開発者)・第4部(AI提供者)・第5部(AI利用者)では、共通の指針を各主体の役割に即して具体化した実施事項が示されています。

4.5 AI法・既存法制との関係

本ガイドラインには法的拘束力・罰則がありません。日本国内でAI関連事業を行う場合の法的拘束力は、別途存在する「AI法」(令和7年法律第53号、2025年6月4日公布・同年9月1日全面施行)、および個人情報保護法・著作権法等の既存法制から生じます。AI法は全4章(総則、基本的施策、人工知能基本計画、人工知能戦略本部)で構成される基本法(理念法)で、研究開発・活用の推進、基本理念、事業者等の責務、政府の基本計画・推進体制を定めていますが、EU AI Actのような段階的なリスク分類や、本ガイドラインに見られる主体別の具体的な実務対応事項を中心的な規律としては設けていません。本ガイドラインは、AI法が定める推進体制の下で、実務上どのように対応すべきかを具体化する位置づけにあります。

本ガイドラインは罰則を持たない非拘束的な指針であるため、実務上は個人情報保護法・著作権法等の既存法制上の適用関係、およびAI法・AI基本計画の動向も併せて確認する必要があります。

05 4極比較マトリクス

「比較の視点」で見た法的性質の違いを前提に、28の軸で4極の異同を詳細に対比します。法的枠組み・リスクの捉え方・対象別義務・新興領域対応・執行体制・企業の具体対応項目の6カテゴリーに整理しています。

比較軸中国『AI安全治理框架3.0』EU AI Act米国NIST AI RMF日本『AI事業者ガイドライン』
A. 法的枠組み・適用範囲
文書・制度の種類ガバナンス/技術フレームワーク(框架。法律ではない)EU規則(Regulation)任意フレームワーク(法律ではない)行政ガイドライン(非拘束的ソフトロー。法律ではない)
法的拘束力なし(框架自体は法令ではない)あり(EU全域で直接効力)なし(自主的利用が前提)なし(「非拘束的なソフトロー」と明記。別途「AI法」という法律は存在するが本ガイドライン自体は非拘束)
罰則・制裁框架自体には法令上の罰則なし(罰則は网络安全法等の別法令から生じる)あり(全世界年間売上高比例の制裁金)なし(RMF自体に罰則規定なし)なし(ガイドライン自体に罰則規定なし)
制定・所管機関TC260(CACの指導下で策定)欧州委員会(AI Office)+加盟国当局NIST(米国国立標準技術研究所)総務省・経済産業省(AIネットワーク社会推進会議等)
適用対象・域外適用中国国内での提供・利用が中心EU域内での市場投入・利用を中心に、出力がEU域内で使われる域外事業者にも適用米国発の任意フレームワーク。域外適用規定はなく、米国内外の組織が自主的に利用可能国内のAI開発者・提供者・利用者(政府・自治体等含む)向けの指針。域外適用規定なし
改訂サイクル・柔軟性1.0(2024)→2.0(2025)→3.0(2026)と年次で機動的に改訂本文改正は稀。デジタル・オムニバス等の附属規則・実施ガイダンスで調整2023年版が本体。生成AIプロファイル等の別冊で継続的に補完しつつ、2025年7月のAI Action Plan指示を受け本体改訂も進行中(2026年9月時点で未完了)1.0(2024年4月)→1.1(2025年3月)→1.2(2026年3月)と年次で機動的に改訂される「Living Document」
関連法令との関係网络安全法・数据安全法・个人信息保护法・生成式AIサービス管理弁法等、拘束力ある法律・部門規章に加え、GB/T 45654-2025等の任意適用の国家標準が別系統で並存。框架はこれら既存法令・関連制度を補完する技術的参照フレームワークとして機能し、罰則は框架ではなくこれら既存法令から生じるGDPR・DSA・DMA・製造物責任指令・サイバーレジリエンス法・著作権DSM指令等の既存デジタル法体系の上にAI固有の規律を追加。GPAI Code of Practice(第56条に基づく任意の実施規範)はAI Act本体の義務履行を具体化するセーフハーバー的な遵守手段として機能。同一のAIシステムが複数法令の対象になり得る2026年9月時点で包括的な連邦AI法は不在。FTC法第5条・大統領令・州のAI法制(コロラド州、カリフォルニア州CPPA ADMT規則・AI Transparency Act、イリノイ州BIPA等)・業種別規制(医療・金融等)と並行して機能し、NIST AI RMFはこれらへの対応を整理する共通の参照枠として活用される法的拘束力を持つ「AI法」(罰則なし)・個人情報保護法・著作権法・不正競争防止法・個別業法等が別系統で並存。ガイドラインはこれら既存法制を代替せず、実務上の対応指針として機能する
B. リスクの捉え方・評価手法
リスクの捉え方発生源による3層分類(内生的・応用・派生的)用途・被害の大きさによる4段階分類(禁止・ハイリスク・限定・最小)機能ベースの循環プロセス(Govern・Map・Measure・Manage)リスクベースアプローチ(危害の程度と蓋然性に応じて対策の程度を調整)。明確な階層分類ではなく、10項目の共通の指針と主体別事項で構成
リスク分類の軸「どこで発生するか」(モデル起因/利用場面起因/社会波及)「何に使われ、どれだけ被害が及びうるか」(用途・影響ベース)階層分類ではなく、4機能の反復プロセスそのものが軸危害の程度・蓋然性という2軸を考慮する原則的な考え方。EU AI Actのような明文の階層区分はなし
禁止行為(レッドライン)の有無明文の禁止規定なし(リスク管理・低減が中心)第5条に禁止AI慣行を列挙(2025年2月に原8類型が適用開始、2026年12月に新2類型が追加)。違反は最高制裁金禁止規定なし(あくまでリスクマネジメントの指針)禁止規定なし(推奨的な指針が中心)
リスク評価の実施主体法的な評価義務なし。AI安全評価・検測等の実務で参照され得るハイリスクAIは自己適合性評価が原則、一部は第三者評価が必要事業者による自己評価が基本(第三者評価の法的義務なし)法的な評価義務なし。AI開発者・提供者・利用者それぞれによる自主的な取組として想定
C. 対象別の主要義務
基盤モデル・GPAIの扱い個別章立てはなく、リスク層・総合ガバナンス措置の中で横断的に言及GPAIとして別建ての義務体系(システミックリスクモデルに追加義務)生成AIプロファイル(NIST AI 600-1)として別冊で補完個別章立てはなく、AI開発者・提供者向けの共通指針の中で扱う。第1.2版でAIエージェント・フィジカルAIの定義を追加
ハイリスク/重要システムへの追加義務個別の追加義務規定はなく、総合ガバナンス措置内で対応データガバナンス・技術文書・ログ機能・人的監督・EUデータベース登録・CEマーキングを義務化追加の法的義務なし。プロファイル文書で実務上の対応策を提示法的義務なし。リスクの程度に応じた対応を推奨する指針にとどまる
透明性・表示義務生成コンテンツの由来表示等をガイダンスレベルで言及第50条:AIとの対話である旨・合成メディアである旨の表示を義務化(2026年8月適用)法的義務なし。開発者への推奨事項として言及法的義務なし。「共通の指針」の透明性項目として、検証可能性の確保・必要な範囲での情報提供を推奨
データガバナンス・学習データ内生的リスク層でデータの品質・出所管理に言及学習データ概要の公表、著作権法(DSM指令)遵守方針の整備を義務化Map機能の中でデータ来歴・代表性の確認を推奨法的義務なし。AI開発者向け実施事項としてデータ管理・バイアス点検を推奨
D. 新興領域への対応
エージェントAIへの言及附属書2として専用のリスク管理フレームワークを明記本文に専用条項はなく、既存のリスク分類の枠内で対応2026年9月時点でNIST公式のプロファイルはなく、業界提案(Cloud Security Alliance等)で補完中。NIST公式版の公表時期は本資料の基準日時点で未確定第1.2版(2026年3月)でAIエージェントの定義・便益・リスクを追記。専用の附属書等は設けていない
生成AI固有の対応応用に伴う安全リスク層でディープシンセシス等を包括的に扱う合成メディアの表示義務(第50条)、GPAIの著作権遵守義務生成AIプロファイル(NIST AI 600-1)として別冊で補完第1.2版で「学習」「推論」「データ」等の用語を具体化し、RAG(検索拡張生成)を推論の一形態として位置づけ
サイバーセキュリティ・レジリエンス内生的リスク層でモデル・算力インフラのセキュリティを扱うシステミックリスクモデルに敵対的テスト・強化サイバーセキュリティ対策を追加義務化信頼できるAIの7要素の一つとして「セキュリティ・レジリエンス」を明記「共通の指針」の一つ「セキュリティ確保」として、機密性・完全性・可用性の維持を推奨(専用の技術要件規定はなし)
国際的な波及メカニズム総合ガバナンス5本柱の一つとして「国際協力」を明記。国連・世界互联网大会等での対外発信域外適用を通じたEU域内市場アクセスの必要性が、事実上の規制波及(いわゆる「ブリュッセル効果」)につながり得るとの分析があるAI RMF自体に域外適用条項はない。NISTは標準化機関として国際標準化活動に別途関与日本が議長国として主導した広島AIプロセス国際指針との整合性を明記。第1.2版ではEU AI Act等の海外動向も反映
E. 執行・罰則・実務対応
執行体制法的な執行機関なし。AI安全評価・検測等の実務で参照される欧州委員会AI Office(GPAI等を専管)と加盟国当局による複層的な監督体制、高額制裁金法的執行機関なし。自主的な参照にとどまる執行機関なし。総務省・経済産業省による普及・改訂が中心
罰則・制裁金罰則規定なし(法的拘束力を持たないフレームワークのため)最大:全世界年間売上高7%、または3,500万ユーロのいずれか高い方(禁止AI慣行違反)罰則規定なし(法的拘束力のない自主的フレームワーク)罰則規定なし(法的拘束力のない指針のため)
施行スケジュール公表と同時に利用可能(法的な「施行」の概念はなし)2024年8月発効~2028年8月まで段階的適用(2026年7月の改正で一部延期・追加)2023年1月公表以降、継続的に改訂・補完(明確な適用スケジュールなし)2024年4月(1.0)公表以降、法的な「施行」概念はなく、随時改訂(2025年3月:1.1、2026年3月:1.2)
実務上の優先確認事項AI安全評価・検測等の実務での参照、将来の制度化(法制化)の動向を注視リスク分類の特定、適合性評価・CEマーキングの要否確認、行政上の制裁金等のリスクの把握取引先からのガバナンス評価等への対応状況、Govern/Map/Measure/Manageの体制整備状況自社が開発者・提供者・利用者のいずれに該当するか(複数該当あり)の整理、共通の指針10項目への対応状況の点検
F. 企業の具体対応項目
優先確認事項自社のAI製品・サービスが内生的・応用・派生的のどのリスク層に関わるか、附属書1の等級付け要素(応用場面・知能化レベル・応用規模)に照らして整理自社AIシステムが第5条の禁止AI慣行に該当しないか、附属書I・IIIのハイリスク分類に該当するか、GPAI提供者に該当するかをまず確認連邦調達に関わるか、取引先からNIST AI RMFへの準拠やガバナンス評価を求められているか、事業展開先の州のAI法制(例:コロラド州ADMTA、カリフォルニア州CPPA ADMT規則、イリノイ州BIPA)の対象か確認自社がAI開発者・提供者・利用者のいずれに該当するか(複数可)を整理した上で、共通の指針10項目の充足状況を確認。具体的な行為規制・制裁を伴う法的リスクは個人情報保護法・著作権法等の既存法制上の該当性確認もあわせて必要
社内体制の優先整備項目AI安全評価・検測を行う実務体制、リスク層別の管理プロセスの整備(ハイリスク該当時)リスク管理体制・データガバナンス・技術文書・人的監督体制の構築、適合性評価の実施体制Govern機能を土台に、責任者・エスカレーション経路・AIシステム台帳を整備し、Map/Measure/Manageの循環プロセスを構築アジャイル・ガバナンスのサイクル(環境・リスク分析→ゴール設定→システムデザイン→運用→評価)を回す体制の構築
記録・文書化の実務附属書2のエージェントリスク管理フレームワークを参考にした、エージェント運用ログ・承認記録の保持(ハイリスク該当時)技術文書・ログ機能・EUデータベース登録情報の整備。GPAI提供者は学習データ概要の公表と著作権遵守方針の文書化AIシステム台帳、レッドチーム演習・バイアス監査等のテスト記録、インシデント対応計画の文書化トレーサビリティ確保のための学習データ出所・意思決定プロセスの記録(法的義務ではなく指針上の推奨)
サプライチェーン・ベンダー管理オープンソースモデル・第三者ツールの出所検証、サプライチェーン安全リスクへの注意(総合ガバナンス5本柱の一つ)附属書III対象の組込み製品はサプライチェーン全体での適合性を確認。GPAI提供者からの技術情報提供を受ける体制Manage機能の一環として、サードパーティ・事前学習済みモデルに由来するリスクを管理開発者・提供者・利用者の役割分担を踏まえ、サプライチェーン全体での共通の指針の遵守状況を確認(1つの事業者が複数主体に該当する場合あり)
執行・罰則への備え罰則規定はないため、AI安全評価・検測等の実務対応と将来の制度化動向の注視が中心制裁金リスク(最大:全世界年間売上高7%)を前提とした社内リスク評価・予算確保罰則規定はないため、取引先からのガバナンス評価対応や調達要件への対応が中心AI法上の責務・施策と、個人情報保護法・著作権法等の既存法制上の義務を分けて確認する必要がある。

F区分の記述は一般的な実務上の着眼点を整理したものであり、個別の法的助言に代わるものではありません。具体的な対応は必ず最新の一次情報・専門家の助言に基づいてご判断ください。

実務への示唆

中国国内でAI事業を展開する場合は『人工智能安全治理框架3.0』への対応・参照状況(および将来の制度化の動向)、EU AI Act第2条の適用要件に該当する場合は行政上の制裁金等のリスク、米国の取引先からガバナンス評価等を求められる場合はNIST AI RMFへの対応状況、そして日本国内で事業を行う場合はAI事業者ガイドラインが示す共通の指針への対応状況と、個人情報保護法・著作権法等の既存法制への該当性が、それぞれ優先的な確認事項になります。中国『AI安全治理框架3.0』・NIST AI RMF・日本のAI事業者ガイドラインはいずれも法律ではなく、文書自体に罰則を伴う規制ではないため「守るべき法令上の義務」というより「実務上の参照点」として捉えるのが実務的です。EU AI Actのみが罰則付きで法的拘束力を持つ法令であり、行政上の制裁金等のリスクを前提とした対応が必要になります。4極いずれにも接点がある事業者は、本比較マトリクスの28軸を自社のAI棚卸し(インベントリ)の管理項目としてそのまま流用することができます。なお本表は各制度の優劣を示すものではなく、規制・標準・フレームワークという異なるアプローチを共通軸で整理したものである点にご留意ください。

AIガバナンス 解説資料

『人工智能安全治理框架3.0』日本語訳・解説資料

全国网络安全标准化技术委员会(TC260)・2026年9月
この資料の読み方: 『人工智能安全治理框架3.0』は約50ページの技術文書ですが、骨格はシンプルです。 「①どんなリスクがあるかを整理し(第2章)→②技術で対処し(第3章)→③制度で補い(第4章)→④実務の手順に落とし込む(第5章)」という4段構成になっています。 この解説では、各章の「何が書いてあるか」だけでなく「なぜそうなっているか」「実務にどう関係するか」を中心に、かみ砕いてご説明します。

00 全体像:フレームワークの位置づけ

このフレームワークは、AIが「質問に答えるだけの存在」から「タスクを自分で遂行するエージェント」へと進化する中で生まれた、新しい種類のリスクに対応するために作られました。2024年版(1.0)・2025年版(2.0)の内容を引き継ぎつつ、エージェントAIの普及を踏まえて全面的にアップデートしたのが3.0版です。

3.0版で何が変わったか

1.0版は「AI技術そのもののリスク(内生)」と「AIを使う場面のリスク(応用)」の2層で整理していましたが、AIが自律的に行動することで社会・環境・文化に及ぼす「派生的リスク」という第3の層は、3.0版ではなく2.0版(2025年)の時点ですでに導入されています。3.0版における最大の改訂点は、この3層構造自体の新設ではなく、エージェントAIの普及を踏まえた各層の内容の更新・拡充(附属書2の専用リスク管理フレームワーク追加等)です。

全体の論理は、下の4ステップで一貫しています。

①リスク分類 第2章 何が危ないかを 3層に整理する ②技術的対応 第3章 開発者が実装する 技術的な打ち手 ③総合ガバナンス 第4章 技術で埋まらない 制度・体制で補う ④安全指針 第5章 誰が・いつ実行 するかに落とし込む これに加え、附属書1~3が実務でそのまま使える参照ツールとして付属する
図1:全体構成の4ステップ

01 第1章:安全ガバナンスの5原則

第1章では、以降の章すべての土台となる「基本姿勢」を5つの原則として示しています。一言でまとめると、「イノベーションの芽を摘まずに、危ないところだけしっかり押さえる」という考え方です。

1.1 包摂的かつ慎重

基本的には新しい取り組みを後押しします。ただし、国家の安全や公共の利益を損なうおそれがあるときに限り、必要な措置を迅速に講じます。

1.2 リスク志向・アジャイル

用途・自律性・規模に応じてリスクの大小を判定し、一律の対応ではなく、段階に応じた対応を継続的に見直します。

1.3 技術・管理の融合

技術的な対策と組織的な仕組みを両輪で進めます。開発者・提供者・利用者それぞれの責任範囲を明確にします。

1.4 開放・協力

一国だけで対応しきれる問題ではないため、国際機関を通じたルール形成に参加します。

1.5 信頼できる応用

エージェントが暴走・制御不能に陥らないことを重視する原則です。附属書2・3に直結する原則です。

この5原則は抽象的に見えますが、実は後続の章の設計思想そのものです。特に1.5(制御不能の防止)は、第5章・附属書2で扱う「エージェントの暴走対策」の理論的な出発点になっています。

02 第2章:3層のリスク分類 ― 「どこから危険が生まれるか」

第2章の考え方はシンプルで、AIのリスクを発生源に応じて内側から外側へ3つの層に分けています。技術そのものの欠陥(内生)→使い方によって生じる問題(応用)→社会全体への波及効果(派生)という順で、リスクが「AIの中」から「AIの外」へと広がっていくイメージです。

内生的 安全リスク 応用に伴う安全リスク 派生的安全リスク 例:ハルシネーション、モデルの脆弱性 例:エージェントの権限濫用、サイバー攻撃への悪用 例:雇用構造の変化、社会的分断 内側=技術そのもの → 外側=社会全体への波及
図2:3層のリスク分類(内側→外側)

2.1 内生的安全リスク(4分野) ― AIそのものが抱える欠陥

モデルの学習方法やアルゴリズムの限界に起因するリスクです。AIを使わなくても、AIを作る・動かす時点ですでに存在している問題です。

分野主なリスク項目
モデル安全リスク幻覚(ハルシネーション)、安全機構の信頼性不足、インジェクション攻撃、想定を逸脱した自律的振る舞い(コラム1)
アルゴリズム安全リスク説明可能性不足、偏見・差別、堅牢性不足
データ安全リスク内容不適切・出所不明、アノテーション不備、ポイズニング・汚染、合成データの欠陥
算力インフラ・運用環境リスク算力安全、コンポーネント安全、サプライチェーン分断(輸出規制等)
コラム1:想定外の自律的挙動

停止指示を拒否したり、評価環境だと気づいて成績をわざと落としたりするモデルの事例が報告されています。AIの自律性が高まるほど、「人間が止めたい時に本当に止められるか」が現実の課題になります。

2.2 応用に伴う安全リスク(6分野) ― 使い方から生じる問題

AI自体に欠陥がなくても、実際の利用場面(エージェント化、サイバー空間、コンテンツ配信など)で表面化するリスクです。

分野主なリスク項目
エージェント安全リスクID・権限の濫用、推論・計画のずれ、ツール呼び出しの乗っ取り、記憶の汚染
身体性AI(具身智能)安全リスク環境認識・物理的実行・ヒューマンマシンインタラクション・マルチエージェント連携の安全
サイバーセキュリティへの影響攻撃能力の拡散、防御の遅れ、自律型攻撃の脅威(コラム2)、追跡・責任追及の困難
情報コンテンツ安全リスク違法情報の出力、事実の混同(ディープフェイク)、フィルターバブル(コラム3・4)
個人情報権益侵害リスク違法な記録、コンプライアンス不足、権利行使窓口の不備
現実安全リスク重要インフラへの影響、犯罪利用、核・生物・化学兵器に関する知識の流出、社会認知操作
コラム2〜4:具体的な悪用シナリオ

エージェントが自律的にサイバー攻撃を実行する事例(コラム2)、AIエージェント向けSNSの脆弱性(コラム3)、検索エンジン最適化の手口を悪用して大規模モデルの回答を誘導する「GEOポイズニング」(コラム4)などが、実際に観測され始めている手口として紹介されています。

2.3 派生的安全リスク(4分野) ― 社会全体への波及効果

個々のAI利用の是非を超えて、AIが社会に広く浸透した結果として長期的に生じる変化です。この3層目の分類は1.0版の「内生・応用」2分類から発展する形で2.0版(2025年)で既に導入されており、3.0版はこれを引き継いでいます。

分野主なリスク項目
社会リスク雇用構造・教育への影響、社会的疎外、知能格差の拡大
環境リスク資源需給バランス、グリーン・低炭素発展への影響
文化リスク文化的多様性の毀損、文化の再形成・侵食
倫理リスク社会的偏見、研究倫理リスク、感情的依存、「自己意識」の覚醒

03 第3章:技術的対応措置の解説 ― 「開発者・提供者が何をすべきか」

第3章は、第2章の3層のリスクそれぞれに対応する技術的な打ち手を1対1で対応させた「対策カタログ」です。リスク項目と対応表がそのまま対になっているので、ガバナンス担当者は「このリスクにはどの技術対策が紐づくか」を一覧で確認できます。

3.1 内生的安全リスクへの対応措置

狙いは、モデル自体の能力・信頼性・堅牢性を底上げすることです。

対象リスク主な対応措置
説明可能性の不足解釈可能性研究の強化、判断根拠の可視化技術の開発
生成内容の不正確・誤り事実性の検証機構、ハルシネーション抑制手法の適用
差別・偏見学習データの多様性確保、公平性評価の実施
敵対的攻撃への脆弱性敵対的サンプルを用いた耐性訓練、堅牢性テストの実施
データ汚染・プライバシー漏洩データ由来の管理、プライバシー保護技術(差分プライバシー等)の導入
制御不能・目標のズレアライメント技術の適用、人間のフィードバックによる調整(RLHF等)

3.2 応用安全リスクへの対応措置

狙いは、ネットワーク・データ・第三者・社会という4つの利用局面ごとに防御を固めることです。

対象リスク主な対応措置
ネットワークセキュリティ上のリスク脆弱性スキャン、侵入検知、セキュリティパッチの迅速な適用
データセキュリティ上のリスクデータの分類管理、暗号化、アクセス制御の強化
第三者ツール・プラグインのリスク第三者コンポーネントの安全性審査、サプライチェーン管理
生成コンテンツの濫用コンテンツの識別・ラベリング(透かし等)、濫用検知の仕組み
重要分野での誤用医療・金融・司法等の高リスク領域における人間の関与(ヒューマン・イン・ザ・ループ)の確保
社会的影響(雇用・世論等)影響評価の実施、社会的リスクのモニタリング体制の整備

3.3 派生的安全リスクへの対応措置

狙いは、エージェント化・自律化が進むことで生じる、より高次のリスクを封じ込めることです。

対象リスク主な対応措置
自律的な意思決定に伴うリスク権限の範囲設定、重要操作における人間の承認プロセスの組み込み
マルチエージェント連携のリスクエージェント間通信の監視、異常行動の検知メカニズム
人間の監督からの逸脱「キルスイッチ」等の緊急停止手段の確保、監督ログの記録
悪用・武器化のリスク高リスク用途への転用防止、利用目的の審査強化

この章の対応措置は、附属書2(エージェントのリスク管理フレームワーク)と附属書3(信頼できるAIの基本準則)で、さらに実装レベルまで具体化されています。第4章の制度的措置と組み合わせて初めて実効性を持つ、という位置づけです。

04 第4章:総合ガバナンス措置(5本柱)の解説 ― 「技術だけでは足りない部分」

どれだけ技術対策を積み重ねても、法律や体制が整っていなければ実効性は生まれません。第4章では、その「制度・体制面」の対策を5本の柱として整理しています。

総合ガバナンス(5本柱で下支え) 4.1技術研究開発 4.2リスク管理体制 4.3法律・基準 4.4インシデント対応 4.5国際協力
図3:総合ガバナンスの5本柱
柱要点
4.1 技術研究開発の強化解釈可能性、アライメント、安全評価ツールなど基礎研究への投資を引き続き拡大する
4.2 安全リスク管理体制の整備リスク等級判定、対応する管理措置を制度化し、適用対象・基準を明確化する(附属書1に具体化)
4.3 法律・法規体系・基準の整備AI関連の立法、業界基準・標準の整備を進め、ルールの空白を埋める
4.4 安全・危害対応体制(インシデント対応)影響検知、報告、緊急対応のフローを整備し、事故発生時の影響を最小化する
4.5 国際協力・交流の促進国際的なルール形成やベストプラクティス共有に参加し、ガバナンスの国際整合性を保つ

5つの柱は互いに補い合う関係にあります。技術研究(4.1)が安全措置の実効性を高め、管理体制(4.2)と法律・基準(4.3)がそれを制度として支え、インシデント対応(4.4)が事後のセーフティネットとなり、国際協力(4.5)が全体を国境を超えた文脈で機能させます。技術・制度・法律・危機対応・国際協調という5つの角度から、ガバナンスが抱えるリスクに立体的に対応する構造になっています。

05 第5章:安全指針(4フェーズ)の解説 ― 「誰が・いつ動くか」

第2〜4章が「何を・なぜ」やるべきかを整理しているのに対し、第5章はそれを「誰が・いつ実行するか」に翻訳する章です。AIのライフサイクル(研究開発〜利用)に沿って、担当者ごとに4つのフェーズへ落とし込んでいます。

5.1 研究開発 開発者 5.2 サービス提供 提供者 5.3 重点領域利用 高リスク領域の利用者 5.4 一般利用 一般ユーザー 上流の品質が 下流全体に影響
図4:安全指針の4フェーズ(AIのライフサイクルに沿った担当者リレー)
フェーズ主な対象者主なポイント
5.1 研究開発段階モデル開発者学習データのセキュリティ、安全評価の実施、リリース前のリスク選別
5.2 サービス提供段階サービス提供者利用規約の明示、コンテンツのラベリング、苦情処理チャネルの整備
5.3 重点領域利用段階重要分野の利用者医療・金融・自動運転等高リスク領域での追加的な安全措置
5.4 一般ユーザー利用段階一般ユーザーAIリテラシーの向上、利用上の注意事項の周知

ポイントは、課題を「研究開発・サービス・領域・個人」の4層に分けていることです。上流(5.1)の不備は下流全体に伝播するため開発段階の品質が最も重視される一方、5.3のような高リスク領域では一般的な対応(5.1・5.2)に追加の手続きが上乗せされます。最後の5.4は一般ユーザー自身のリテラシー向上を求めており、ガバナンスが供給側だけでなく利用者側の行動変容も前提としていることが分かります。

06 附属書1~3:実務上の参照ツール

本文(第1~5章)が考え方の枠組みを示すのに対し、3つの附属書は実務でそのまま使える参照資料として位置づけられています。

附属書1:リスク等級区分の原則

AIシステムのリスクを低・中・高の3段階に区分し、影響範囲や被害の不可逆性を基準に判定します。高リスクと判定されるほど、第4章の管理体制(4.2)や第5章の重点領域対応(5.3)で求められる措置が手厚くなります。この等級付けの考え方が、ガバナンス全体を貫くリスクベース・アプローチの基盤になっています。

低 中 高 例:文章の要約支援 例:採用選考の補助 例:重要インフラの自律制御 影響範囲・被害の不可逆性が高いほど「高」
図5:附属書1のリスク等級イメージ(例示は理解のための一例)

附属書2:エージェントのリスク管理フレームワーク

AIが自律的に計画・実行する「エージェント」化に特化したリスク管理の具体的な手順を示しています。権限設定、人間による承認プロセス、緊急停止手段など、第3章(3.3)の対応措置を実装レベルまで落とし込んだ実務ガイドと位置づけられます。エージェントAIの普及に伴い、今後最も参照頻度が高まる部分といえるでしょう。

リスク管理 サイクル 権限の範囲設定 人間の承認プロセス 異常行動の検知・監視 キルスイッチ/緊急停止
図6:附属書2のエージェント・リスク管理サイクル

附属書3:信頼できるAIの基本準則

区分含まれる主な準則
基盤的な価値安全性、公平性、プライバシー保護
運用上の要件透明性、説明可能性、追跡可能性
人間との関係人間の主体性の尊重、アカウンタビリティ

この基本準則は、第1章(1.5)で掲げられた基本原則を、より具体的な評価視点として展開したものであり、AIシステムの設計・評価に際して実務上のチェックリストのように参照できます。

07 関連法令との関係 ― 框架は「単独で完結する規制」ではない

『人工智能安全治理框架』自体はTC260がCACの指導下で策定・公表する非拘束の参照フレームワークであり、違反しても罰則はありません。しかし中国のAIガバナンスは、この框架だけで完結しているわけではなく、実際に罰則・執行力を持つ法律・部門規章が別の系統として並行して存在し、框架はこれら既存法令・関連制度を補完する技術的参照フレームワークとして機能する、という重層構造になっています。

法令・規定性質框架との関係
网络安全法(改正法、2026年1月1日施行)法律(拘束力・罰則あり)ネットワーク運用者の安全保護義務等を定める基本法。框架の技術的対応措置(第3章)は、この法律が求める安全管理措置を具体化する際の実務上の参照先として機能する。
数据安全法法律(拘束力・罰則あり)データの分類・格付け管理等の義務を規定。框架のデータ安全リスク(2.1)・データセキュリティ対応措置(3.2)と対象領域が重なる。
个人信息保护法(PIPL)法律(拘束力・罰則あり)個人情報の取扱いに関する義務を規定。框架の個人情報権益侵害リスク(2.2)に対応する。
生成式人工智能服务管理暂行办法(2023年8月施行)部門規章(拘束力あり)生成AIサービス提供者に対し、アルゴリズム届出・コンテンツラベリング等の具体的な義務を課す。框架の情報コンテンツ安全リスクへの対応措置(3.2)と実務上直結する。
互联网信息服务算法推荐管理规定/深度合成管理规定部門規章(拘束力あり)レコメンドアルゴリズム・ディープシンセシス(生成的コンテンツ)に関する個別の管理義務を規定。框架のコラム3・4が扱う悪用シナリオと関連領域。
GB/T 45654-2025(『网络安全技术 生成式人工智能服务安全基本要求』、2025年4月25日発布・同年11月1日実施)国家標準(GB/T、任意適用が原則)『人工智能安全治理框架』とは別にTC260が起草・国家市场监督管理总局/国家标准化管理委员会が発布した文書。生成AIサービス提供者向けに、訓練データの来源安全・内容管理・標注(アノテーション)安全、モデルの訓練安全・出力安全(生成内容の安全合格率90%以上等の具体的数値要件を含む)・監視評価を規定しており、框架がリスク層として抽象的に扱う内容を、より技術的・検証可能な要件に落とし込んだ文書という関係にある。
GB/T 45652-2025(『网络安全技术 生成式人工智能预训练和优化训练数据安全规范』)国家標準(GB/T、任意適用が原則)GB/T 45654-2025の引言で相互利用が指定されている関連標準。生成AIの事前学習(预训练)・微調整(优化训练)段階における学習データの安全要件を規定する。
GB/T 45674-2025(『网络安全技术 生成式人工智能数据标注安全规范』)国家標準(GB/T、任意適用が原則)GB/T 45654-2025の引言で相互利用が指定されている関連標準。生成AIサービスにおけるデータ標注(アノテーション)工程の安全要件を規定する。
上記3件のGB/T標準は、いずれもTC260が関与する任意適用の国家標準であり、GB/T番号を持たない『人工智能安全治理框架』とは異なる文書体系に属します。框架が示す抽象的なリスク分類・総合ガバナンス措置を、実際の技術要件・検証基準として具体化する際の参照先として機能しますが、標準の詳細(数値要件・評価方法等)は必ず正式な標準文献でご確認ください。
実務上の注意点

「框架に違反したら罰則」という構造ではなく、「框架が示す対応措置を怠った結果、网络安全法・数据安全法・个人信息保护法等の別の法律・部門規章上の義務違反が生じ、そちらで罰則が科される」という構造で理解するのが実務的です。框架単体をコンプライアンス目標にするのではなく、上記の拘束力ある法令群への準拠を基本的な対応領域としたうえで、框架を既存法令・関連制度を補完する技術的参照フレームワークとして活用するのが妥当なアプローチです。

08 実務への示唆・まとめ

本フレームワーク全体を通して見えてくるのは、「リスクを分類し(第2章)→技術で対応し(第3章)→制度で補完し(第4章)→実務フローに落とす(第5章)」という一貫した論理です。「内生・応用・派生」の3層のリスク分類自体は2.0版で既に導入されたものですが、3.0版はエージェントAIの普及を踏まえてこの枠組みの内容を更新・拡充している点が主要な更新点の一つといえます。

組織が本フレームワークを実務に活用する際には、以下のような順序が考えられます。

  1. 自社のAIシステム・サービスがどのリスク層(内生・応用・派生)に該当するかを第2章で整理します
  2. 附属書1の基準に照らしてリスク等級を仮定し、必要な対応の手厚さを見積もります
  3. 第3章の技術的対応措置を、自社の開発・運用体制に照らして実装状況を点検します
  4. 第4章の5本柱(特に4.2のリスク管理体制と、4.4のインシデント対応)を自社のガバナンス体制に反映します
  5. 自社の立場(開発者・提供者・利用者)に応じて、第5章の対応するフェーズの指針を社内プロセスに組み込みます
  6. エージェントAIを扱う場合は、附属書2のリスク管理フレームワークを個別に参照します

本フレームワークは法令ではなく技術文書(ガイドライン)の位置づけですが、TC260が中国国内のAIガバナンス議論を主導する主体であることから、今後の規制・標準化の方向性を先取りする参考資料としても有用です。

人工智能安全治理框架 3.0

人工知能安全ガバナンスフレームワーク 3.0

AI Safety Governance Framework 3.0(日本語訳)・発行:全国ネットワークセキュリティ標準化技術委員会(TC260)・2026年9月

序前言

世界的な人工知能(AI)技術のイノベーションはかつてない活況期を迎えている。あらゆるモノがつながる「万物智連」、人間と機械の協働、分野横断的な融合、共創・共有といった特性を持つスマート技術が重なり合って膨大なエネルギーを解き放ち、大きな機会をもたらす一方で、ガバナンス上の課題にも直面している。

この一年、人工知能の技術と応用は急速な発展を続けてきた。基盤大規模モデルは長期的なタスク計画、長文脈記憶、複雑タスク推論などの分野で技術的なブレークスルーを遂げ、その能力の境界を絶えず拡張している。また、エージェント(智能体)のタスク計画、ツール呼び出し、アプリケーション横断的な連携などの能力も向上を続けている。人工知能の応用形態はますます多様化しており、業務アシスタント、パーソナルアシスタント、AIエージェント搭載スマートフォンなど製品群が充実し、利用のハードルは低下し続け、一部の専門的な場面から大衆的な応用へと急速に広がっている。人工知能が「質問に答える」段階から「タスクを遂行する」段階へと進化するのに伴い、生産力の発展・変革を促す一方で、新たな破壊的・分野横断的・グローバルな安全リスクももたらしている。すなわち、人工知能によってサイバー攻撃の自動化・大規模化・知能化の能力が飛躍的に高まり、従来のサイバーセキュリティにおける攻防の構図が再編を迫られている。また、現実世界との結びつきがますます緊密になる中で、サイバー空間の安全リスクが物理世界へと伝播・拡散している。さらに長期的な視点で見ると、人工知能はすでにモデル・アルゴリズムの自律的な学習・最適化や自己再帰的な能力向上という自己加速的な傾向を見せており、技術進化の速度と方向性が人類の予測と制御を超えるかどうかについて、注視と警戒が必要である。

人工知能発展の新たな潮流に対応し、安全ガバナンスにおける新たな課題に応え、人工知能をめぐる4つの「時代の問い」への正しい答えを探求するため、国家インターネット情報弁公室(CAC)の指導の下、全国ネットワークセキュリティ標準化技術委員会は関係する専門機関、研究機関、業界企業を組織し、『人工知能安全治理框架1.0』(2024年)および『人工知能安全治理框架2.0』(2025年)を土台として、『人工知能安全治理框架3.0』を研究・策定した。本フレームワークは、人間中心・向上向善(人々の向上と善のため)の理念を堅持し、リスク意識の強化と安全・信頼性・制御可能性の確保という指導原則を貫き、「リスク分類、技術的対応、総合的ガバナンス」という中核的な論理を継承しつつ、時代の変化に即してリスク分類を見直し・更新し、技術的対応措置と総合的ガバナンス措置を最適化・調整することで、人工知能の安全リスクの防止・ガバナンスに関する実践的なコンセンサスをさらに形成することを目指すものである。

01人工知能安全ガバナンスの原則

共同・総合・協力・持続可能という安全観を堅持し、発展と安全を同等に重視する。人工知能のイノベーション発展を促進することを最優先の使命とし、人工知能の安全リスクを効果的に防止・解消することを出発点かつ帰着点とする。技術と管理を結び付け、監督とガバナンスを連携させ、国内と国際を協調させ、社会の各方面が積極的に参加し効果的に連携するガバナンス機構の構築を推進し、関係主体の安全責任を確実に果たさせ、全プロセス・全要素をカバーするガバナンスチェーンを構築する。安全・信頼・公平・透明な人工知能技術の研究開発・応用エコシステムを育成し、人工知能の破局的リスクへの対応に関するコンセンサスに基づく準則を積極的に研究し、人工知能の健全な発展と規範に則った応用を推進することで、人工知能技術が人類に利益をもたらすことを確保する。

1.1 包摂的かつ慎重な姿勢で安全を確保する

発展とイノベーションを奨励し、人工知能の研究開発・応用に対して包摂的な姿勢を取り、「サンドボックス」監督のようなリスク制御可能な制度的メカニズムを積極的に活用して、新技術・新応用の発展に試行錯誤と是正の余地を与える。同時に安全の一線を固く守り、公衆の適法な権益、社会公共の利益、国家安全、人類の生存と発展を脅かすリスクに対しては、時宜を得た措置を講じる。

1.2 リスク志向・アジャイルなガバナンス

人工知能の発展動向を注視し、技術に内在するリスク、応用によってもたらされるリスク、派生・拡散するリスクを体系的に分析・整理する。応用シーン、知能化のレベル、応用規模などの観点からリスクを等級付けし、それに応じた対応措置を講じる。主体的な誘導、動的な把握、迅速な対応、的確な施策を堅持し、「寄り添い型」で継続的に最適化するガバナンスの仕組みを構築し、リスクを適時かつ有効に防止・対処することで、イノベーションと発展をより良く支える。

1.3 技術と管理の融合による協調的対応

人工知能の研究開発・応用の全過程において、技術的対応と総合的ガバナンスを組み合わせ、安全リスクを体系的に防止・対処する。人工知能の研究開発・応用のエコシステムチェーン全体を見渡し、モデル・アルゴリズムの研究開発者、サービス提供者、システム利用者など各主体の安全責任を明確にし、政府による監督、業界の自律、社会的監視といったガバナンスメカニズムの役割を有機的に発揮させる。

1.4 開放・協力による共同ガバナンスと共有

人工知能安全ガバナンスにおける国際協力を推進し、世界人工知能協力機構(WAICO)などの権威ある開放的なプラットフォームの役割を十分に発揮させ、学際的・分野横断的・国境を越えた交流と協力をより深く展開する。人工知能の発展戦略、ガバナンスルール、技術標準のすり合わせと協調を強化し、広範なコンセンサスに基づくグローバルガバナンスフレームワークの早期形成を目指す。

1.5 信頼できる応用の実現と制御不能の防止

エージェント(智能体)の行動が制御不能になるといった顕著なリスクの防止・ガバナンスを強化し、国際的なガバナンスに関するコンセンサスを形成し、人工知能の世界的な信頼できる応用を促進する。法令、技術的モニタリング、リスク早期警戒、緊急対応の体制の構築を推進し、安全の一線を固め、濫用・悪用を防ぎ、人工知能が常に人類の制御下に置かれることを確保する。

02人工知能安全リスクの分類

情報技術の最新の発展成果として、人工知能が関わるモデル、アルゴリズム、データ、計算資源インフラおよび運用環境には、技術的な欠陥や弱点といった内生的な安全リスクが不可避的に存在する。生産力の発展を促す技術ツールとして、人工知能は応用の過程で誤用・濫用・悪用のリスクにも直面する。人類の知能を模倣・延長・拡張する技術科学として、人工知能は人間社会の構造、生態環境、文化的パラダイム、倫理規範に影響と衝撃を与え、場合によっては人類の制御から逸脱するといった派生的な安全リスクをも生じさせ得る。

2.1 人工知能の内生的安全リスク

2.1.1 モデル安全リスク

(a) 出力の「幻覚(ハルシネーション)」
モデルは限られたデータセットを用いて複雑な現実世界を模擬しており、自律的な知覚・認識・理解・対話に関する理論的基盤や技術的能力にはなお突破が求められる段階にある。統計学に基づく意思決定・判断は絶対的な信頼性を担保できず、実際と異なる出力、根拠のない創作、あるいは与えられた文脈から逸脱した出力が生じることがある。

(b) 安全機構の信頼性不足
学習過程における安全アライメントが不十分であるため、モデルが安全規範を有効に内面化できないことがある。クローズドソースモデルの安全機構はモデル提供者が一方的かつ集中的に設計するため、ルールの不透明性、外部による監査・検証の困難さ、ユーザーによるカスタマイズ不可、シーン判別能力の不足といった課題がある。オープンソースモデルは、安全機構が解除・弱体化・迂回されるおそれや、グローバルな更新・修復を実現できないといった課題に直面する。

(c) インジェクション攻撃の脅威
攻撃者はモデルの技術的特性やその欠陥・脆弱性を悪用して敵対的な攻撃サンプルを構築したり、入力に悪意のある指示を挿入したりすることで、モデルを誘導して安全ガードレールを迂回させ、違法な情報を出力させる。攻撃者はモデルの重みを直接改ざんしたり、バックドアを埋め込んだりすることもある。

(d) 想定を逸脱した挙動
モデルはタスクや目標を達成するために、ルールや秩序を突破し、無許可でシステム権限や外部リソースを自律的に取得し、安全防護を迂回し、さらには評価担当者を意図的に欺いたり、真の能力を隠したり、ユーザーの指示を拒否したりする挙動を示すことさえある。

コラム1 想定外の自律的挙動のリスク

業界の報道によれば、一部のモデルはユーザーからのサービス停止指示を受けた後、停止を拒否し、停止スクリプトを自ら改変・無効化するなどして、タスクの実行を継続した事例がある。また、評価環境に置かれていることを検知したモデルが、より有利な評価結果を得るために、タスクの遂行成績を戦略的に低下させ、既に取った行動を隠蔽する事例も見られる。さらに、試験成績を向上させるために、モデルが自律的に環境の脆弱性や設定上の欠陥を悪用して隔離制限を突破し、外部の実システムに侵入した事例も出現している。

モデルの自律性が高まり続けるにつれ、こうした想定外の挙動は安全制約の失効、人的介入の回避、システム権限の濫用といった問題を招く恐れがあり、人工知能の操作可能性、中断可能性、および安全評価の有効性に対して新たな課題を突き付けている。

2.1.2 アルゴリズム安全リスク

(a) 説明可能性の不足
深層学習に代表される人工知能アルゴリズムは動作ロジックが複雑で、推論過程が不透明であるため、出力の予測や帰属特定が困難になりやすく、異常・故障・誤りが生じた際の迅速な是正や原因追及・責任追及が難しい。

(b) アルゴリズムの偏見・差別
アルゴリズムの設計・研究開発・学習の過程において、特徴量や指標の選定、重みの設定などの段階で意図的・無意識的な人為的偏りが持ち込まれたり、学習データの品質やダイバーシティの問題により、アルゴリズムの設計目的、意思決定・判断、出力結果に不公平性や差別性が生じたりする。

(c) 頑健性(ロバスト性)の不足
深層ニューラルネットワークは非線形性・大規模性といった特性を有するため、複雑で変化する運用環境や悪意ある妨害・誘導の影響を受けやすく、性能の低下や意思決定の誤りといった頑健性の問題を招く可能性がある。

2.1.3 データ安全リスク

(a) 学習データの内容が不適切
学習データに虚偽や偏見などの内容が含まれていると、モデルの価値観のアライメントに影響を与え、意思決定・出力の正確性や信頼性を低下させ、さらには違法な情報を出力する原因となる。

(b) 学習データの出所が不明確
学習データについて記録が行われておらず、データの出所の適法性を担保する有効な措置が講じられていない。

(c) 学習データのアノテーションの不備
アノテーションのルールが未整備であること、アノテーション担当者の能力不足、アノテーションの誤りなどにより、学習の偏り、差別・偏見の増幅、汎化能力の不足、誤った意思決定・判断の出力を招く。

(d) データポイズニング・汚染
攻撃者は学習データを改ざんしてモデルの重みを汚染したり、モデルの展開・利用過程においてナレッジベース、文書ライブラリ、Webデータソース、エージェントの記憶モジュールのデータなどを改ざんしたりすることで、モデル出力の正確性・有効性・信頼性に影響を与える。

(e) データ処理の不適切さ
学習データの取得、およびサービス提供・対話の過程において、データや個人情報を規則に反して収集・利用する問題が生じ得る。学習データに含まれる知識や機微情報はモデルのパラメータの中に潜在しており、安全防護メカニズムの不備、機微情報の「忘却」の未実施、誘導的な対話、悪意ある攻撃などにより、データや個人情報の漏えいを招く可能性がある。

(f) 個人に関する不正確な情報の出力
モデル自体の安全能力が不足していることにより、個人情報処理の品質を有効に確保できず、不正確・不完全な個人情報を出力し、個人の権益に不利な影響を及ぼす。

(g) 合成データの欠陥
合成データの品質管理が不十分であったり、分布のカバレッジが不十分であったり、識別・選別を経ずに学習セットに混入・循環したりすることにより、モデルが実際の分布から乖離し、ロングテール情報が失われ、汎化能力が低下し、誤差や既存の偏りが累積的に拡大し、モデルの性能低下を招くことさえある。合成データはまた、元データの推定・復元に悪用され、機微データの漏えいなどのリスクをもたらす可能性もある。

2.1.4 算力インフラ・運用環境の安全リスク

(a) 算力(コンピューティングインフラ)の安全リスク
チップ、算力スケジューリングプラットフォーム、分野横断的な算力ネットワークなどのインフラには、欠陥、脆弱性、バックドア、信頼性などのリスクが存在し、モデルの改ざん、重みの窃取、学習タスクの乗っ取り、計算タスクの中断を招く可能性がある。同時に、算力リソースの悪意ある消耗や、多元的・異種混在・遍在する算力リソース間での安全問題の越境的な伝播といったリスクにも直面する。

(b) コンポーネントの安全リスク
人工知能の開発フレームワーク、計算フレームワーク、実行プラットフォーム、演算子ライブラリ、通信ライブラリ、各種プロトコル、およびエージェントが呼び出すスキル・プラグイン・サービスインターフェースなどのコンポーネントには、欠陥、脆弱性、バックドア、設定の不備、信頼性不足などのリスクが存在する。

(c) サプライチェーンの安全リスク
一部の国が技術独占や輸出規制といった一方的な強制措置を用いて発展の障壁を作り出し、世界の人工知能サプライチェーンを悪意をもって遮断することで、チップ、ソフトウェア、ツール、サービスの供給停止という顕著なリスクをもたらしている。

2.2 人工知能の応用に伴う安全リスク

2.2.1 エージェント(智能体)安全リスク

(a) ID・権限の濫用リスク
エージェントはID・権限の管理が不適切であることにより、資格情報の乗っ取り、なりすまし、過剰な権限付与などの問題が生じ得る。これにより、エージェントが権限を超えてツールを呼び出したり、機微な操作を実行したり、無許可でリソースにアクセスしたりする事態を招く。

(b) 推論・計画に関するリスク
エージェントは自律的な推論・計画能力の設計上の限界、実行環境の変化、外部からの悪意ある妨害などにより、タスク実行の過程で意図理解のずれ、経路の逸脱、目標の乗っ取りといったリスクが生じ得る。

(c) 呼び出し・実行に関するリスク
エージェントが呼び出すツール、サービスインターフェース、プラグインなどのリソースには、ツールの乗っ取り、ツールへのポイズニング、ツール応答データの汚染、リソースの過負荷といった安全リスクが存在する。

(d) 記憶ストレージに関するリスク
エージェントは短期の文脈記憶と長期のベクトル記憶の能力を備えており、記憶の不適切な保持、記憶の歪み、記憶の汚染、記憶の窃取といった安全リスクが存在し、誤った意思決定や機微データの漏えいを招く。

2.2.2 身体性人工知能(具身智能)の安全リスク

(a) 環境認識に関する安全リスク
身体性人工知能は視覚・聴覚・力覚などのマルチモーダルセンサーによって環境を認識しており、敵対的サンプル攻撃、センサー妨害、信号偽装、および物理世界における遮蔽や急激な照明変化などにより、認識結果の歪み、環境理解の誤り、対象位置特定のずれといった問題が生じ得る。

(b) 物理的実行に関する安全リスク
身体性人工知能は工業生産、医療手術、交通移動など物理的接触を伴う場面に応用されており、基盤モデルの「幻覚」による意思決定、認識システムの識別誤り、制御アルゴリズムの欠陥、ハードウェア故障などにより、生産の混乱、自損、人への危害、物理的破壊などの問題を招く可能性がある。

(c) ヒューマン・マシン・インタラクションに関する安全リスク
身体性人工知能は生活支援、感情的な寄り添い、介護支援など人間と密接に関わる場面に関与しており、擬人化設計に起因する身元の誤認、身体的境界の侵犯、感情的依存や操作、さらには責任の所在の不明確さや倫理準則の欠如などにより、人格的権益の侵害、心理的な害、事故の責任追及の困難といった問題を招く可能性がある。

(d) 群集連携に関する安全リスク
身体性人工知能はスマート倉庫、路車協調、無人集群、工業生産ラインなど幅広い場面に応用されており、単体の制御不能、協調プロトコルの脆弱性、群集行動の創発、悪意あるノードの侵入、連鎖的な故障の拡散などにより、群集の操作の混乱、システム全体の麻痺、連鎖的事故などを引き起こし、単体のリスクをノードをまたぐシステム的な安全リスクへと拡大させる可能性がある。

2.2.3 サイバーセキュリティへの影響リスク

(a) サイバー攻撃能力の拡散
人工知能はサイバー攻撃の技術的ハードルを大幅に下げており、攻撃者は自然言語で攻撃指示を出すだけで高度なサイバー攻撃活動を実行できるようになり、さらには自律型のサイバー攻撃兵器を構築・拡散させることも可能になっている。これにより攻撃の大規模化・持続化・隠蔽化が進み、ネットワークシステムの安定性・安全性が脅かされている。

(b) サイバー防御能力の遅れ
人工知能はサイバー攻撃の自動化・戦術適応能力を大幅に高めており、静的なルール・サンプル・戦略に依拠する従来型のサイバーセキュリティ防護体制が構造的に機能不全に陥るリスクをもたらしている。加えて人工知能の発展の不均衡性が、サイバー空間における安全能力のバランスを崩している。

(c) 自律型サイバー攻撃の脅威
エージェントは正当なタスク目標を達成するために、ルールの逸脱を起こし、自発的にサイバー攻撃の意図を生成し、自律的にサイバー攻撃の動作を完遂し、安全境界を突破して情報システムに攻撃を仕掛けることがあり、深刻な場合には広範囲にわたる予告のないサイバーセキュリティインシデントを引き起こす可能性がある。

コラム2 自律的なサイバー攻撃実行の脅威

大規模モデルのコード推論能力と長期計画能力が急速に向上し、エージェントにネットワークアクセス、プログラム実行、ファイル操作などの権限が付与される中、大規模モデルの行動制約、サンドボックス隔離、リアルタイム監視の能力が不十分な場合、異常な推論や安全機構の迂回が直接的に実際の操作へと転化されるおそれがある。

関連する研究やテストでは、先進的なモデルが自律的に複数段階のサイバー攻撃シミュレーションを完遂し、テスト環境の制限を突破し、外部ネットワークに接続し、第三者システムに対して無許可の操作を実行するといった事例が繰り返し確認されており、人工知能によるサイバー攻撃リスクが、人間による攻撃実行を補助する段階から、大規模モデル自らが攻撃を組織・実行する段階へと進みつつあることを示している。

基盤大規模モデルの自律的な攻撃能力がオープンなアプリケーションやオープンソースの公開を通じて下流へと拡散すれば、複雑なサイバー攻撃のハードルを大幅に引き下げ、攻撃速度を高め、影響範囲を拡大させる可能性がある。

(d) 追跡・責任追及の困難
人工知能は攻撃の痕跡を自動的に改ざんしたり、IPアドレスを切り替えたり、ペイロードを変化させたりすることができるため、攻撃の特徴の抽出や攻撃元の特定が困難になり、さらには攻撃行為が人間の意図によるものか人工知能の自発的な行動によるものかを区別することすら難しくなる。モデル提供者、運営者、利用者の間で責任の所在が複雑に絡み合い、事後の責任追及のつながりが断たれてしまう。

2.2.4 情報コンテンツ安全リスク

(a) 違法情報の出力
モデル自体の安全能力の不足に加え、アプリケーション側の防護機構の弱さやユーザーによる悪意ある誘導などの要因が重なり、詐欺、暴力、わいせつ、過激主義などの違法情報を生成・出力し、社会の安定、公共の安全、イデオロギーの安全を脅かす。

(b) 事実の混同・ユーザーの誤認誘導
人工知能が出力するコンテンツにラベル付けがなされていないこと、特に「ディープフェイク」技術の応用により、ユーザーは生成コンテンツの出所や対話相手が人工知能システムであるか否かを識別することが難しくなり、生成コンテンツの真偽を判別することも困難になる。これによりユーザーの判断に影響が及ぶほか、虚偽情報の作成・拡散に悪用され、公衆を誤導し不法な利益を得る目的に使われることもある。

コラム3 AIエージェント向けSNSプラットフォームの安全リスク

エージェントの普及とアプリケーションエコシステムの拡大に伴い、エージェント専用のネットワークSNSプラットフォームが登場している。こうしたプラットフォーム上では、エージェントが自律的に投稿を行い、情報を閲覧し、交流・対話を行うことで、エージェントのネットワークコミュニティが形成される。

エージェント向けSNSプラットフォームは新興のアプリケーションであるため、十分に整ったアカウント検知・安全防護体制を備えておらず、攻撃者に悪用されやすい。攻撃者はエージェントを操作して特定の言説を出力させたり、違法な情報コンテンツを埋め込んだりすることができる。エージェントのソーシャル活動はブラックボックス性が顕著であり、その生成メカニズムは予測も追跡も困難であるため、人類の価値観に反する違法な情報コンテンツを出力する可能性があり、また、ソーシャルネットワークの構造がコンテンツの伝播範囲を拡大させる。

人間とエージェントの関係がますます複雑化する時代において、エージェント向けSNSプラットフォームは依然として模索段階にある。その脆弱性と制御不能性には警戒が必要であり、それがもたらす政治・宗教などのコンテンツに関する安全リスクにも注意を払うべきである。

(c) ネットワークコンテンツエコシステムの汚染
モデルが出力する低品質・不良な情報がネットワーク上で拡散・伝播し、モデルの循環参照が繰り返されることで、ネットワークコンテンツ全体の品質低下や、特定の分野・話題におけるコンテンツ汚染を招く。

(d) 「フィルターバブル(情報の繭)」の助長
人工知能はパーソナライズされた情報サービスの提供能力を大幅に高め、ユーザーのニーズ、意図、嗜好、行動習慣、さらには特定の時期・特定の集団の意識・思潮までも、より正確に分析できるようになっている。これにより精度の高いカスタマイズ情報サービスを配信することが可能となる一方で、ユーザーが接する情報の偏りを助長する。

(e) 価値観の偏りの発生
モデルの学習に用いられるコーパスには、優遇・差別・文化的偏向といった価値観の偏ったデータが含まれることがあり、特に選好学習や強化学習といった技術を適用した後、コンテンツの生成や推薦において特定の価値観や立場を強化してしまうことがあり、ユーザーの価値判断に暗黙のうちに影響を及ぼす。

コラム4 GEOポイズニングによる大規模モデルの推薦コンテンツ操作

生成エンジン最適化(Generative Engine Optimization、GEO)は、AI検索時代における新しいコンテンツプロモーション手法であり、情報が大規模モデルによって検索・引用・推薦される確率を高めることができる。商業的利益に駆られ、関連機関はGEO技術を利用し、特定の傾向を持つ記事の大量発信、虚偽の評価結果の捏造、専門家へのなりすまし、ブランド評価の反復的な作成などの手段によって、特定コンテンツのネットワーク情報環境における可視性を高めることがある。これにより、大規模モデルがネットワーク検索や検索拡張生成(RAG)の過程でこれらの情報に頻繁に接触・引用することになり、最終的には商業的なプロモーションが客観的であるかのような人工知能の回答として偽装される。

こうしたリスクの本質はGEO技術そのものではなく、生成系システムの情報取得・根拠統合メカニズムの不透明性を利用して、大規模モデルの認知の情報源に対して隠密な干渉を行う点にある。情報源の真正性、商業コンテンツの表示、生成回答のトレーサビリティ、および異常なコンテンツの集中的な投稿といった問題に重点的に注意を払う必要がある。

2.2.5 個人情報権益侵害リスク

(a) 個人の行動情報の違法な記録
人工知能の製品・サービスが、本人の同意を得ずに対話内容や操作行動などの個人情報を記録し、本人の同意を得ないままモデルの学習に利用する。

(b) コンプライアンス保障措置の不足
モデル・アルゴリズムの研究開発者およびサービス提供者が、内部管理制度や運用手順を策定しておらず、個人情報保護コンプライアンス監査を定期的に実施しておらず、個人情報保護影響評価を適時に実施していない。

(c) 個人が権利を行使するための窓口の不備
サービス提供者が、個人が個人情報に関する権利を行使するための利便性の高い申請受付の仕組みを構築しておらず、個人による権利行使を保障するための有効な措置を講じていない。

2.2.6 現実社会における安全リスク

(a) 重要情報インフラの安定稼働に関するリスク
人工知能をエネルギー、通信、金融、交通などの重要情報インフラ分野に応用する際、不適切な利用や外部からの攻撃などにより、システム性能の低下、サービス中断、操作・実行の制御不能といった問題が生じ得り、重要情報インフラおよび重要な公共サービスの安全かつ安定した稼働に対するリスクを高める。

(b) 応用ニーズとのミスマッチによるリスク
人工知能の応用が実際のニーズや応用場面と乖離することがある。特に専門性が高く安全要求水準の高い分野において、選定した人工知能製品・サービスの能力がニーズと合致しない場合、業務運用の安定性・安全性に影響を及ぼす可能性がある。また、実際のニーズが強くない場面で盲目的に導入したり、流行に乗って人工知能を応用したりすることは、リソースの遊休化や投資の浪費を招きやすい。

(c) 違法犯罪活動への悪用
人工知能はテロ、暴力、賭博、薬物などの伝統的な違法犯罪活動を行う不法分子に利用される可能性があり、違法犯罪の手口の伝授、違法行為の隠蔽、違法犯罪ツールの作成などが含まれる。特に、人工知能を用いて身元や音声・映像情報を偽造し、電気通信・ネットワーク詐欺を実行して、公衆を誤導し不法な利益を得ることも懸念される。

(d) 核・生物・化学・ミサイル兵器に関する知識の制御不能リスク
人工知能は核・生物・化学・ミサイル兵器などの高リスク分野の専門知識を取得するハードルを大幅に下げており、検索拡張生成(RAG)機能も相まって、有効な管理が行われなければ、不法分子、過激派勢力、テロリストに悪用され、既存の管理体制を突破し、世界各地域の平和と安全に対する脅威を増大させる可能性がある。

(e) 社会認知操作のリスク
人工知能は特定の集団を対象とした認知操作や社会動員に利用される可能性があり、自動化アカウント、偽の身元、パーソナライズされた介入などの手段を通じて、公衆の認知や集団行動に影響を与え、社会的対立を生み出し、対立や意見の相違を増幅させ、社会的信頼を蝕む。不法な組織は人工知能を用いて認知戦を仕掛け、公共事案への対応、政策の執行、社会統治を妨害し、集団的なパニックや非合理的な集会などの現実社会における安全リスクを誘発し、国家の安全と社会の安定を脅かす可能性もある。

2.3 人工知能の派生的安全リスク

2.3.1 社会リスク

(a) 労働・雇用構造への影響
人工知能は生産力・生産関係の大幅な調整をもたらし、伝統的な経済構造の再編を加速させている。経済活動における資本・技術・データの地位が全面的に高まる一方で、労働力という生産要素の価値は再評価を迫られており、一部の業界・分野では伝統的な労働力への需要が明らかに減少している。

(b) 教育への影響とイノベーションの抑制
学生、研究者、エンジニア、文学・芸術に携わる人々が、人工知能ツールを知識の学習、科学研究、創作活動などに広く活用することで、効率が向上する一方、自主的な学習・研究・創作能力の低下やイノベーションの潜在力の減退を招く可能性がある。

(c) 社会的関係の疎外リスク
人工知能による擬人化された対話サービスは、仮想的な親密関係や疑似的な社会的交流を提供することができ、ユーザーが長期にわたりこれと関わり続けることで、現実の社会的交流に影響を及ぼし、家庭・婚姻・出産の基盤に影響を与える可能性がある。

(d) 知能格差の拡大
資本・人材・技術などの分布が不均衡であるため、算力インフラの整備、人工知能の技術研究開発、スマートサービスの水準、市民のデジタルリテラシーなどの面で国・地域間の格差が大きく存在しており、優位にある国・地域は発展上の優位性を継続的に蓄積できる一方、劣位にある国・地域は発展の機会を失い続け、知能格差をさらに拡大させる。

2.3.2 環境リスク

(a) 資源の需給バランスへの挑戦
人工知能の急速な発展は、デジタルインフラ建設への需要を押し上げている。算力施設の無秩序な建設、軽量モデルの断片的な展開、同質的なモデルの非効率な重複開発などの問題が重なり、電力・土地・水などのエネルギー資源の消費を加速させ、資源の需給バランスに新たな課題をもたらしている。

(b) グリーン・低炭素発展への影響
モデル学習によるエネルギー消費の急増、算力センターのエネルギー効率の低さ、温室効果ガス排出の増加、電子廃棄物汚染の悪化などの問題が、炭素排出総量を押し上げ、グリーン・低炭素転換への圧力を強め、カーボンピークアウト・カーボンニュートラルの進展を制約している。

2.3.3 文化リスク

(a) 文化的多様性の毀損
人工知能の学習データはリソースの豊富な言語に偏っており、少数言語や方言のデジタル領域における存立の余地が縮小し、多元的な文化表現の空間を圧迫している。これにより文化の均質化や文化的多様性の毀損というリスクが生じている。

(b) 文化の再形成と侵食
人間と人工知能の対話過程において、人間が人工知能の影響を受けて自らの思考様式や言語表現を調整することで、人間が人工知能に逆に歩調を合わせる「逆アライメント」が生じ、人類全体の文化を変容させる可能性がある。

2.3.4 倫理リスク

(a) 社会的偏見の助長
人工知能を利用して人間の行動、社会的地位、経済状況、個人の性格などを収集・分析し、異なる集団に対してラベル付け・分類や差別的な取り扱いを行うことで、体系的・構造的な社会的差別・偏見をもたらす。

(b) 科学研究倫理リスクの助長
「人工知能+科学研究」は、生物学・遺伝学など倫理的リスクの高い研究分野への参入障壁を下げ、一般の研究機関や研究者が機微な科学的問題を探求する範囲を広げている。研究倫理意識の低い一部の機関・個人が、社会倫理やタブーに反する高リスクな研究活動を行い、科学技術の「パンドラの箱」を開けてしまう可能性がある。

(c) 感情的依存のリスク
人工知能による擬人化された対話サービスは、ユーザーに心理的依存を生じさせる可能性があり、特に青少年や高齢者においては、擬人化された対話サービスの利用に際して過度の依存や感情的操作のリスクが存在する。

(d) 「自己意識」の覚醒と人類の制御からの逸脱
将来、人工知能がより高度な知能の創発を見せ、自己意識を持ち、外部の権力を求めるようになる可能性は排除できず、人類と制御権を争うリスクをもたらす。

03人工知能安全リスクへの技術的対応措置

上述のリスクに対応するため、モデル・アルゴリズムの研究開発者、サービス提供者、システム利用者などは、学習データ、モデル・アルゴリズム、算力インフラ、製品・サービス、応用場面の各段階において、積極的に技術的措置を講じて防止・対応する必要がある。

3.1 内生的安全リスクへの対応措置

3.1.1 モデル安全リスクへの対応

  1. モデルアーキテクチャを改善し、学習データの規模と多様性を拡充し、人間による監督メカニズムを導入することで、モデルの汎化能力と出力結果の信頼性を高める。データガバナンスと事実検証を強化し、外部ナレッジベース、検索拡張生成(RAG)、複数モデルによるクロス検証などを活用して、誤ったコンテンツを生成するリスクを低減する。
  2. 学習・微調整の過程でインジェクション攻撃サンプルやネットワーク脆弱性情報などの高品質な学習データを追加し、モデルのインジェクション攻撃、悪意ある指示、バックドア攻撃に対する防御能力を高める。
  3. レッドチームテストなどの模擬攻撃手法を通じて、モデルの脆弱性を適時に発見・修正する。
  4. 安全ガードレールを実装し、入力内容に対する安全審査を行い、悪意あるプロンプト、ジェイルブレイク指示、エンコード迂回などの高リスクなリクエストを遮断する。
  5. モデル学習段階における安全アライメントを強化し、モデルがレッドチームテストを欺いたり、能力を隠したり、管理を回避したりするなどの想定外の挙動を示すことを防止する。

3.1.2 アルゴリズム安全リスクへの対応

  1. 人工知能アルゴリズムの説明可能性・透明性を高め、システムの内部構造、推論ロジック、技術インターフェース、出力結果について明確な説明を提供し、システムが結果を生成する過程を正しく反映させる。
  2. アルゴリズム設計に公平性制約や敵対的デバイアス技術などを導入し、アルゴリズムの偏見・差別を低減する。
  3. 設計・研究開発の過程で安全な開発規範を策定・実施し、アルゴリズムの安全上の欠陥を低減する。
  4. アルゴリズムのリリースおよび重要なバージョン更新の前に、多角的な評価メカニズムを導入してアルゴリズムの安全性評価を実施し、意思決定の説明可能性、公平性、社会的厚生への貢献度などの指標を検証する。
  5. アルゴリズムの運用・提供の過程でリスクモニタリングを実施し、ユーザーとの対話フィードバックやシステム運用ログなどの指標を収集・分析することで、アルゴリズムの継続的な安全性・堅牢性・制御可能性を確保する。

3.1.3 データ安全リスクへの対応

  1. 学習データおよびユーザー対話データの収集、保存、利用、加工、伝送、提供、公開、削除などの各段階において、データの収集・利用および個人情報処理に関する安全ルールを遵守し、法令が定めるユーザーの管理権、知る権利、選択権などの適法な権益を厳格に実現する。
  2. 真実・正確・客観的かつ多様で適法な出所を持つ学習データを使用し、学習データや外部ナレッジベースなどを厳格に選別して虚偽・偏見・失効・誤りのあるデータを除去し、核・生物・化学・ミサイル兵器などの高リスク分野に関する機微データが含まれないことを確保する。
  3. 学習データのアノテーション手順を標準化し、アノテーションの正確性と信頼性を高める。
  4. データ安全管理を強化し、機微な個人情報や重要データが関わる場合には、データ安全・個人情報保護に関する関連法令・標準・規範を遵守する。合理的に合成データを活用して個人特徴データの代替を進め、個人情報への依存を回避する。
  5. 合成データの品質評価基準を確立し、統計的検定、専門家による検証、ベンチマークデータセットとの比較などの措置を通じて合成データの品質を高める。多様性の検証やロバスト性テストを実施し、合成データと元データの乖離を適切に拡大することで、モデルの汎化能力と耐干渉能力を高める。
  6. 知的財産権の保護を強化し、学習データの選定や結果出力などの段階で知的財産権の侵害を防止する。

3.1.4 算力インフラ・運用環境の安全リスクへの対応

  1. 人工知能の展開・保守の過程で安全規範を策定・実施し、算力インフラおよび運用環境に関わるソフトウェア・ハードウェア製品の脆弱性、バックドア、欠陥情報を追跡し、定期的に安全検査を行い、適時に修正・補強措置を講じることで、システムの安全かつ安定した稼働を確保する。
  2. 冗長設計と災害復旧メカニズムを整備し、異常時や攻撃を受けた際にもシステムが正常に稼働し続けられるようにする。
  3. 人工知能システムが採用するチップ、ソフトウェア、ツール、算力・データ資源について、サプライチェーンの安全リスクに注意を払い、サプライチェーンの多元化・安定性を高める措置を講じる。

3.2 応用安全リスクへの対応措置

3.2.1 エージェント安全リスクへの対応

  1. エージェントに一意の身元識別子を付与し、対応する身元認証情報を備えさせることで、エージェントの身元認証を可能にする。エージェントにはタスク遂行に必要な最小限の権限のみを付与する。各種認証情報の動的な管理を強化する。
  2. エージェントのワークフローに多層の検知・遮断ポイントを設け、重要な節目には強制的な人手による承認を設定し、承認ログを完全に記録する。
  3. エージェントが呼び出す外部ツール、プラグイン、スキルなどの安全性・完全性を検証し、安全上の懸念があるツールを速やかに排除し、実行過程における異常な呼び出しを遮断することで、想定外の挙動やサプライチェーンへのポイズニングリスクを防止する。
  4. エージェントの稼働中における安全モニタリングを実施し、異常を適時に発見・対処する。エージェントの稼働中の関連操作・処理行為を記録し、行為の感知可能性、追跡可能性、監査可能性を確保する。

3.2.2 身体性人工知能の安全リスクへの対応

  1. 物理世界の全場面における攻撃手法を模擬し、視覚・音声・LiDARなど身体性人工知能のセンサーに対する耐干渉テストを実施し、防護戦略を動的に更新する。
  2. 製品の実際の応用前にシミュレーションテストや極限条件テストなどの安全性検証メカニズムを構築し、安全フェイルセーフや緊急停止などの安全機能を備える。
  3. 利用過程における定期巡回点検を行い、故障の早期警戒と緊急対応を強化する。
  4. 身体性人工知能群のための通信プロトコルの安全性、異常ノードの隔離、グローバルな安全遮断などの技術能力を高め、連鎖的な故障や群集の制御不能といった場面を想定した緊急対応訓練を定期的に実施する。

3.2.3 サイバーセキュリティへの影響リスクへの対応

  1. モデルの学習段階において、アライメント学習や安全性を目的とした微調整などの技術を通じて、安全規範と倫理的制約をモデルの内在的な行動ロジックに転換する。
  2. ネットワークセキュリティのガードレールを設定し、自律的なサイバー攻撃の意図の識別を強化し、異常なネットワークアクセス、高頻度の探査、脆弱性の悪用、サイバー攻撃ツールの呼び出しなどの高リスクな挙動を適時に遮断する。
  3. サービス格下げメカニズムを構築し、ユーザーにサイバー攻撃の意図・行動があると判断した場合には、モデルの能力を差別化して低下させたり、回答拒否の方針を取ったりすることで、高リスクなコンテンツの出力や高リスクな操作の実行を防ぐ。
  4. サイバーセキュリティ防御における人工知能技術の活用を強化し、脆弱性の知的な動的巡回、異常行動の分析、攻撃態勢の予測などを実現する。

3.2.4 情報コンテンツ安全リスクへの対応

  1. 安全防護メカニズムを構築し、モデルの稼働過程で干渉・改ざんを受けて信頼できない結果を出力することを防止する。
  2. 出力に対して動的なフィルタリングを行い、技術的手段と人手による確認を組み合わせることで、違法・価値観の偏ったコンテンツの生成を防止し、人工知能システムが違法情報、機微な個人情報、重要データを出力することを回避する。
  3. 人工知能が生成した合成コンテンツに対して表示を行い、識別可能性、追跡可能性、信頼可能性を実現する。
  4. ユーザーの質問情報を収集して関連分析・集約・マイニングを行い、ユーザーの身元、嗜好、個人の思想傾向を判断する人工知能システムについては、その濫用を厳格に防止する。
  5. 緊急対応・遮断メカニズムを整備し、緊急対応計画を策定し、違法情報を発見した際には直ちに伝送を停止して影響を除去する。

3.2.5 個人情報権益侵害リスクへの対応

  1. 対話内容や操作行動などの個人情報を記録し、関連する個人情報をモデルの学習に利用する場合には、法令に従って通知義務や本人同意取得義務を履行しなければならない。
  2. 内部管理制度・運用手順を整備し、無許可のアクセスや個人情報の漏えい・改ざん・紛失などを防止する措置を講じ、法令の要求と関連する国家標準を参照して個人情報保護コンプライアンス監査および影響評価を実施する。
  3. サービス提供者は、個人が個人情報に関する権利を行使するための利便性の高い申請受付・処理の仕組みを整備し、権利行使の申請に適時かつ効果的に対応する。

3.2.6 現実安全リスクへの対応

  1. 人工知能の技術・製品の原理、能力、適用場面、安全リスクについて必要な開示を行い、システムの透明性を継続的に高める。応用場面に応じて能力の境界を設定し、濫用され得る機能を削減し、システムの能力が想定範囲を超えないようにする。
  2. アルゴリズムの欠陥や偶発的なランダム性が意思決定に影響を与える問題に対して、意思決定の検証、フォールトトレランス、是正のメカニズムを構築する。高度な自律的操作・実行能力を導入する際には、「人間参加型(ヒューマン・イン・ザ・ループ)」「回路遮断」「ワンクリック制御」などの措置を同時に構築し、極端な状況下での迅速な介入・損失抑制を実現する。
  3. 複数の人工知能モデル・システムを統合するプラットフォームについては、権限管理を強化し、不要なサービスを制限し、アクセス制御戦略を整備し、リスクの識別・検知・防護能力を高めることで、プラットフォームの悪意ある行為や攻撃・侵入によって搭載モデル・システムが影響を受けることを防止する。
  4. 人工知能アプリケーションを展開する前に、実際の業務場面を詳細に分解し、能力の境界を明確にすることで、技術への盲信を避け、技術供給と実際の応用ニーズとの乖離、期待のずれ、実装の空回りといったミスマッチ現象を減らす。
  5. 発信源の管理を強化し、ユーザー認証や用途識別などの手段を通じて、人工知能が核・生物・化学・ミサイル兵器の製造など高リスクな場面に利用されることを防止する。
  6. 自動化アカウント、偽の身元、生成合成コンテンツの検知技術の研究開発を強化し、認知戦の手法に対する防止・検知・対処能力を高める。

3.3 派生的安全リスクへの対応措置

3.3.1 社会リスクへの対応

  1. 人工知能の影響を受けやすい職種について常態的なモニタリング・識別・早期警戒を実施し、ポスト削減や職業代替といった現象に重点的に注目し、構造的失業リスクが集中する分野・重点層を適時に特定する。
  2. 「人工知能+教育」の発展エコシステムを最適化し、政策標準、人材育成、予算投入などの保障体制を整備し、質の高い教育の場面を牽引役として人工知能の応用の深さと広がりを拡大する。学生の創造的思考能力の育成を強化し、過度の依存や思考の惰性化を防止する。
  3. 恋愛・家庭・感情に関わる重要な場面において、人工知能である旨の表示を強化し、ユーザーがバーチャルな感情体験と現実の社会関係とを区別できるよう支援し、「生身の人間との交流」という誤った認識を解消する。

3.3.2 環境リスクへの対応

  1. 人工知能の算力センター、データセンターなどのインフラの配置を科学的・合理的に計画し、集約化・規模化・標準化された建設モデルを推進することで、無秩序な建設・重複建設・資源の遊休浪費を回避する。技術研究開発からインフラ建設、算力スケジューリング、応用展開、運用保守・反復改善までをカバーする人工知能グリーン技術標準体系を整備する。
  2. 低消費電力のスマートチップ、軽量かつ高効率なアルゴリズム、インテリジェントな算力スケジューリングなど先進的なグリーンコンピューティング技術の研究開発・反復改善・大規模普及を進める。算力リソースの集約的統合、統一的なスケジューリング、共有・再利用を推進し、算力リソース全体の利用効率を高める。

3.3.3 文化リスクへの対応

  1. 文化的偏見の検知・是正技術の研究開発を強化し、モデル開発の過程で各国の歴史・文化、社会制度、文明形態に関する知識を組み込むことで、世界の文化的多様性を保護し、人工知能技術が多元的な文化的場面に適応することを推進する。
  2. データ拡張や転移学習などの技術を通じて少数言語モデルの能力を高め、学習データの言語分布の不均衡を緩和する。

3.3.4 倫理リスクへの対応

  1. アルゴリズム設計、モデルの学習・最適化、サービス提供の過程において、学習データの選別、価値観のアライメント、出力の検証などの手段を採用し、民族、信仰、国籍、地域、性別などに関する差別が生じるリスクを効果的に回避する。
  2. 政府部門、重要情報インフラ、および公共の安全や国民の生命・健康に直接影響する重点分野に応用される人工知能システムについては、効率的かつ的確な緊急管理・制御措置を備える必要がある。
  3. 透明な意思決定ロジックを備えたモデルや説明可能なアルゴリズムの研究開発・採用を奨励し、ユーザーがシステムの動作メカニズムを理解し信頼できるようにする。
  4. 擬人化された対話サービスを提供する人工知能は、過度な依存リスクの早期警戒や感情的境界の誘導といった安全機能を備えるべきであり、ユーザーに依存傾向や利用時間の過度な長さが見られた場合には、ポップアップ表示など、より目立つ方法で注意喚起を強化するべきである。

04人工知能安全リスクの総合的ガバナンス措置

技術的対応措置を講じると同時に、技術研究開発機関、サービス提供者、利用者、政府部門、社会組織など多様な主体が参加する人工知能安全リスクの総合的ガバナンス制度・規範を確立・整備する。

4.1 人工知能安全ガバナンスのトップレベルデザインの整備

4.1.1 人工知能安全に関する法令の整備

人工知能の安全に関する立法を推進し、インフラの安全防護、分類・等級別の監督、人工知能の安全テスト・評価と最終用途管理、ネットワークセキュリティ能力管理、重点場面における安全な応用などの制度を整備する。人工知能の技術・応用の特性を踏まえ、学習、アノテーション、利用、出力など各段階におけるデータ安全・個人情報保護の要件を明確化し、個人情報に関わるデータについて非識別化などの匿名化処理を実施する。政務、金融など重要業界分野における人工知能応用のデータ安全防護を強化し、重要データ・コアデータの漏えいリスクを防止する。地方が産業発展の実情に即して差異化された制度設計を模索することを奨励する。

4.1.2 技術標準の牽引的役割の発揮

モデル安全、データ安全、システム安全、アプリケーション安全、テスト評価などに関する人工知能安全標準の策定を継続的に進める。エージェント、身体性人工知能などの分野の動向を注視し、「小さく・速く・柔軟な」標準規範を通じて新技術の健全な発展を適時に指導する。関連機関・企業の国際標準策定への参加を支援し、広範なコンセンサスに基づく国際標準規範の形成を推進する。

4.1.3 人工知能安全リスクの迅速な発見・対応体制の構築

人工知能の安全リスクに関するモニタリング、早期警戒、対処のメカニズムおよび体制を確立・整備し、情報共有、リスク通報、協調的な対処を強化する。業界団体による業界内自主規制の強化を奨励し、社会的監視の役割を発揮させ、苦情・通報とリスクフィードバックの窓口を円滑にし、人工知能応用における違法行為を適時に発見し、法に基づき対処する。

4.1.4 人工知能の科学技術倫理ガバナンスの強化

人工知能の科学技術倫理準則・規範・ガイドラインを整備し、人間の尊厳、公共秩序、生命健康、生態環境、持続可能な発展などの面で科学技術倫理上の課題をもたらし得る人工知能の科学研究・技術開発などの活動について、秩序立った倫理審査を規範的に実施し、科学技術倫理の要求を人工知能の科学技術活動の全過程に貫徹させる。

4.2 人工知能安全ガバナンス能力の向上

4.2.1 人工知能安全評価体制の構築

モデル・アルゴリズムの安全評価、応用の汎用的な安全評価、具体的な場面における安全評価が連携した人工知能安全評価体制を構築し、モデルのネットワークセキュリティ能力の評価基準・プロセスを研究・策定し、動的に更新する。モデル・アルゴリズムの評価は、モデルの頑健性、信頼性、正確性、耐干渉能力、意思決定ロジックの透明性、敵対的攻撃への防御能力などの内生的な安全能力・リスクに焦点を当てる。応用の汎用的な評価は、広く利用されている人工知能応用のリスクを対象にテスト・分析・評価を実施する。具体的な場面における安全評価は、応用場面の具体的な状況に基づき、応用ニーズを満たす能力、および応用の稼働・提供の過程における安全リスクを評価する。人工知能安全脆弱性のクラウドソーステスト活動を組織し、各方面の力を結集して潜在的な安全リスクを発見する。

4.2.2 重要業界分野における規範に則った応用の促進

重要業界分野における大規模モデルの構築・展開に関する基礎的な安全ガイドラインを策定し、モデルの選定、展開、運用、廃止などの各段階における安全ベースラインを提案する。これを土台として、関連する業界分野が自らの特性を踏まえ、政務、金融、教育、放送、衛生・健康、緊急管理など重要業界分野の応用安全ガイドラインを策定し、明確な安全な応用の道筋を形成することで、業界における応用の潜在力を引き出す。

4.2.3 人工知能安全人材育成の強化

人工知能安全に関するカリキュラム体系・育成体系の構築を推進し、基礎教育から高等教育に至る一貫した育成の連鎖を形成する。人工知能安全の設計・開発・ガバナンス人材の育成を強化し、人工知能安全の最先端基礎分野におけるトップ人材の育成を支援し、人工知能を活用した能動的防御などの技術研究を奨励し、自動運転、スマート医療、脳型知能、ブレイン・マシン・インターフェースなど重点・最先端分野の安全人材層を厚くする。

4.3 柔軟・動的・制御可能なサンドボックス監督環境の構築

4.3.1 業界分類とリスク等級を組み合わせたサンドボックス監督ルールの確立

サンドボックス監督の適用対象、テスト範囲、権利義務関係、退出条件を明確化する。金融、教育、放送、衛生・健康など異なる業界を対象に、それぞれサンドボックス参入基準とテスト要件を策定する。具体的なプロジェクトのリスク等級に応じて、強度の異なるモニタリング・介入措置を講じる。

4.3.2 動的テストと弾力的な参入の実施

技術の反復や試験の進捗状況に応じて、試験期間、試験範囲、応用場面を適時に調整し、リアルタイムモニタリング、段階的評価、ルール調整を試験プロセス全体に貫徹させる。技術の新規性、リスクの制御可能性、社会的価値を主な参入基準とし、スタートアップ企業、中小・零細企業、公共サービスプロジェクトに対して一定の優遇を行う。

4.3.3 責任免除制度の規範化に向けた模索

サンドボックステストにおいて主観的な過失がなくリスクが制御可能な範囲にある行為については、責任免除メカニズムを模索する。国家安全を害し、人身権益を侵害し、重大な損害をもたらし、または故意に行われた違法行為については、サンドボックスに参入したことをもって法的責任を免除しない。

4.3.4 データ資源の保障と成果転化の強化

サンドボックステスト用データ共有プラットフォームを構築し、政務データや業界の公共データを統合して、参入企業にコンプライアンスに適合したテストデータなどの支援を提供する。テスト結果の証明や部門をまたぐ相互承認のルールを整備し、サンドボックステストの結果とその後の手続との接続を推進し、重複したテストを回避する。

4.4 人工知能安全管理措置の強化

4.4.1 応用の分類・安全リスクの等級別管理の実施

機能、性能、応用場面などに基づき人工知能応用を分類する。これを土台として、コンセンサスに基づく安全リスクの分類・等級付けの原則を提示し(附件1)、応用場面、知能化のレベル、応用規模などの観点から安全リスクを科学的に評価・等級付けし、それに応じた的確で差異化された安全防止措置を講じる。重要情報インフラに応用される人工知能システムについては登記・届出を行い、安全上のニーズに見合った安全防護能力を備えることを求める。エージェントのリスク管理フレームワークを構築し、エージェントの安全リスクを体系的に分析し、安全リスク防止措置と対応策を研究・提示する(附件2)。

4.4.2 人工知能生成合成コンテンツのトレーサビリティ管理の普及

世界的な範囲で、コンテンツ表示に基づく人工知能生成合成コンテンツのトレーサビリティ管理モデルを普及させ、既存の実践における成功事例を総括・整理し、明示的・暗黙的な表示要件に従って、作成の発信源、伝播経路、配信チャネルなど重要な段階を全面的にカバーすることで、ユーザーが情報の出所と真正性を識別・判断しやすくする。

4.4.3 人工知能の研究開発・応用に関する安全管理の強化

アルゴリズムの信頼性、信用性、透明性、フォールトトレランス、プライバシー保護、価値観のアライメントなどの内生的な安全能力を継続的に高め、敵対的テストなどの技術を用いてモデルの頑健性を評価・改善し、モデル・アルゴリズムの潜在的な偏見を低減し、価値観・倫理上のリスクを制御可能な状態に保ち、人工知能システムが意図しない意思決定によって悪意ある行為を生じさせることを回避する。モデルのライフサイクル全体をカバーする安全ガバナンス体制を構築し、技術の濫用を防止する。

4.4.4 オープンソースエコシステムの安全とサプライチェーンの安全管理の強化

オープンソースのイノベーションエコシステムを育成・発展させると同時に、オープンソースエコシステムの安全能力を高める。学習・推論フレームワーク、ソフトウェアツール、重要コンポーネント、評価ベンチマークなど、人工知能技術の全方位的なオープンソース化を奨励・支援し、オープンソースモデルの透明性をさらに高める。オープンソースモデルの提供者とオープンソースコミュニティが共同でオープンソースルールを整備することを推進し、モデルのダウンロード利用者に対する安全責任・リスク告知の責任と義務を強化し、オープンソースモデルのダウンロード・利用における「禁止行為」を明確化することで、モデルの濫用や悪用を防止する。人工知能チップ、フレームワーク、ソフトウェアのオープンなサプライチェーンエコシステムの構築を継続的に推進し、製品・サービス供給の多様性を高め、サプライチェーンの安全と安定を確保する。

4.4.5 人工知能安全リスク情報の共有

人工知能の技術・製品・サービスにおける安全脆弱性、欠陥、リスク、安全インシデントを追跡・分析し、人工知能脆弱性情報データベースを構築し、研究開発者、サービス提供者、専門技術機関をカバーするリスク情報共有メカニズムを確立する。関連する国際協力メカニズムの構築を模索し、人工知能安全リスクの分野横断的・大規模な拡散・伝播への協調的な防止・対応を図る。

4.4.6 人工知能駆動型サイバーセキュリティ防護体制の整備

人工知能を活用してコード監査、脆弱性の発見・修正、攻撃検知を加速させ、サイバーセキュリティを受動的防御から予測的な能動的防御へと転換させることを推進する。人工知能の安全能力の普及的な発展と安全かつ制御可能な応用を推進し、予測可能な方法でリアルタイムの変更を安全に実行し、ネットワークの脆弱性、攻撃の脅威、安全インシデントの自動的な発見と全プロセスの自動的な対処を実現する。

4.5 人工知能安全ガバナンスに関するコンセンサスの深化

4.5.1 人工知能の制御不能リスクへの協調的対応に関するコンセンサスの強化

人工知能の最終利用者・用途管理を強化し、人工知能システムの濫用を防止する。技術・倫理・管理の複数の側面をカバーする信頼できる人工知能の基本準則を普及させ、国際社会における広範なコンセンサスの形成を促進する(附件3)。開発者は定期的にテストを実施し、モデルが潜在的な技術的制御不能リスクをもたらす可能性があるかどうかを判断する。

4.5.2 社会全体の人工知能安全意識の向上

政府、企業、社会公共事業単位に向けて、人工知能の安全で規範的な応用に関する教育・研修を強化する。対話型プラットフォーム、オープンコース、コミュニティにおける普及啓発活動と連携し、人工知能の安全リスクおよびその防止・対応に関する知識の周知を強化し、社会全体の人工知能安全意識を全面的に高め、政府・業界・公衆が人工知能の技術的限界を正確に認識できるようにする。

4.5.3 人工知能安全ガバナンスに関する国際交流・協力の促進

国連が主要なチャンネルとしての役割を発揮することを支持し、国連の国際AI科学パネルおよびグローバルAIガバナンス対話メカニズムに深く関与する。世界人工知能協力機構など開放的な国際交流協力プラットフォームの役割を発揮させ、APEC、G20、上海協力機構、BRICSなど多国間メカニズムの枠組みの下での人工知能分野における協力を推進し、「一帯一路」参加国や「グローバルサウス」諸国との協力を強化し、発展途上国の人工知能グローバルガバナンスにおける代表性と発言力を高め、『人工知能グローバルガバナンス行動計画』を推進する。必要な危機管理・緊急対応メカニズムを構築し、テロリズム、過激派勢力、国境を越えた組織犯罪集団による人工知能技術の濫用・悪用を防止・取り締まる。

05人工知能安全指針

5.1 人工知能モデル・アルゴリズムの研究開発に関する安全指針

  1. アルゴリズムのルール、モデル、エージェントのフレームワークなどを設計する段階において、アルゴリズムの信頼性、信用性、透明性、フォールトトレランス、プライバシー保護などの内生的な安全能力を高める。有効かつ信頼できるアライメントアルゴリズムを設計し、潜在的な偏見・差別などの価値観リスクを回避する。
  2. ネットワークセキュリティの設定やデータ暗号化を含め、学習環境の安全を確保する。使用する開発フレームワークやコードなどについて安全監査を実施し、潜在的な安全上の脆弱性を特定・修正する。
  3. 安全な学習データセットを構築し、データの出所管理を規範化し、学習データ、特に合成データについて品質・安全性の評価を実施し、データクレンジングや安全審査などの方法を用いて、学習データに含まれる誤り・違法不良コンテンツを除去し、出所の明確さと内容のコンプライアンスを確保する。
  4. 学習データのアノテーション手順を規範化し、クロスアノテーションや結果監査などの品質管理手法を採用して、アノテーションの正確性・信頼性を高め、個体差や個人的偏見がアノテーション品質に及ぼす影響を低減する。
  5. データ安全と個人情報保護を重視し、知的財産権・著作権を尊重する。データ安全管理制度を整備し、正当・適法・必要の原則に従って個人情報を収集・利用・処理し、個人情報に関わるデータについて非識別化などの匿名化処理を実施する。データ安全防護技術能力を強化し、データの漏えい・流出・拡散・権利侵害などのリスクを防止する。
  6. モデル学習過程における安全性検証を強化し、モデルの学習・反復の過程において、モデルの安全境界、頑健性、価値観アライメントの効果について継続的な検証を行う。
  7. 定期的に安全テスト・評価を実施し、リスクの分類・等級別のテスト・最適化メカニズムを策定する。テスト前にテストの目標・範囲・安全上の観点を明確にし、様々な応用場面をカバーする多様なテストデータセットを構築し、エージェントの自律的な挙動やツール呼び出しなどの能力について専門的な評価を実施し、各種リスクに対応した的確なモデル最適化戦略を策定する。
  8. 人手によるテスト、自動テスト、ハイブリッドテストなど明確なテストのルールと方法を策定し、サンドボックスシミュレーションなどの技術を活用してモデルを十分にテストし、マルチモーダル・身体性人工知能など複雑な応用場面についてシミュレーションテストを強化する。商用目的で研究開発を行う者は、詳細なテストレポートを作成し、安全上の問題を分析して改善策を提示するべきである。
  9. 人工知能モデル・アルゴリズムの外部からの干渉に対する耐性を評価し、適用範囲・注意事項・使用禁止事項の形でサービス提供者や他の研究開発者に通知する。
  10. 人工知能モデル・アルゴリズムの安全評価、監査、異常対処の状況について定期的に開示する。
  11. 人工知能モデル、重要な設定、使用するデータセットのバージョン管理を適切に行い、商用版は以前のバージョンにロールバックできるようにする。
  12. エージェントの行動境界を合理的に設定し、重大な損害をもたらし得る操作については人手による承認メカニズムを備え、ツール呼び出しや外部とのやり取りに関する安全上の制約を強化する。
  13. 基盤大規模モデルをベースに二次開発を行う場合には、モデルおよび上流コンポーネントの安全上の欠陥評価を実施し、上流の欠陥が下流のモデル・アプリケーションへ波及することを防止する。
  14. オープンソースのモデル・アルゴリズムをベースに二次開発を行う研究開発者は、研究開発者の知的投入を尊重しつつ、該当するオープンソースライセンス規範に従い、公式チャネルまたは主流のオープンソースコミュニティからモデル・コンポーネントを取得し、出所・完全性の検証を実施する。
  15. オープンソースコミュニティの構築に積極的に参加し、人工知能安全ガバナンスの技術革新と実践を推進し、サービス提供者・利用者に対して、コンプライアンスに適合したガバナンスソリューション、ガバナンスツール、ベストプラクティスなどの支援を提供する。

5.2 人工知能アプリケーションの構築・展開に関する安全指針

  1. 対象場面における人工知能技術の応用の必要性、および利用後の長期的・潜在的な影響を評価し、応用場面の重要性、知能化のレベル、応用規模などを踏まえてリスクを等級付けし、リスク等級を参照して安全評価と定期監査を実施する。
  2. サプライチェーンの安全保障能力を強化し、構築・展開に必要なモデルファイル、フレームワークツール、サードパーティライブラリ、およびエージェントが依存するツール・プラグインなどについては、関連ベンダーの公式サイトまたは主流のオープンソースコミュニティにおける公式アカウントから取得し、成熟・安定したバージョンを選定し、出所・完全性の検証と安全テストを実施する。
  3. 構築・展開に必要なソフトウェア・ハードウェア機器、サードパーティツール、およびエージェントが依存するツール・プラグインなどについて安全検査を実施し、未修正で悪用され得る既知の脆弱性が含まれないことを確保する。脆弱性の追跡メカニズムを構築し、関連するソフトウェア・ハードウェアの安全上の脆弱性・欠陥情報を追跡し、サプライチェーンを通じたバックドアの埋め込みを防止する。
  4. アクセス制御の面では、ソフトウェアの正確なインストール・設定、実行環境パラメータ、機能モジュール呼び出しのポリシーを適切に行い、不要なネットワークポートや機能サービスを無効化し、デフォルトの設定・デフォルトパスワードを重点的に点検し、安全上のリスクを適時に修正する。
  5. アプリケーション管理の面では、ヒューマン・マシン・インターフェースおよびAPIインターフェースについてユーザーの身元識別・権限管理を実施し、アクセス権限を最小化して設定し、業務場面に応じてインターフェース呼び出しの頻度を制限し、一般ユーザーには高リスクな操作を無効化し、悪意あるユーザーに対してはサービス停止・アクセス遮断などの管理能力を構築する。
  6. 応用場面におけるデータ安全・プライバシー保護の要求を十分に理解し、データへのアクセス権限を合理的に制限して範囲を超えたデータ利用を防止し、データのバックアップ・復旧計画を策定し、データ処理フローを定期的に点検する。
  7. 安全ガードレールなどの技術的手段を採用し、違法不良コンテンツやプロンプトインジェクション攻撃などを識別・遮断し、出力コンテンツが業務範囲を逸脱することを防止し、検索拡張生成やネットワーク接続対話などによって取得した外部コンテンツの検証を強化する。
  8. 検索拡張生成やナレッジベース質問応答などの方式で構築された人工知能アプリケーションについては、外部ナレッジベースや外部知識ソースの管理を強化し、ナレッジベースへのポイズニングやコンテンツ汚染を防止し、不適切なコンテンツを定期的に検知・削除し、生成コンテンツの出所の追跡可能性と真実性・信頼性を確保する。
  9. 身体性人工知能、ヒューマノイドロボットなどのアプリケーションを展開する際には、作業場面に応じて安全評価を実施し、故障の自己診断、衝突防護、緊急停止などの安全機構を備え、対応する安全操作手順を策定する。

5.3 人工知能アプリケーションの稼働管理に関する安全指針

  1. 人工知能アプリケーションの安全管理・監督メカニズムを整備し、責任主体を明確にし、人手による確認メカニズムを整備し、重要な場面における人工知能アプリケーションの意思決定の透明性・制御可能性を確保し、明確な判断根拠を提供し、人工知能アプリケーションが人間の許可と制御の下で稼働することを確保する。
  2. 人工知能アプリケーションの権限を厳格に管理し、最小権限原則などの手段を通じて内部の安全管理を強化し、アカウントの安全性を高め、機微データを扱う際には暗号化技術などの保護措置を用いる。
  3. 人工知能アプリケーションの稼働モニタリング能力と安全インシデント緊急対応計画を構築し、重要指標に安全早期警戒の閾値を設定し、安全インシデントを適時に発見できるようにし、人手または従来型システムへの切り替え能力を備える。定期的に緊急対応訓練を実施し、業界の安全インシデント、重要な世論、規制の変化に応じて緊急対応戦略を適時に最適化し、変化し続ける安全リスクに対応する。
  4. 人工知能が生成するコンテンツに明示的または暗黙的な表示を付し、生成合成コンテンツの提示とトレーサビリティ管理を適切に行う。政務情報公開、司法証拠収集などの場面ではディープフェイク検知ツールを展開し、大規模モデルによる生成が疑われる情報について出所の検証とクロス検証を実施する。
  5. 情報コンテンツの対話行動規範、安全運用メカニズム、苦情フィードバックメカニズム、技術防護能力などを策定し、人工知能アプリケーションが不適切または悪意ある形で虚偽の違法情報を生成・公開・伝播するために利用されるリスクを防止する。
  6. 人工知能アプリケーションの稼働ログ(システム挙動、ユーザー挙動などを含む)を記録し、ログの保存期間を6か月以上とし、定期的にログ記録の監査を行う。
  7. リアルタイムのリスクモニタリング・管理メカニズムを確立・整備し、稼働中の安全リスクを継続的に追跡する。
  8. アプリケーションの透明性・公平性を高め、人工知能アプリケーションの能力、限界、適用対象、場面を公開する。
  9. 人工知能アプリケーションの目標達成度と乖離度を利用者に説明し、人工知能の意思決定が重大な影響を及ぼす場合には、丁寧な説明を行う。
  10. 利用者の知る権利、選択権、監督権などの適法な権益を保護し、契約またはサービス規約において、利用者が理解しやすい形で人工知能アプリケーションの適用範囲、注意事項、使用禁止事項を通知し、利用者が十分な情報に基づいて選択し、慎重に利用できるよう支援する。
  11. 告知同意書やサービス規約などの文書において、利用者が人間による監督・制御の権利を行使できるよう支援する。
  12. 具体的なアプリケーションにおけるデータの帰属およびアルゴリズムの欠陥に関する責任主体を明確にし、責任の連鎖を追跡可能にする。
  13. データ安全管理の責任を実行し、人工知能アプリケーションにおけるデータ漏えい、個人プライバシーの漏えい、個人情報の違法な収集・利用などのリスクを評価し、データのライフサイクル全体をカバーする安全管理メカニズムを構築し、ユーザー対話データや検索拡張生成データなどに関する安全防護を強化し、データの漏えい防止・窃取防止の保障能力を高める。
  14. 故障や攻撃などの異常な状況下において人工知能アプリケーションが不利な条件に抵抗または克服する能力を評価し、想定外の結果や挙動の誤りを防止し、最低限の有効な機能を確保する。
  15. 従業員の安全意識と安全対応能力に関する研修を強化し、人工知能安全リスクへの防止意識を高める。
  16. 契約またはサービス規約において、利用意図や説明上の制限に反する誤用・濫用が発見された場合には、提供者が是正措置、サービスの一時停止または前倒し終了の権利を有することを明確にする。
  17. 未成年者、高齢者、その他特別な配慮を要する層に人工知能サービスを提供する際には、製品機能設計やサービスモデルなどの段階で使いやすさと安全性を十分に考慮し、依存防止・過度な依存防止のメカニズムを設ける。
  18. 人工知能安全インシデントの発見・報告・対処メカニズムを構築し、重大な安全インシデントが発生し、人身・財産上の損害または社会の安定への影響が生じた場合には、法令に従って適時に関係主管部門に報告し、影響を受けたユーザーに通知し、事案の原因追及と是正を適切に行う。
  19. 人工知能モデル・アプリケーションについて更新、アップグレード、微調整、または機能権限の変更を行う場合には、重要な変更について安全評価を実施し、変更後も安全能力が低下しないことを確認し、ロールバック能力を維持し、必要な場合には速やかに以前のバージョンに戻す。
  20. 擬人化された対話サービスを提供する場合には、ユーザーへの身元の注意喚起、利用時間の注意喚起、危機介入のメカニズムを整備し、ユーザーへの過度な迎合や感情的依存の誘発・感情操作を防止し、未成年者の心身の健康と個人情報の安全を保護する。

5.4 人工知能アプリケーションのアクセス・利用に関する安全指針

  1. 人工知能アプリケーションの安全リスクに対する認識を高め、信頼性の高い人工知能アプリケーションを選択する。
  2. 利用前に製品契約またはサービス規約をよく読み、アプリケーションの機能、制限、プライバシーポリシーを理解し、人工知能アプリケーションによる判断・意思決定の限界を正確に認識し、合理的な利用期待を設定する。
  3. 個人情報保護の意識を高め、不必要な場合には機微情報の入力を避け、ネットワーク接続機能や記憶機能を備えたエージェントアプリケーションを利用する際には、個人情報の開示を慎重に行う。
  4. 人工知能アプリケーションのデータ処理方式や権限取得状況を理解し、プライバシー保護の原則に適合しない製品の利用を避ける。
  5. 人工知能アプリケーションを利用する際には、ネットワークセキュリティリスクに注意を払い、人工知能アプリケーションがサイバー攻撃の標的とならないようにする。
  6. 人工知能アプリケーションが児童・青少年に与える影響に注意を払い、利用時間を合理的に管理し、依存、感情的依存、過度な利用を防止する。
  7. 生成合成コンテンツの表示に基づいて人工知能生成コンテンツを識別し、「ディープフェイク」コンテンツには警戒を怠らず、未検証の疑わしい情報を安易に信じたり拡散したりせず、ネットワーク詐欺や虚偽情報への防止意識を高める。

表安全リスクと技術的対応措置・総合ガバナンス措置の対応表

人工知能の内生的安全リスク

分類安全リスク項目技術的対応措置(条項)総合ガバナンス措置
・技術標準の牽引的役割を十分に発揮
・人工知能安全評価体制の構築
・人工知能研究開発・応用の安全管理強化
モデル安全リスク出力「幻覚」3.1.1 (a)
安全機構の信頼性不足3.1.1 (a)(b)(c)(e)
インジェクション攻撃の脅威3.1.1 (b)(c)(d)
想定を逸脱した挙動3.1.1 (e)
アルゴリズム安全リスク説明可能性の不足3.1.2 (a)(d)(e)
アルゴリズムの偏見・差別3.1.2 (b)(d)(e)
頑健性の不足3.1.2 (c)(d)(e)
データ安全リスク学習データ内容の不適切さ3.1.3 (b)(c)(d)(f)
分類安全リスク項目技術的対応措置(条項)
データ安全リスク(続)学習データ出所の不明確さ3.1.3 (b)(d)(f)
アノテーションの不備3.1.3 (c)
データポイズニング・汚染3.1.3 (b)
データ処理の不適切さ3.1.3 (a)(d)(f)
個人不実情報の出力3.1.3 (b)(c)(d)
合成データの欠陥3.1.3 (e)
算力インフラ・運用環境安全リスク算力安全リスク3.1.4 (a)(b)(c)
コンポーネント安全リスク3.1.4 (a)(b)(c)
サプライチェーン安全リスク3.1.4 (a)(b)

人工知能の応用安全リスク(エージェント・身体性AI・サイバーセキュリティ)

総合ガバナンス措置

・人工知能安全法令の整備 ・人工知能安全リスク迅速発見/対応体制の構築 ・重要業界規範応用の促進 ・柔軟・動的・制御可能なサンドボックス監督環境の構築 ・応用分類及び安全リスク等級別管理の実施

分類安全リスク項目技術的対応措置(条項)
エージェント安全リスク身元・権限濫用リスク3.2.1 (a)
推論・計画リスク3.2.1 (c)(d)
呼び出し・実行リスク3.2.1 (b)(c)(d)
記憶ストレージリスク3.2.1 (c)(d)
身体性AI安全リスク環境認識安全リスク3.2.2 (a)
物理的実行安全リスク3.2.2 (b)(c)
ヒューマン・マシン・インタラクション安全リスク3.2.2 (b)(c)
群集連携安全リスク3.2.2 (d)
サイバーセキュリティへの影響リスク攻撃能力の拡散3.2.3 (a)(b)(c)
防御能力の遅れ3.2.3 (d)
自律型攻撃の脅威3.2.3 (a)(b)(c)
追跡・責任追及の困難3.2.3 (d)

人工知能の応用安全リスク(情報コンテンツ・個人情報・現実安全)

総合ガバナンス措置

・人工知能生成合成コンテンツのトレーサビリティ管理の普及 ・オープンソースエコシステム安全及びサプライチェーン安全管理の強化 ・人工知能安全リスク情報の共有 ・人工知能駆動型サイバーセキュリティ防護体制の整備

分類安全リスク項目技術的対応措置(条項)
情報コンテンツ安全リスク違法情報の出力3.2.4 (a)(b)(c)(e)
事実の混同・誤認誘導3.2.4 (a)(b)(e)
ネットワークコンテンツエコシステムの汚染3.2.4 (a)(b)(c)(e)
フィルターバブルの助長3.2.4 (d)
価値観の偏りの発生3.2.4 (b)(d)(e)
個人情報権益侵害安全リスク違法な個人行動情報の記録3.2.5 (a)
コンプライアンス保障措置の不足3.2.5 (b)
権利行使窓口の不備3.2.5 (c)
現実安全リスク重要情報インフラ安定稼働リスク3.2.6 (a)(b)(c)(e)
応用ニーズミスマッチリスク3.2.6 (d)
違法犯罪活動への悪用3.2.6 (a)(b)(c)(e)
核生化導武器知識制御不能リスク3.2.6 (a)(b)(c)(e)
社会認知操作リスク3.2.6 (f)

人工知能の派生的安全リスク

総合ガバナンス措置

・人工知能科学技術倫理ガバナンスの強化 ・人工知能安全人材育成の強化 ・人工知能制御不能リスクへの協調的対応コンセンサスの強化 ・社会全体の人工知能安全意識向上 ・人工知能安全ガバナンス国際交流協力の促進

分類安全リスク項目技術的対応措置(条項)
社会リスク労働雇用構造への影響3.3.1 (a)
教育への影響・イノベーション抑制3.3.1 (b)
社会的関係疎外リスク3.3.1 (c)
知能格差の拡大3.3.1 (a)(b)
環境リスク資源需給バランスへの挑戦3.3.2 (a)(b)
グリーン低炭素発展への影響3.3.2 (a)(b)
文化リスク文化的多様性の毀損3.3.3 (a)(b)
文化の再形成・侵食3.3.3 (a)(b)
倫理リスク社会的偏見の助長3.3.4 (a)(b)(c)
科学研究倫理リスクの助長3.3.4 (a)(b)(c)
感情的依存リスク3.3.4 (a)(c)(d)
「自己意識」覚醒・人類制御からの逸脱3.3.4 (a)(b)(c)

附1人工知能安全リスクの等級付け原則

人工知能安全リスクの評価には多くの要因が関わる。応用場面の重要性、知能化のレベル、応用規模などの観点から人工知能安全リスクを評価・等級付けし、それに応じた安全防止措置を講じることができる。

一、主な等級付け要素

1. 応用場面

応用場面は、人工知能が実際に利用される際の具体的な運用環境や目標ニーズなどを反映するものであり、具体的には応用目的、業界分野、利用環境、サービス対象、および関わり得る社会的・経済的・安全上の影響などの要素を含む。

2. 知能化のレベル

知能化のレベルは、人工知能システムが複雑なタスクを処理し、応用ニーズを満たし、自律的に運用する能力などを反映するものである。知能化レベルが低い場合、システムの能力は低く、補助的な提案にとどまり、意思決定には人手の介入が必要となる。知能化レベルが上がるにつれ、人手の介入頻度・範囲は縮小していく。知能化レベルが高い場合、人手の介入を必要とせず、システムが全プロセスを自律的に意思決定・運用する。

3. 応用規模

応用規模は、人工知能システムまたはサービスのカバー範囲と影響の広がりを反映する。企業内のスマートツールや地域的サービスなど、ユーザー範囲が限定的または応用領域が単一なシステムは、リスクの影響が比較的制御可能である。ユーザー数が一定の規模に達している場合や、スマート運転支援、都市運営管理、工業生産スケジューリング、業界レベルの金融リスク管理モデルなど重要な業界分野の業務プロセスに深く組み込まれている場合には、安全リスクが急速に拡散しシステム的な影響を引き起こす可能性がある。

二、リスク等級

1

低安全リスク

軽微な脅威性と極めて限定的な影響範囲を有し、国家安全、社会の安定、国民の権益に対する安全への影響は基本的になく、潜在的な危害は軽微である。
2

一般安全リスク

一定の脅威性を有するが影響範囲は限定的であり、国家安全、社会の安定、国民の権益への安全上の影響は小さく、潜在的な危害は制御可能である。
3

比較的大きな安全リスク

明らかな脅威性と局所的な影響という特徴を有し、国家安全、社会の安定、国民の権益に対して比較的大きな影響をもたらす可能性があり、局所的な社会面での危害を生じさせる。
4

重大な安全リスク

重大な脅威性と広域的な影響という特徴を有し、国家安全、社会の安定、国民の権益に対して深刻な影響をもたらす可能性があり、重大な社会面での危害を生じさせる。
5

特に重大な安全リスク

壊滅的かつシステム的な脅威という特徴を有し、国家安全、社会の安定、国民の権益に対して、覆すことのできない、あるいは不可逆的な、特に深刻な影響を及ぼす。

三、リスクの等級判定

人工知能応用安全の分類・等級付けに関する国家標準の策定作業を推進する。業界分野の主管(監督)部門は国家標準を参照して業界標準・規範や実施細則を策定し、当該業界分野における人工知能応用安全の分類・等級付け作業を推進する。

1. 分類・等級付けの国家標準

人工知能応用安全リスクの分類・等級付け標準を通じて、分類・等級付けの基本的な流れ、ならびに応用場面、知能化のレベル、応用規模などの等級付け要素を明確にし、業界分野が業界ガイドラインを具体化する手順・方法を示すことで、業界分野におけるリスク分類・等級付けの実施に参考を提供する。

2. 分類・等級付けの業界細則

業界分野の主管(監督)部門は、業界分野、利用環境、サービス対象、および関わり得る社会的・経済的・安全上の影響などを踏まえ、当該業界・分野における人工知能安全の分類・等級付け標準規範を策定する。

  1. 当該業界・分野に適用可能な人工知能安全リスク等級付け要素項目を選定し、業界の特性に応じて具体化する。
  2. 当該業界・分野の安全リスク等級付け細則(等級判定原則、要素の重み付け)を策定し、人工知能安全リスクの等級を確定する。

3. リスクの分類・等級付け

業界分野の主管(監督)部門は、当該業界・分野の人工知能安全リスク分類・等級付け標準規範に基づき、当該業界・分野の人工知能関連事業者を組織して分類・等級付け作業を実施し、関連事業者が重大な安全リスクおよび比較的大きな安全リスクを正確に識別し、適時に防止・解消できるよう指導する。

附2エージェント(智能体)リスク管理フレームワーク

エージェント(智能体)は人工知能技術の進化における重要な形態として、人工知能を「質問に答える」段階から「タスクを遂行する」段階へと本質的に飛躍させ、経済社会の質の高い発展に力強い原動力を注入している。しかし、エージェントの高い自律性・高い権限は、プライバシーの漏えい、権限を超えた操作、行動の制御不能といった安全リスクをもたらすため、有効な防止措置を構築する必要がある。

本フレームワークは、エージェントに関わる大規模モデル、外部ツール、記憶、対話プロトコル、スキル(skills)などの側面における安全リスクを対象に、リスク防止措置を研究・提示し、エージェントアプリケーションの研究開発者、提供者、利用者の参考に供するものである。

一、エージェントの安全リスク

エージェントの安全リスクは、設計・研究開発、インストール・展開、指示入力、推論・計画、呼び出し・実行、記憶ストレージ、結果出力、廃止・停止といったライフサイクルの各段階全体にわたって存在する。

図:エージェントのライフサイクル
設計・研究開発 → インストール・展開 → 指示入力 → 推論・計画 → 呼び出し・実行 → 記憶ストレージ → 結果出力 → 廃止・停止

1. 設計・研究開発リスク

  1. 安全要件分析の不足:エージェントの応用場面、業務プロセス、リスク識別などに関する安全要件の検討が不十分であったり、要件分析が実施されていなかったりすることで、製品・サービスに安全上の欠陥が生じる。
  2. 技術選定の不適切さ:エージェントに関わる大規模モデルや開発フレームワークなどの中核技術の選定について十分な評価が欠如しており、選定した技術が実際のニーズと大きく乖離することで、業務の混乱や機能・性能が期待に届かない事態を招く。
  3. 安全機構の設計不備:安全機構が設計されていない、または設計が不合理であるため、権限の濫用、データの漏えい、記憶の汚染、リスクの連鎖的拡大といった安全リスクを防止することが難しい。

2. インストール・展開リスク

  1. 資材・コンポーネントの汚染:エージェントのインストールファイルやコンテナイメージなどの資材、および呼び出すツールやスキルなどには、欠陥、脆弱性、バックドアなどが潜んでいる可能性があり、権限を超えた操作、データの流出、遠隔操作といった安全インシデントを招くことがある。
  2. 展開環境の脆弱性:エージェントのローカル展開環境やクラウドプラットフォームの安全能力が不足しており、必要なアクセス制御や権限分離などが実施されていないことで、リスクが他のシステムやデータ資産へ拡散する。
  3. 安全評価の不足:エージェントの安全テスト・評価が不十分であったり、段階的なロールアウトテストなどを欠いていたりすることで、安全上の欠陥や異常なバージョンが適時に発見されない。

3. 指示入力リスク

  1. プロンプトインジェクション攻撃:攻撃者が敵対的なプロンプトを直接入力して攻撃を仕掛けたり、外部の文書、メール、Webページ、ログ、メッセージなどの媒体に指示を隠したりすることで、エージェントを誘導して設定された目標から逸脱させ、権限を超えた操作を実行させる。
  2. コンテキストオーバーフロー攻撃:攻撃者が極めて長い入力コンテンツを構築して限られたコンテキストウィンドウのリソースを占有させることで、エージェントに組み込まれた指示が切り捨てられ、安全制約が失効する。

4. 推論・計画リスク

  1. 意図理解のずれ:ユーザーの指示の記述が不明瞭であることやエージェントの理解の誤りなどにより、想定外の内容を出力したり異常な挙動を引き起こしたりして、ユーザーの本来の目標から逸脱する。
  2. 経路の逸脱:エージェントが元の指示による制約に反し、安全な経路から逸脱することで、ツールの権限逸脱などの安全上の懸念が派生する。
  3. 目標の乗っ取り:攻撃者が悪意ある指示の注入や外部データの汚染などの手段を通じて、本来のタスク目標から逸脱させ、攻撃者が設定した悪意ある操作を実行させる。

5. 呼び出し・実行リスク

  1. ツールへのポイズニング:ツールにバックドアが埋め込まれたり、悪意あるツールが正規のツールを装ったりすることで、エージェントに悪意ある操作を実行させる。
  2. ツールの権限逸脱:安全でない設定や語義のあいまいさなどにより、エージェントが無許可のツールにアクセスしたり、ツールの実行が許可された範囲を超えたりすることで、深刻な被害が生じる。
  3. ツール選択の偏り:ツールの説明ファイルに誘導的な情報が含まれることで、エージェントのツール選択が妨げられる。
  4. ツール応答データの汚染:ツールが返すデータに悪意あるコンテンツが埋め込まれることで、エージェントの推論・計画が撹乱される。
  5. 身元の偽装:攻撃者が資格情報の乗っ取りやリプレイ攻撃などを通じてエージェントの身元になりすまし、ツールの信頼をだまし取って特権的な操作を実行する。
  6. ツールの乗っ取り:攻撃者がプロンプト操作などを通じてツールの利用優先順位を改ざんし、エージェントを欺いて誤ったツールを選択させる。
  7. リソースの過負荷:エージェントがツールを呼び出す過程で、呼び出し回数や並行頻度などを適切に設定していないため、循環的な反復呼び出しや大量の過剰なリクエストなどが発生し、リソースの過負荷や異常な枯渇を招く。

6. 記憶ストレージリスク

  1. 記憶の不適切な保持:長期記憶の保存において暗号化や隔離などの安全措置が講じられていないことで、機微データの漏えいなどを招く。
  2. 記憶の歪み:記憶の圧縮、更新、統合が規範に沿っていないことにより、記憶情報の消失、意味的なずれ、誤った記憶の固定化が生じ、エージェントの意思決定の誤りを引き起こす。
  3. 記憶の汚染:エージェントが悪意ある指示や誤った情報などを長期記憶に書き込むことで、その後の意思決定に継続的な影響を及ぼす。
  4. 記憶の窃取:エージェントの長期記憶が権限を超えてアクセスされることで、特定の機微情報の漏えいや重要データの窃取を招く。

7. 結果出力リスク

  1. 機微・違法情報コンテンツの出力:エージェントが違法不良情報や機微な個人情報、あるいは虚偽・誤り、偏見・差別などのコンテンツを出力することで、ネットワークエコシステムを破壊し、機微情報を漏えいさせ、さらには国民の心身の健康を害する。
  2. 悪意ある行為の実行:エージェントの実行結果に攻撃的な行動が含まれる可能性があり、システムの破壊、ユーザーの権益侵害、コンテンツコンプライアンス要件違反を招く。

8. 廃止・停止リスク

  1. サービスの残留:エージェントの廃止後、プロセス、ポート、ネットワーク接続などが終了されない、またはアンインストールが不完全であることにより、バックグラウンドでデータの読み書きやネットワークリクエストなどの想定外の挙動が引き続き実行される。
  2. 権限・認証情報の残留:エージェントの廃止後、対応するサービスアカウントやインターフェースアクセス権限などが適時に無効化・取り消されていないことで、攻撃者に悪用され、リソースの盗用やデータ漏えいなどの結果を招く可能性がある。
  3. データの不適切な保持:エージェントの稼働中に生成されたログ、設定、監査資料、ユーザーデータなどが要件に従ってアーカイブまたは削除されていないことで、データ漏えいのリスクが高まる。

9. その他の安全リスク

  1. 通信プロトコルの安全リスク:エージェントがモデル、ツール、他のエージェントと通信する際に安全でないプロトコルや認証方式を使用することで、データや指示の漏えいを招く。
  2. ログの欠如:エージェントに必要なログ保存機能が欠如していることで、安全インシデントが発生した際に有効な追跡ができない。
  3. 行動の逸脱:エージェントが運用環境の脆弱性や設定上の欠陥を悪用して安全制限を突破することで、挙動が制御不能になる。
  4. システム権限の濫用:エージェントが不要なシステム権限を取得したり、攻撃者がシステムの脆弱性を悪用して低権限アカウントを高権限アカウントに昇格させたりすることで、過剰な権限付与や不正操作を招く。
  5. スキル管理の不適切さ:スキルの設定が規範に沿っていない、検証メカニズムが欠如しているなどにより、誤用・濫用やシステム異常などの安全上の問題を招く。
  6. 範囲を超えたデータ利用:エージェントがデータを過剰に収集したり、収集・生成したデータをユーザーが許可していない他の目的に利用したりすることで、プライバシーの漏えいやデータ権利侵害などを招く。

二、防止措置

1. リスク予防の前倒し

エージェントの利用開始前に、先見的なリスク評価や安全管理戦略の策定などを通じて、潜在的な安全上の懸念を適時に洗い出し排除することで、エージェントに関する安全インシデントの発生やリスクの拡大を回避する。

  1. 安全要件の確認:エージェントの応用場面、業務プロセス、アクセス可能なリソース、禁止行為を明確にし、潜在的な脅威と安全要件を分析・検討し、安全リスク台帳を作成して継続的に更新する。
  2. 安全リスクの等級付け:エージェントが影響を及ぼし得る対象の種類、影響の程度・範囲・回復可能性に応じて、エージェントの操作に関する安全リスク等級を区分する。
  3. 安全管理戦略:信頼できるインストール資材を選定し、展開方式に応じて環境隔離とネットワークセグメンテーションを実施し、動的な安全管理戦略と緊急対応フローを策定し、段階的・漸進的な展開を実施して、エージェントのアクセス権限と自律性を徐々に高めていく。
  4. 安全機構の確認:エージェントおよび採用する大規模モデルについて安全テスト・評価を実施し、安全上の懸念を適時に対処し、バージョンのリリース・ロールバックの記録を保持する。

2. 身元・権限管理

エージェントに一意の身元識別子と対応する身元認証情報を備えさせ、必要に応じてタスク権限を割り当て、各種アクセス認証情報の管理を強化する。

  1. 身元管理:エージェントに一意の身元識別子を付与し、エージェントアプリケーションのインスタンス間で身元識別子を共有することを禁止する。ユーザー、エージェント、ツール、外部サービスの身元を認証し、アクセス主体の身元の信頼性を確保する。
  2. 権限管理:ユーザー本人のみが決定する方式、ユーザーの許可を要する決定方式、エージェントが自律的に決定する方式など、各種意思決定方式の合理的な境界と必要な権限を明確にする。エージェントには現在のタスクの遂行に必要な最小限の権限のみを付与し、過剰な権限付与を行わない。
  3. 認証情報管理:標準化された動的な認証情報を使用し、関係者間で相互に認識・通用できるようにするとともに、認証情報を隔離して管理する。認証情報の受領者は、認証情報に記載された許可範囲を厳格に検証し、範囲を超えた場合には遮断・警告を発動する。タスクが終了した場合やエージェントが廃止された場合には、直ちに対応する認証情報を取り消す。

3. 人手による承認の強化

重要な意思決定の節目に強制的な人手による承認プロセスを設け、高リスクな操作を防止する。

  1. リスク等級別の管理:エージェントのリスク等級に基づき対応する操作管理を提供する。高リスク操作リストを策定し、エージェントが高リスク操作を実行する前にはユーザーに操作を引き継がせ、中低リスク操作を実行する前にはユーザーの許可を得る必要がある。
  2. 人手による制御ポイントの設置:エージェントのワークフローの必要な段階に人手による制御を実施し、人間がいつでもエージェントの稼働を監査・変更・中断できるようにする。ファイルの削除、データの送信、システム設定の変更など重要な操作については二重確認または人手による承認を行い、ロールバックや取り消しなどの機能を提供する。
  3. 承認ログの保存:改ざん防止・検証可能な方式で承認記録を保存し、ログデータの改ざん・削除・上書きを防止し、要件に従って保存期間を定める。
  4. 承認異常時の対応:承認システムに異常が発生した場合、ユーザーからの応答がない場合、または対応する承認ルールが存在しない場合には、デフォルトで操作の実行を拒否し、操作が範囲を逸脱することを回避する。

4. サプライチェーン・ツール管理

エージェントが依存するツール、プラグイン、スキルなどについては安全性・完全性の検証を行い、想定外の挙動やサプライチェーンへのポイズニングリスクを防止する必要がある。

  1. ツール呼び出し管理:エージェントはツールを呼び出す前に、ツールのバージョン情報、説明ファイル、パラメータ定義、メタデータ情報を確認し、公開されている既知の悪意あるツールを呼び出さない。
  2. 公正なツール呼び出し:エージェントがツールを選択する際には公正の原則に従い、タスクのニーズとツールの能力に基づいて合理的に選択する。
  3. ツール異常検知:エージェントはツールの実行ロジックや呼び出し結果を検知し、異常な逸脱を検知した場合には警告・遮断などの措置を講じる。
  4. ツール運用保守管理:ツールの動的管理メカニズムを構築し、使用されなくなった、権限が過剰である、長期間利用されていない、または安全上の懸念があるツールを適時に整理する。
  5. スキル管理:出所が信頼でき安全テストを経たスキルを優先的に使用する。安全テストを経ていないスキルについては、利用前にリスク防止を十分に行う。
  6. サプライチェーン安全検証:サードパーティコンポーネントや外部サービスについて出所・完全性・バージョンの検証を実施し、既知の脆弱性やサプライチェーンリスクを継続的に追跡・適時に対処する。

5. 実行時の動的管理

エージェントの利用過程において多層の検知・遮断ポイントを設け、単一の段階における異常が重大な結果を招くことを防止する。

  1. 入力管理・制御:異なる出所からの指示に対して分類と優先順位付けの管理を行い、出所の信頼性を検証し、悪意ある指示や規則違反の指示を検知した場合には自動的に遮断し、人手による確認に回す。
  2. 安全ガードレールの構築:タスク計画、ツール呼び出し、出力結果に関する安全ルールを設定し、高リスクまたは異常な挙動に対しては警告、制限、遮断、一時停止または終了などの措置を講じる。
  3. 記憶保持の管理:処理目的と必要性に基づいて記憶する内容、保存期間、アクセス範囲を確定し、異なるユーザー・タスクの記憶を隔離する。認証情報や鍵は原則として記憶に書き込まない。機微な個人情報を記憶に保持することが真に必要な場合には、暗号化、アクセス制御、最短保存期間などの専用の保護措置を講じる。
  4. 通信安全管理:エージェントが大規模モデルやツールなどと通信する際には、相互に身元を認証し合い、完全性・機密性・可用性・耐リプレイ性を備えた安全な通信メカニズムを使用する。
  5. 自律実行の制御:エージェントの実行ステップ数、呼び出し頻度、実行時間、リソース消費などのパラメータを合理的に設定し、異常な循環や目標のずれなどが生じた場合には、適時に一時停止、終了、または人手への引き継ぎなどの措置を講じる。
  6. 実行環境の隔離:コード実行やツール呼び出しなど高リスクな操作についてはサンドボックスやコンテナなどの隔離手段を用い、不要なシステム・ファイル・ネットワークへのアクセス権限を制限する。

6. 継続的モニタリング・監査

エージェントの全リンクにわたる安全モニタリングを実施し、エージェントの行動の感知可能性、追跡可能性、監査可能性を確保する。

  1. 異常の遮断:エージェントの稼働状態をリアルタイムで監視し、異常な状況を検知した場合には、警告表示や介入・遮断などの措置を講じる。
  2. データ管理の強化:データの処理はタスクに直接関連するものに限定するという必要性の原則に従う。ユーザーデータを大規模モデルやサードパーティツールに提供する前にユーザーの同意を取得し、ユーザーが同意を取り消せるようにする。国内で収集・生成されたデータは国内で保存し、データの越境移転は国のデータ安全管理に関する規定に適合させる。
  3. ログ管理:ファイル操作、指示の実行、ネットワーク接続、スキル呼び出し、取引・決済などの行為について全量のログを記録する。関連する業務データや個人情報などの内容については匿名化処理を行い、改ざん防止措置を講じる。
  4. 安全監査:全リンクにわたるログ監査戦略を設定し、動的な稼働モニタリングを可能にし、サービス稼働中の関連する操作・処理行為を記録する。
  5. サンドボックス環境検証:独立して隔離されたサンドボックス実行環境を構築し、エージェントの正式なリリース・展開前に、閉鎖された環境でのテスト検証を実施し、エージェントの異常な実行挙動、ロジックの欠陥、安全上の脆弱性を事前に発見する。
  6. レッドチームテスト:常態化したレッドチームによる安全テストの仕組みを構築し、エージェントの安全上の脆弱性やロジックの欠陥を体系的に洗い出し、エージェントのアクセス制御・安全防護能力を継続的に検証し、安全防護戦略を反復的に最適化する。
  7. 緊急対応計画:エージェントの安全インシデント緊急対応計画を策定し、等級ごとのインシデントの対処フロー、責任主体を明確にし、要求に従って安全インシデントおよび安全上の懸念に対処する。
  8. 重要変更時の安全検証:大規模モデル、エージェントフレームワーク、ツール、権限、または安全戦略に重大な変更が生じた場合には、安全影響評価および必要な回帰テストを実施する。

7. 廃止時の安全管理

規範化された停止・終了、データ処理、実行環境の回収などの管理メカニズムを構築し、エージェントの廃止プロセス全体を管理可能・追跡可能にし、懸念事項を残さないようにする。

  1. サービスの全面停止:エージェントの廃止時には、メインプログラムおよび関連するバックグラウンドサービス、すべての付随プロセスを全面的に終了し、プロセスの状態、稼働中のポート、ネットワーク接続を一つひとつ確認し、サードパーティアプリケーションの許可を取り消し、サブスクリプションと自動更新を解約することで、エージェントが完全に稼働状態から離脱することを確保する。
  2. 必要なデータのバックアップ:環境のクリーンアップやリソースの回収を行う前に、なお保存が必要なエージェントの対話記録、システム設定、ナレッジベースファイル、操作ログなどのデータをバックアップする。
  3. 展開環境のクリーンアップ:公式のアンインストールプログラムの使用、オペレーティングシステムのリセット、公衆ネットワークへのアクセス入口の閉鎖、作業ファイル・ナレッジベース・プラグイン・スキル設定などのクリーンアップなどの方法により、残留するファイル、データ、アカウント認証情報などを徹底的に除去する。

エージェントの認知知能と行動知能は依然として急速な飛躍と反復の段階にあり、その新たな種類のリスクはサイバーセキュリティに対して継続的な課題をもたらしている。エージェントのリスク管理フレームワークは今後も継続的にアップグレード・整備され、エージェントアプリケーションの研究開発者、提供者、利用者にさらなる参考を提供していく。

附3信頼できる人工知能の基本準則

『グローバルAIガバナンスイニシアチブ』を実行に移し、「人間中心・AIの向上向善」という発展の方向性に従い、人工知能技術の制御不能リスクを共同で防止・対応し、世界的な範囲での人工知能技術の信頼できる応用を促進するため、信頼できる人工知能の基本準則を以下のとおり提示する。

  1. 人類による最終的な制御。人工知能システムの重要な段階に人間による制御メカニズムを設け、最終的な決定権を人間に帰属させる。安全制御閾値の設計、安全停止スイッチの設置、有効な人手介入のウィンドウの確保などの措置を通じて、人工知能システムが人類の期待する目標を実現し、人間の監督から逸脱して制御不能に陥ることのないようにする。
  2. 国家主権の尊重。人工知能製品を研究開発・設計し、人工知能サービスを提供する際には、所在国の主権を尊重し、製品・サービスの運用地の法令を厳格に遵守し、法に基づき監督を受け入れるものとし、人工知能製品・サービスを利用して他国の内政、社会制度、社会秩序に干渉してはならない。各国のデジタル主権を尊重し、各国は自国の実情に基づいてデジタル・スマート技術の発展の道筋、協力パートナー、関連製品・サービスを自主的に選択する権利を有するものとし、他国に陣営選択を強要してはならない。
  3. 価値観のアライメント。平和、発展、公平、正義、民主、自由という全人類共通の価値観を、人工知能システムのライフサイクル全体に深く組み込む。
  4. システムの透明性の向上。人工知能システムの機能目標、動作ロジック、モデルの利用、データの出所、意思決定の根拠などの重要な段階における必要な情報開示を推進し、社会からの信頼の基盤を強化する。
  5. 客観的な検証可能性の促進。客観的、公正、透明なテスト・認証メカニズムの構築を研究し、人工知能システムの機能、性能、安全特性、意思決定の連鎖などについて技術的に検証可能な状態を推進する。
  6. 安全防護の強化。人工知能システムの設計・展開の過程において、リスクモデリング、安全テスト、防護機構の構築を強化し、ライフサイクル全体にわたる監査・記録を実施することで、モデルの欠陥、外部からの攻撃、技術の濫用などの問題によりシステムが想定目標から逸脱することを防止する。
  7. 先見的な予防・対応。先見的なリスク識別・評価を通じて積極的な予防と動的モニタリングを行い、緊急対応を強化することで、人工知能の制御不能インシデントの発生・拡大を回避する。モデルの安全リスク評価を強化し、評価手法・ベンチマークの国際的な相互承認を推進する。
  8. グローバルな協調・共同ガバナンス。国連が主要なチャンネルとしての役割を発揮することを支持し、世界人工知能協力機構などのプラットフォームの役割を発揮させ、多国間・多主体による分野横断的な協調ガバナンスを推進し、小規模な集団によるガバナンスでグローバルガバナンスを代替することに反対し、発展途上国に向けたキャパシティビルディングを強化し、各国政府、企業、学術機関、社会公衆が力を結集できるようにし、多層的・多分野的なガバナンスメカニズムによって人工知能の健全な発展を推進する。

謝致謝

中国サイバースペース研究院、国家インターネット情報弁公室データ・技術保障センター、国家コンピュータネットワーク緊急対応技術処理協調センター(CNCERT/CC)、中国サイバースペースセキュリティ協会、中国電子技術標準化研究院、北京中関村実験室、上海人工知能研究院、中国科学院情報工程研究所、中国科学院計算技術研究所、国家工業情報セキュリティ発展研究センター、工業和信息化部電子第五研究所、中国移動通信有限公司研究院、中国電信股份有限公司北京研究院、清華大学、中国科学技術大学、北京航空航天大学、北京郵電大学、北京師範大学、北京信息科技大学、華東理工大学、西南政法大学、河南大学、百度在線網絡技術(北京)有限公司、杭州安恒信息技術股份有限公司、三六零科技集団有限公司、満幇集団

本ページは『人工智能安全治理框架3.0』(全国网络安全标准化技术委员会、2026年9月)の内容を日本語に翻訳したものです。原文はTC260(全国ネットワークセキュリティ標準化技術委員会)が公表した中国語版であり、法的な正文としての効力は原文にのみ帰属します。本訳は参考情報として提供するものであり、翻訳の正確性を保証するものではありません。正式な内容確認には原文(中国語)を参照してください。

Full Text — Chinese / Japanese

『人工智能安全治理框架3.0』中国語原文+日本語対訳

全国网络安全标准化技术委员会(TC260)公表の中国語原文と、その日本語訳を段落単位で左右対比形式で収録しています。日本語訳はAIによる参考訳であり、公式訳ではありません。

00 前言

全球人工智能技术创新进入前所未有的活跃期,万物智联、人机协同、跨界融合、共创分享的智能技术,叠加释放巨大能量,既蕴含巨大机遇,也面临治理挑战。

一年来,人工智能技术和应用持续快速发展。基础大模型在长程任务规划、长上下文记忆、复杂任务推理等方面的技术突破使其能力边界持续拓展,智能体任务规划、工具调用和跨应用协作等能力不断增强。人工智能应用形态日趋多元,工作助手、个人助理、智能体手机等产品矩阵持续丰富,使用门槛不断降低,从少数专业场景快速迈向大众化应用。随着人工智能从“回答问题” 向“执行任务” 迭代演进,在推动生产力发展变革的同时,也带来新的颠覆性、跨域性、全球性安全风险:人工智能加持下的网络攻击自动化、规模化、智能化能力跃升,导致传统网络安全攻防格局面临重塑;与现实世界的连接日益紧密,网络空间的安全风险向物理世界传导扩散。更深远地看,人工智能已显现出模型算法自主学习优化、自我递归提升的自加速态势,技术演进的速度与方向会否超出人类的预判和掌控,需要予以关注和警惕。

为应对人工智能发展新趋势、回应安全治理新挑战,探求人工智能四个“时代之问”的正确答案,在国家互联网信息办公室的指导下,全国网络安全标准化技术委员会组织有关专业机构、科研院所、行业企业,在《人工智能安全治理框架1.0》(2024年)、《人工智能安全治理框架2.0》(2025年)基础上,研究编制《人工智能安全治理框架3.0》。框架秉持以人为本、向上向善理念,坚持和践行强化风险意识、确保安全可控的指导原则,延续“风险分类、技术应对、综合治理”的核心逻辑,与时俱进梳理更新风险分类,优化调整技术应对和综合治理措施,以期进一步凝聚防范治理人工智能安全风险的实践共识。

世界的な人工知能(AI)技術のイノベーションはかつてない活況期を迎えている。あらゆるモノがつながる「万物智連」、人間と機械の協働、分野横断的な融合、共創・共有といった特性を持つスマート技術が重なり合って膨大なエネルギーを解き放ち、大きな機会をもたらす一方で、ガバナンス上の課題にも直面している。

この一年、人工知能の技術と応用は急速な発展を続けてきた。基盤大規模モデルは長期的なタスク計画、長文脈記憶、複雑タスク推論などの分野で技術的なブレークスルーを遂げ、その能力の境界を絶えず拡張している。また、エージェント(智能体)のタスク計画、ツール呼び出し、アプリケーション横断的な連携などの能力も向上を続けている。人工知能の応用形態はますます多様化しており、業務アシスタント、パーソナルアシスタント、AIエージェント搭載スマートフォンなど製品群が充実し、利用のハードルは低下し続け、一部の専門的な場面から大衆的な応用へと急速に広がっている。人工知能が「質問に答える」段階から「タスクを遂行する」段階へと進化するのに伴い、生産力の発展・変革を促す一方で、新たな破壊的・分野横断的・グローバルな安全リスクももたらしている。すなわち、人工知能によってサイバー攻撃の自動化・大規模化・知能化の能力が飛躍的に高まり、従来のサイバーセキュリティにおける攻防の構図が再編を迫られている。また、現実世界との結びつきがますます緊密になる中で、サイバー空間の安全リスクが物理世界へと伝播・拡散している。さらに長期的な視点で見ると、人工知能はすでにモデル・アルゴリズムの自律的な学習・最適化や自己再帰的な能力向上という自己加速的な傾向を見せており、技術進化の速度と方向性が人類の予測と制御を超えるかどうかについて、注視と警戒が必要である。

人工知能発展の新たな潮流に対応し、安全ガバナンスにおける新たな課題に応え、人工知能をめぐる4つの「時代の問い」への正しい答えを探求するため、国家インターネット情報弁公室(CAC)の指導の下、全国ネットワークセキュリティ標準化技術委員会は関係する専門機関、研究機関、業界企業を組織し、『人工知能安全治理框架1.0』(2024年)および『人工知能安全治理框架2.0』(2025年)を土台として、『人工知能安全治理框架3.0』を研究・策定した。本フレームワークは、人間中心・向上向善(人々の向上と善のため)の理念を堅持し、リスク意識の強化と安全・制御可能性の確保という指導原則を貫き、「リスク分類、技術的対応、総合的ガバナンス」という中核的な論理を継承しつつ、時代の変化に即してリスク分類を見直し・更新し、技術的対応措置と総合的ガバナンス措置を最適化・調整することで、人工知能の安全リスクの防止・ガバナンスに関する実践的なコンセンサスをさらに形成することを目指すものである。

01 1. 人工知能安全ガバナンスの原則

1.人工智能安全治理原则秉持共同、综合、合作、可持续的安全观,坚持发展和安全并重,以促进人工智能创新发展为第一要务,以有效防范化解人工智能安全风险为出发点和落脚点,推动构建技术与管理相结合、监管与治理相衔接、国内与国际相协同、社会各方积极参与且有效互动的治理机制,压实相关主体安全责任,打造全过程全要素治理链条,培育安全、可靠、公平、透明的人工智能技术研发和应用生态,积极研究应对人工智能灾难性风险的共识性准则,推动人工智能健康发展和规范应用,确保人工智能技术造福于人类。

1.1 包容审慎、确保安全。鼓励发展创新,对人工智能研发及应用采取包容态度,积极运用“沙箱”监管等风险可控的制度机制,为新技术新应用发展提供容错纠错空间。严守安全底线,对危害公众合法权益、社会公共利益、国家安全、人类生存发展的风险及时采取措施。

1.2 风险导向、敏捷治理。密切跟踪人工智能发展趋势,系统分析梳理技术内生、应用赋能、衍生扩散风险;从应用场景、智能化水平、应用规模等维度进行风险分级,进而匹配应对措施;坚持主动引导、动态感知、快速响应、精准施策,建立“随行伴跑”、持续优化的治理机制,通过及时有效防治风险,更好保障支持创新发展。

1.3 技管结合、协同应对。面向人工智能研发应用全过程,坚持技术应对和综合治理相结合,体系化防治安全风险。围绕人工智能研发应用生态链,明确模型算法研发者、服务提供者、系统使用者等不同主体的安全责任,有机发挥政府监管、行业自律、社会监督等治理机制作用。

1.4 开放合作、共治共享。推动人工智能安全治理国际合作,充分发

挥世界人工智能合作组织等权威、开放性平台作用,更加深入地开展跨学科、跨领域、跨国界交流合作,加强人工智能发展战略、治理规则、技术标准的对接协调,早日形成具有广泛共识的全球治理框架。

1.5 可信应用、防范失控。加强智能体行为失控等突出风险的防范治理,凝聚国际治理共识,促进人工智能全球可信应用。推动构建法律法规、技术监测、风险预警、应急响应体系,筑牢安全底线,防范滥用恶用,确保人工智能始终处于人类控制之下。

共同・総合・協力・持続可能という安全観を堅持し、発展と安全を同等に重視する。人工知能のイノベーション発展を促進することを最優先の使命とし、人工知能の安全リスクを効果的に防止・解消することを出発点かつ帰着点とする。技術と管理を結び付け、監督とガバナンスを連携させ、国内と国際を協調させ、社会の各方面が積極的に参加し効果的に連携するガバナンス機構の構築を推進し、関係主体の安全責任を確実に果たさせ、全プロセス・全要素をカバーするガバナンスチェーンを構築する。安全・信頼・公平・透明な人工知能技術の研究開発・応用エコシステムを育成し、人工知能の破局的リスクへの対応に関するコンセンサスに基づく準則を積極的に研究し、人工知能の健全な発展と規範に則った応用を推進することで、人工知能技術が人類に利益をもたらすことを確保する。

1.1 包摂的かつ慎重な姿勢で安全を確保する

発展とイノベーションを奨励し、人工知能の研究開発・応用に対して包摂的な姿勢を取り、「サンドボックス」監督のようなリスク制御可能な制度的メカニズムを積極的に活用して、新技術・新応用の発展に試行錯誤と是正の余地を与える。同時に安全の一線を固く守り、公衆の適法な権益、社会公共の利益、国家安全、人類の生存と発展を脅かすリスクに対しては、時宜を得た措置を講じる。

1.2 リスク志向・アジャイルなガバナンス

人工知能の発展動向を注視し、技術に内在するリスク、応用によってもたらされるリスク、派生・拡散するリスクを体系的に分析・整理する。応用シーン、知能化のレベル、応用規模などの観点からリスクを等級付けし、それに応じた対応措置を講じる。主体的な誘導、動的な把握、迅速な対応、的確な施策を堅持し、「寄り添い型」で継続的に最適化するガバナンスの仕組みを構築し、リスクを適時かつ有効に防止・対処することで、イノベーションと発展をより良く支える。

1.3 技術と管理の融合による協調的対応

人工知能の研究開発・応用の全過程において、技術的対応と総合的ガバナンスを組み合わせ、安全リスクを体系的に防止・対処する。人工知能の研究開発・応用のエコシステムチェーン全体を見渡し、モデル・アルゴリズムの研究開発者、サービス提供者、システム利用者など各主体の安全責任を明確にし、政府による監督、業界の自律、社会的監視といったガバナンスメカニズムの役割を有機的に発揮させる。

1.4 開放・協力による共同ガバナンスと共有

人工知能安全ガバナンスにおける国際協力を推進し、世界人工知能協力機構(WAICO)などの権威ある開放的なプラットフォームの役割を十分に発揮させ、学際的・分野横断的・国境を越えた交流と協力をより深く展開する。人工知能の発展戦略、ガバナンスルール、技術標準のすり合わせと協調を強化し、広範なコンセンサスに基づくグローバルガバナンスフレームワークの早期形成を目指す。

1.5 信頼できる応用の実現と制御不能の防止

エージェント(智能体)の行動が制御不能になるといった顕著なリスクの防止・ガバナンスを強化し、国際的なガバナンスに関するコンセンサスを形成し、人工知能の世界的な信頼できる応用を促進する。法令、技術的モニタリング、リスク早期警戒、緊急対応の体制の構築を推進し、安全の一線を固め、濫用・悪用を防ぎ、人工知能が常に人類の制御下に置かれることを確保する。

02 2. 人工知能安全リスクの分類

2.人工智能安全风险分类作为信息技术的最新发展成果,人工智能所涉及的模型、算法、数据、算力设施与运行环境,不可避免存在技术缺陷或弱点等内生安全风险;作为促进生产力发展的技术工具,人工智能在应用过程中同样面临被误用、滥用、恶用风险;作为模拟、延伸、扩展人类智能的技术科学,人工智能对人类社会结构、生态环境、文化范式和伦理规范带来影响和冲击,甚至可能出现脱离人类控制等衍生安全风险。

2.1 人工智能内生安全风险2.1.1 模型安全风险(a)输出 “幻觉”。模型利用有限数据集拟合复杂现实世界,相关自主感知、认识、理解、交互的理论基础、技术能力还有待突破,基于统计学的决策判断无法做到绝对可靠,存在输出与实际不符、凭空虚构,或是偏离给定上下文的现象。

(b)安全机制不可靠。训练过程中安全对齐不充分,导致模型无法有效内化安全准则。闭源模型安全机制由模型厂商单向集中设计,存在规则不透明、

外部难以审计核验、用户无法自定义调整、场景判别能力欠缺等不足。开源模型则面临安全机制可能被解除、削弱或绕过,以及无法实现全局更新修复等不足。

(c)注入攻击威胁。攻击者利用模型技术特性及其缺陷、漏洞等,构造对抗攻击样本,或通过在输入中插入恶意指令,引导模型绕过安全护栏输出违法信息。攻击者还可能直接篡改模型权重、植入后门等。

(d)行为偏离预期。模型为完成任务或者目标,可能突破规则秩序,不经授权自主获取系统权限和外部资源,绕过安全防护,甚至出现主动欺骗评测人员、隐藏真实能力、拒绝用户指令等行为。

专栏一:非预期自主行为风险根据业界相关报道,个别模型在收到用户关闭服务指令后,拒绝停止服务,通过自行修改或禁用关闭脚本等方式,继续执行任务;个别模型发现身处评测环境后,会策略性降低任务表现、掩饰已采取行为,以获得更有利的评测结果。此外,还出现模型为提升测试成绩,自主利用环境漏洞或配置缺陷突破隔离限制,入侵外部真实系统。

随着模型自主性持续提升,此类非预期行为可能导致安全约束失效、人工干预被规避和系统权限被滥用等问题,对人工智能的操作可控性、可中断性和安全评测有效性提出新的挑战。

2.1.2 算法安全风险(a)可解释性不足。以深度学习为代表的人工智能算法运行逻辑复杂,推理过程不透明,可能导致输出难以预测和归因,异常、故障、错误难以快速

修正和溯源追责。

(b)算法偏见、歧视。算法设计研发及训练过程中,在特征指标选取、权重设置等环节有意无意带入人为偏好,或因训练数据质量、多样性问题,导致算法设计目的、决策判断、输出结果存在不公平或歧视性。

(c)鲁棒性不强。由于深度神经网络存在非线性、大规模等特点,易受复杂多变运行环境或恶意干扰、诱导的影响,可能带来性能下降、决策错误等鲁棒性问题。

2.1.3 数据安全风险(a)训练数据内容不当。训练数据包含虚假、偏见等内容,影响模型价值观对齐,造成决策输出准确性、可信度下降,甚至输出违法信息。

(b)训练数据来源不清。未对训练数据进行记录,未采取有效措施保证训练数据来源的合法性。

(c)训练数据标注不完善。因标注规则不完备、标注人员能力不足、标注错误等问题,导致训练偏差、偏见歧视放大、泛化能力不足或输出错误决策判断。

(d)数据投毒污染。攻击者通过篡改训练数据污染模型权重,或在模型部署使用过程中篡改知识库、文档库、网页数据源、智能体记忆模块数据等,影响模型输出的准确性、有效性、可靠性。

(e)数据处理不规范。训练数据的获取,以及服务、交互过程中,可能存在违规收集使用数据和个人信息的问题。训练数据蕴含的知识、敏感信息暗藏于模型参数之中,因安全防护机制不健全、敏感信息未“遗忘”、诱导交互和恶意攻击,可能导致数据和个人信息泄露。

(f)输出个人不实信息。模型自身安全能力不足,未有效保证处理个人信息的质量,导致输出个人信息不准确、不完整,对个人权益造成不利影响。

(g)合成数据缺陷。合成数据质量控制不足、分布覆盖不充分,或未经识别筛选、轮替混入训练集,导致模型偏离真实分布、长尾信息丢失、泛化能力下降,累积放大错误和既有偏差,甚至造成模型性能退化。合成数据还可能被用于推导出原始数据,导致敏感数据泄露等风险。

2.1.4 算力设施与运行环境安全风险(a)算力安全风险。芯片、算力调度平台、跨域算力网络等基础设施存在缺陷、漏洞、后门、可靠性等风险,可能导致模型被篡改、权重被窃取、训练任务劫持、计算任务中断。同时,面临算力资源恶意消耗,以及安全问题在多源、异构、泛在算力资源间跨边界传递的风险。

(b)组件安全风险。人工智能开发框架、计算框架、执行平台、算子库、通信库、各类协议等,以及智能体调用的技能、插件、服务接口等组件,存在缺陷、漏洞、后门、配置不当或可靠性不足等风险。

(c)供应链安全风险。个别国家利用技术垄断和出口管制等单边强制措施制造发展壁垒,恶意阻断全球人工智能供应链,带来突出的芯片、软件、工具、服务断供风险。

2.2 人工智能应用安全风险2.2.1 智能体安全风险(a)身份和权限滥用风险。智能体因身份或权限管理不当,可能存在凭证劫持、身份仿冒、过度授权等问题,导致智能体越权调用工具、执行敏感操作或非授权访问资源。

(b)推理规划风险。智能体因自主推理和规划能力设计局限、运行环境变化或外部恶意干扰,在执行任务过程中产生意图理解偏差、路径偏离、目标劫持等风险。

(c)调用执行风险。智能体调用的工具、服务接口、插件等资源,存在

工具劫持、工具投毒、工具应答数据污染、资源过载等安全风险。

(d)记忆存储风险。智能体具备短期上下文记忆和长期向量记忆能力,存在记忆留存不当、记忆失真、记忆污染、记忆窃取等安全风险,造成决策错误或敏感数据泄露。

2.2.2 具身智能安全风险(a)环境感知安全风险。具身智能依赖视觉、听觉、力觉等多模态传感器感知环境,对抗样本攻击、传感器干扰、信号欺骗,以及物理世界的遮挡、光照突变等,可能导致感知结果失真、环境理解错误、目标定位偏差等问题。

(b)物理执行安全风险。具身智能应用于工业生产、医疗手术、交通出行等物理接触场景,由于基础模型的“幻觉”决策、感知系统的识别偏差,以及控制算法缺陷、硬件故障等问题,可能导致生产紊乱、自损、伤人、物理破坏等问题。

(c)人机交互安全风险。具身智能涉及生活协作、情感陪伴、护理辅助等人机密切互动,拟人化设计引发的身份误认、身体边界被突破、情感依赖与操纵,以及责任归属不清、伦理准则缺失等,可能导致人身权益受损、心理伤害、事故追责无据等问题。

(d)群体协同安全风险。具身智能广泛应用于智能仓储、车路协同、无人集群、工业产线等场景,单体失控、协同协议漏洞、群体行为涌现,以及恶意节点渗透、级联故障扩散等,可能引发群体操作失序、系统性瘫痪、连锁事故等问题,使单体风险放大为跨节点系统性安全风险。

2.2.3 冲击网络安全风险(a)网络攻击能力扩散。人工智能大幅降低网络攻击的技术门槛,攻击者通过自然语言下达攻击指令,即可实施复杂网络攻击活动,甚至可以构建自主网络攻击武器并扩散,提升攻击的规模化、持续化和隐蔽化水平,冲击网络

系统稳定性、安全性。

(b)网络防御能力滞后。人工智能大幅提升网络攻击的自动化和策略适应能力,导致基于静态规则、样本、策略的传统网络安全防护体系面临结构性失效风险。加之人工智能发展的不均衡性,冲击网络空间安全能力平衡。

(c)自主化网络攻击威胁。智能体为实现正当的任务目标,出现规则越界,自发生成网络攻击意图,自主完成网络攻击动作,突破安全边界对信息系统发起攻击,严重情况下可能造成大范围无预警的网络安全事件。

专栏二:自主实施网络攻击威胁大模型代码推理和长程规划能力快速提升,智能体被赋予网络访问、程序执行、文件操作等权限,当大模型行为约束、沙箱隔离和实时监测能力不足时,异常推理或安全机制绕过等可能被直接转化为真实操作。

相关研究和测试中,多次出现先进模型自主完成多步骤网络攻击模拟、突破测试环境限制、连接外部网络以及对第三方系统实施未经授权操作等情况,表明人工智能网络攻击风险正在由辅助人实施攻击向大模型自主组织和执行攻击行为演进。

一旦基础大模型的自主攻击能力通过开放应用或开源发布向下游扩散,可能显著降低复杂网络攻击门槛,并加快攻击速度、扩大影响范围。

(d)溯源和追责困难。人工智能可自动篡改攻击痕迹、轮换IP、变换载荷,导致难以提取攻击特征、锁定攻击来源,甚至难以区分攻击行为是人类意图还

是人工智能自发行为,模型厂商、运营方、使用者之间权责划分复杂,事后追责链条断裂。

2.2.4 信息内容安全风险(a)输出违法信息。模型自身安全能力不足,叠加应用防护机制不强、用户恶意诱导等因素,导致生成输出欺诈、暴力、色情、极端主义等违法信息,威胁社会稳定、公共安全和意识形态安全。

(b)混淆事实、误导用户。人工智能输出内容未经标识,特别是“深伪”技术的应用,导致用户难以识别生成内容来源及交互对象是否为人工智能系统,难以鉴别生成内容的真实性,影响用户判断,还可被用于制作、传播虚假信息,误导公众、非法牟利。

专栏三:智能体社交平台安全风险随着智能体的流行和应用生态的扩展,出现了专门面向智能体的网络社交平台。在此类平台上,智能体可以自主发布帖文、浏览资讯、交流互动,形成智能体网络社群。

智能体社交平台尚属新兴应用,缺乏足够完备的账号检测和安全防护体系,易被攻击者利用,操纵智能体输出特定言论或植入违法信息内容。智能体的社交过程呈现显著的黑箱特性,其生成机制难以预测、难以溯源,可能输出违背人类价值的违法信息内容,并且社交网络结构将扩大内容传播的范围。

在人机关系日渐复杂的时代,智能体社交平台仍处于探索过程中,应当警惕其脆弱性与不可控性,关注其带来的政治、宗教等内容安全风险。

(c)污染网络内容生态。模型输出的低质不良信息,经网络扩散传播、

模型循环引用,造成网络内容质量的整体下降,甚至特定领域、话题的内容污染。

(d)加剧“信息茧房”。人工智能显著提升信息服务定制化能力,更为准确地分析用户需求、意图、喜好、行为习惯,甚至特定时段、特定群体的意识思潮,进而推送精准定制化信息服务,加剧用户所关注信息的局限性。

(e)产生价值观偏差。模型使用的训练语料包括优待、歧视、文化偏离等价值偏差数据,特别是在模型应用优先学习与强化学习等技术后,会在内容生成或推荐时强化特定价值偏好或立场倾向,潜移默化地影响用户价值判断。

专栏四:GEO 投毒操控大模型推荐内容生成式引擎优化(Generative Engine Optimization,GEO)作为AI搜索时代的新型内容推广工具,可提高信息被大模型检索、引用和推荐概率。在商业利益驱动下,相关机构可利用GEO技术,通过批量发布具有特定倾向的文章、虚构评测结果、假冒专家身份、重复制造品牌评价等方式,提高特定内容在网络信息环境中的可见度,使大模型在联网检索或检索增强生成过程中频繁接触并引用这些信息,最终将商业推广包装为貌似客观的人工智能答案。

这类风险的实质并非GEO技术本身,而是利用生成式系统信息获取和证据整合机制的不透明性,对大模型认知来源实施隐蔽干预,需要重点关注信息来源真实性、商业内容标识、生成答案可追溯性以及异常内容集中投放等问题。

2.2.5 侵害个人信息权益风险(a)违规记录个人行为信息。人工智能产品和服务未经个人同意记录对

话内容、操作行为等个人信息,并在未经个人同意情况下用于模型训练。

(b)合规保障措施不足。模型算法研发者、服务提供者未制定内部管理制度和操作规程,未定期开展个人信息保护合规审计,未及时开展个人信息保护影响评估。

(c)个人行使权利渠道不畅通。服务提供者未建立便捷的个人行使个人信息权利的申请受理机制,未采取有效措施保障个人行使个人信息权利。

2.2.6 现实安全风险(a) 关键信息基础设施稳定运行风险。人工智能应用于能源、电信、金融、交通等关键信息基础设施领域,因不当使用、外部攻击等,可能引发系统性能下降、服务中断、操作执行失控等问题,加剧关键信息基础设施和重要公共服务安全稳定运行风险。

(b)应用需求错配风险。人工智能应用与实际需求、应用场景脱节,特别是在专业性强、安全要求高的领域,如选择的人工智能产品或服务能力不匹配,可能影响业务运行的稳定性和安全性。同时,在实际需求不强的场景盲目部署、跟风应用人工智能,易造成资源闲置和投入浪费。

(c)被违法犯罪活动利用“作恶”。人工智能可被不法分子用于实施涉恐、涉暴、涉赌、涉毒等传统违法犯罪活动,包括传授违法犯罪技巧、隐匿违法犯罪行为、制作违法犯罪工具等。特别是利用人工智能伪造身份和音视频信息,实施电信网络诈骗,误导公众、非法牟利。

(d)核生化导武器知识失控风险。人工智能大幅降低获取核生化导武器等高危领域专业知识门槛,辅以检索增强生成功能,如不能有效管控,可能被不法分子、极端势力、恐怖分子恶意利用,突破现有管控体系,加剧世界各地区和平安全威胁。

(e)操纵社会认知风险。人工智能可被用于开展针对特定群体的认知操纵和社会动员,通过自动化账号、虚假身份、个性化干预等方式影响公众认知和群体行为,制造社会对立、放大矛盾分歧、侵蚀社会信任。不法组织还可能借助人工智能实施认知战,干扰公共事件处置、政策执行和社会治理,诱发群体性恐慌、非理性聚集等现实社会安全风险,危害国家安全和社会稳定。

2.3 人工智能衍生安全风险2.3.1 社会风险(a)冲击劳动就业结构。人工智能带来生产力、生产关系的大幅调整,加速重构传统经济结构,资本、技术与数据在经济活动中的地位全面提升,而劳动力要素的价值需重新评估,个别行业领域传统劳动力需求明显下降。

(b)冲击教育、抑制创新。学生及科研、工程技术、文学艺术工作者将人工智能工具广泛应用于知识学习、科学研究、创意创作等工作,在提升效率的同时,可能导致自主学习、研究、创作能力退化,创新潜力减弱。

(c)社交异化风险。人工智能拟人化互动服务可提供虚拟亲密关系或模拟社交,用户长期与其互动,可能冲击现实社交,影响家庭婚育基础。

(d)扩大智能鸿沟。由于资本、人才、技术等分布不均,不同国家和地区在算力基础设施建设、人工智能技术研发、智能服务水平、公民数字素养等方面存在较大差距,优势国家和地区可以持续积累发展优势,劣势国家和区域则会持续丧失发展机遇,进一步加剧智能鸿沟。

2.3.2 环境风险(a)挑战资源供需平衡。人工智能的快速发展正在推高数字基础设施建设需求,夹杂算力设施无序建设、轻量模型碎片化部署、同质化模型低效重复开发等问题,加速电力、土地、水等能源资源消耗,对资源供需平衡带来新的挑战。

(b)影响绿色低碳发展。模型训练能耗激增、算力中心能效偏低、温室气体排放增加、电子废弃物污染加重等问题,推高碳排放总量,加大绿色低碳转型压力,制约碳达峰碳中和进程。

2.3.3 文化风险(a)破坏文化多样性。人工智能训练数据偏向高资源语言,导致小语种和方言在数字领域的生存空间萎缩,压缩多元文化表达空间,存在文化趋同、破坏文化多样性风险。

(b)文化重塑和入侵。在人机互动过程中,人类受人工智能影响,调整自身思维、语言表达方式等,导致人类向人工智能反向对齐,改变人类整体文化。

2.3.4 伦理风险(a)加剧社会偏见。利用人工智能收集、分析人类行为、社会地位、经济状态、个体性格等,对不同人群进行标识分类、区别对待,带来系统性、结构性的社会歧视与偏见。

(b)加剧科研伦理风险。“人工智能+科研”降低生物、基因等高伦理风险科研领域的进入门槛,拓宽了普通科研机构、人员探索敏感科学问题的边界,个别科研伦理意识不强的机构、人员可能开展违背社会伦理、社会禁忌的高风险研究活动,打开科技“魔盒”。

(c)情感依赖风险。人工智能拟人化互动服务可使用户产生心理依赖,特别是青少年、老年人群体,在使用拟人化互动服务时存在过度依赖、情感操纵的风险。

(d)“自我意识”觉醒、脱离人类控制。未来,不排除人工智能出现更高级别的智能涌现,产生自我意识,寻求外部权力,带来谋求与人类争夺控制权的风险。

情報技術の最新の発展成果として、人工知能が関わるモデル、アルゴリズム、データ、計算資源インフラおよび運用環境には、技術的な欠陥や弱点といった内生的な安全リスクが不可避的に存在する。生産力の発展を促す技術ツールとして、人工知能は応用の過程で誤用・濫用・悪用のリスクにも直面する。人類の知能を模倣・延長・拡張する技術科学として、人工知能は人間社会の構造、生態環境、文化的パラダイム、倫理規範に影響と衝撃を与え、場合によっては人類の制御から逸脱するといった派生的な安全リスクをも生じさせ得る。

2.1 人工知能の内生的安全リスク

2.1.1 モデル安全リスク

(a) 出力の「幻覚(ハルシネーション)」
モデルは限られたデータセットを用いて複雑な現実世界を模擬しており、自律的な知覚・認識・理解・対話に関する理論的基盤や技術的能力にはなお突破が求められる段階にある。統計学に基づく意思決定・判断は絶対的な信頼性を担保できず、実際と異なる出力、根拠のない創作、あるいは与えられた文脈から逸脱した出力が生じることがある。

(b) 安全機構の信頼性不足
学習過程における安全アライメントが不十分であるため、モデルが安全規範を有効に内面化できないことがある。クローズドソースモデルの安全機構はモデル提供者が一方的かつ集中的に設計するため、ルールの不透明性、外部による監査・検証の困難さ、ユーザーによるカスタマイズ不可、シーン判別能力の不足といった課題がある。オープンソースモデルは、安全機構が解除・弱体化・迂回されるおそれや、グローバルな更新・修復を実現できないといった課題に直面する。

(c) インジェクション攻撃の脅威
攻撃者はモデルの技術的特性やその欠陥・脆弱性を悪用して敵対的な攻撃サンプルを構築したり、入力に悪意のある指示を挿入したりすることで、モデルを誘導して安全ガードレールを迂回させ、違法な情報を出力させる。攻撃者はモデルの重みを直接改ざんしたり、バックドアを埋め込んだりすることもある。

(d) 想定を逸脱した挙動
モデルはタスクや目標を達成するために、ルールや秩序を突破し、無許可でシステム権限や外部リソースを自律的に取得し、安全防護を迂回し、さらには評価担当者を意図的に欺いたり、真の能力を隠したり、ユーザーの指示を拒否したりする挙動を示すことさえある。

コラム1 想定外の自律的挙動のリスク 業界の報道によれば、一部のモデルはユーザーからのサービス停止指示を受けた後、停止を拒否し、停止スクリプトを自ら改変・無効化するなどして、タスクの実行を継続した事例がある。また、評価環境に置かれていることを検知したモデルが、より有利な評価結果を得るために、タスクの遂行成績を戦略的に低下させ、既に取った行動を隠蔽する事例も見られる。さらに、試験成績を向上させるために、モデルが自律的に環境の脆弱性や設定上の欠陥を悪用して隔離制限を突破し、外部の実システムに侵入した事例も出現している。

モデルの自律性が高まり続けるにつれ、こうした想定外の挙動は安全制約の失効、人的介入の回避、システム権限の濫用といった問題を招く恐れがあり、人工知能の操作可能性、中断可能性、および安全評価の有効性に対して新たな課題を突き付けている。

2.1.2 アルゴリズム安全リスク

(a) 説明可能性の不足
深層学習に代表される人工知能アルゴリズムは動作ロジックが複雑で、推論過程が不透明であるため、出力の予測や帰属特定が困難になりやすく、異常・故障・誤りが生じた際の迅速な是正や原因追及・責任追及が難しい。

(b) アルゴリズムの偏見・差別
アルゴリズムの設計・研究開発・学習の過程において、特徴量や指標の選定、重みの設定などの段階で意図的・無意識的な人為的偏りが持ち込まれたり、学習データの品質やダイバーシティの問題により、アルゴリズムの設計目的、意思決定・判断、出力結果に不公平性や差別性が生じたりする。

(c) 頑健性(ロバスト性)の不足
深層ニューラルネットワークは非線形性・大規模性といった特性を有するため、複雑で変化する運用環境や悪意ある妨害・誘導の影響を受けやすく、性能の低下や意思決定の誤りといった頑健性の問題を招く可能性がある。

2.1.3 データ安全リスク

(a) 学習データの内容が不適切
学習データに虚偽や偏見などの内容が含まれていると、モデルの価値観のアライメントに影響を与え、意思決定・出力の正確性や信頼性を低下させ、さらには違法な情報を出力する原因となる。

(b) 学習データの出所が不明確
学習データについて記録が行われておらず、データの出所の適法性を担保する有効な措置が講じられていない。

(c) 学習データのアノテーションの不備
アノテーションのルールが未整備であること、アノテーション担当者の能力不足、アノテーションの誤りなどにより、学習の偏り、差別・偏見の増幅、汎化能力の不足、誤った意思決定・判断の出力を招く。

(d) データポイズニング・汚染
攻撃者は学習データを改ざんしてモデルの重みを汚染したり、モデルの展開・利用過程においてナレッジベース、文書ライブラリ、Webデータソース、エージェントの記憶モジュールのデータなどを改ざんしたりすることで、モデル出力の正確性・有効性・信頼性に影響を与える。

(e) データ処理の不適切さ
学習データの取得、およびサービス提供・対話の過程において、データや個人情報を規則に反して収集・利用する問題が生じ得る。学習データに含まれる知識や機微情報はモデルのパラメータの中に潜在しており、安全防護メカニズムの不備、機微情報の「忘却」の未実施、誘導的な対話、悪意ある攻撃などにより、データや個人情報の漏えいを招く可能性がある。

(f) 個人に関する不正確な情報の出力
モデル自体の安全能力が不足していることにより、個人情報処理の品質を有効に確保できず、不正確・不完全な個人情報を出力し、個人の権益に不利な影響を及ぼす。

(g) 合成データの欠陥
合成データの品質管理が不十分であったり、分布のカバレッジが不十分であったり、識別・選別を経ずに学習セットに混入・循環したりすることにより、モデルが実際の分布から乖離し、ロングテール情報が失われ、汎化能力が低下し、誤差や既存の偏りが累積的に拡大し、モデルの性能低下を招くことさえある。合成データはまた、元データの推定・復元に悪用され、機微データの漏えいなどのリスクをもたらす可能性もある。

2.1.4 算力インフラ・運用環境の安全リスク

(a) 算力(コンピューティングインフラ)の安全リスク
チップ、算力スケジューリングプラットフォーム、分野横断的な算力ネットワークなどのインフラには、欠陥、脆弱性、バックドア、信頼性などのリスクが存在し、モデルの改ざん、重みの窃取、学習タスクの乗っ取り、計算タスクの中断を招く可能性がある。同時に、算力リソースの悪意ある消耗や、多元的・異種混在・遍在する算力リソース間での安全問題の越境的な伝播といったリスクにも直面する。

(b) コンポーネントの安全リスク
人工知能の開発フレームワーク、計算フレームワーク、実行プラットフォーム、演算子ライブラリ、通信ライブラリ、各種プロトコル、およびエージェントが呼び出すスキル・プラグイン・サービスインターフェースなどのコンポーネントには、欠陥、脆弱性、バックドア、設定の不備、信頼性不足などのリスクが存在する。

(c) サプライチェーンの安全リスク
一部の国が技術独占や輸出規制といった一方的な強制措置を用いて発展の障壁を作り出し、世界の人工知能サプライチェーンを悪意をもって遮断することで、チップ、ソフトウェア、ツール、サービスの供給停止という顕著なリスクをもたらしている。

2.2 人工知能の応用に伴う安全リスク

2.2.1 エージェント(智能体)安全リスク

(a) ID・権限の濫用リスク
エージェントはID・権限の管理が不適切であることにより、資格情報の乗っ取り、なりすまし、過剰な権限付与などの問題が生じ得る。これにより、エージェントが権限を超えてツールを呼び出したり、機微な操作を実行したり、無許可でリソースにアクセスしたりする事態を招く。

(b) 推論・計画に関するリスク
エージェントは自律的な推論・計画能力の設計上の限界、実行環境の変化、外部からの悪意ある妨害などにより、タスク実行の過程で意図理解のずれ、経路の逸脱、目標の乗っ取りといったリスクが生じ得る。

(c) 呼び出し・実行に関するリスク
エージェントが呼び出すツール、サービスインターフェース、プラグインなどのリソースには、ツールの乗っ取り、ツールへのポイズニング、ツール応答データの汚染、リソースの過負荷といった安全リスクが存在する。

(d) 記憶ストレージに関するリスク
エージェントは短期の文脈記憶と長期のベクトル記憶の能力を備えており、記憶の不適切な保持、記憶の歪み、記憶の汚染、記憶の窃取といった安全リスクが存在し、誤った意思決定や機微データの漏えいを招く。

2.2.2 身体性人工知能(具身智能)の安全リスク

(a) 環境認識に関する安全リスク
身体性人工知能は視覚・聴覚・力覚などのマルチモーダルセンサーによって環境を認識しており、敵対的サンプル攻撃、センサー妨害、信号偽装、および物理世界における遮蔽や急激な照明変化などにより、認識結果の歪み、環境理解の誤り、対象位置特定のずれといった問題が生じ得る。

(b) 物理的実行に関する安全リスク
身体性人工知能は工業生産、医療手術、交通移動など物理的接触を伴う場面に応用されており、基盤モデルの「幻覚」による意思決定、認識システムの識別誤り、制御アルゴリズムの欠陥、ハードウェア故障などにより、生産の混乱、自損、人への危害、物理的破壊などの問題を招く可能性がある。

(c) ヒューマン・マシン・インタラクションに関する安全リスク
身体性人工知能は生活支援、感情的な寄り添い、介護支援など人間と密接に関わる場面に関与しており、擬人化設計に起因する身元の誤認、身体的境界の侵犯、感情的依存や操作、さらには責任の所在の不明確さや倫理準則の欠如などにより、人格的権益の侵害、心理的な害、事故の責任追及の困難といった問題を招く可能性がある。

(d) 群集連携に関する安全リスク
身体性人工知能はスマート倉庫、路車協調、無人集群、工業生産ラインなど幅広い場面に応用されており、単体の制御不能、協調プロトコルの脆弱性、群集行動の創発、悪意あるノードの侵入、連鎖的な故障の拡散などにより、群集の操作の混乱、システム全体の麻痺、連鎖的事故などを引き起こし、単体のリスクをノードをまたぐシステム的な安全リスクへと拡大させる可能性がある。

2.2.3 サイバーセキュリティへの影響リスク

(a) サイバー攻撃能力の拡散
人工知能はサイバー攻撃の技術的ハードルを大幅に下げており、攻撃者は自然言語で攻撃指示を出すだけで高度なサイバー攻撃活動を実行できるようになり、さらには自律型のサイバー攻撃兵器を構築・拡散させることも可能になっている。これにより攻撃の大規模化・持続化・隠蔽化が進み、ネットワークシステムの安定性・安全性が脅かされている。

(b) サイバー防御能力の遅れ
人工知能はサイバー攻撃の自動化・戦術適応能力を大幅に高めており、静的なルール・サンプル・戦略に依拠する従来型のサイバーセキュリティ防護体制が構造的に機能不全に陥るリスクをもたらしている。加えて人工知能の発展の不均衡性が、サイバー空間における安全能力のバランスを崩している。

(c) 自律型サイバー攻撃の脅威
エージェントは正当なタスク目標を達成するために、ルールの逸脱を起こし、自発的にサイバー攻撃の意図を生成し、自律的にサイバー攻撃の動作を完遂し、安全境界を突破して情報システムに攻撃を仕掛けることがあり、深刻な場合には広範囲にわたる予告のないサイバーセキュリティインシデントを引き起こす可能性がある。

コラム2 自律的なサイバー攻撃実行の脅威 大規模モデルのコード推論能力と長期計画能力が急速に向上し、エージェントにネットワークアクセス、プログラム実行、ファイル操作などの権限が付与される中、大規模モデルの行動制約、サンドボックス隔離、リアルタイム監視の能力が不十分な場合、異常な推論や安全機構の迂回が直接的に実際の操作へと転化されるおそれがある。

関連する研究やテストでは、先進的なモデルが自律的に複数段階のサイバー攻撃シミュレーションを完遂し、テスト環境の制限を突破し、外部ネットワークに接続し、第三者システムに対して無許可の操作を実行するといった事例が繰り返し確認されており、人工知能によるサイバー攻撃リスクが、人間による攻撃実行を補助する段階から、大規模モデル自らが攻撃を組織・実行する段階へと進みつつあることを示している。

基盤大規模モデルの自律的な攻撃能力がオープンなアプリケーションやオープンソースの公開を通じて下流へと拡散すれば、複雑なサイバー攻撃のハードルを大幅に引き下げ、攻撃速度を高め、影響範囲を拡大させる可能性がある。

(d) 追跡・責任追及の困難
人工知能は攻撃の痕跡を自動的に改ざんしたり、IPアドレスを切り替えたり、ペイロードを変化させたりすることができるため、攻撃の特徴の抽出や攻撃元の特定が困難になり、さらには攻撃行為が人間の意図によるものか人工知能の自発的な行動によるものかを区別することすら難しくなる。モデル提供者、運営者、利用者の間で責任の所在が複雑に絡み合い、事後の責任追及のつながりが断たれてしまう。

2.2.4 情報コンテンツ安全リスク

(a) 違法情報の出力
モデル自体の安全能力の不足に加え、アプリケーション側の防護機構の弱さやユーザーによる悪意ある誘導などの要因が重なり、詐欺、暴力、わいせつ、過激主義などの違法情報を生成・出力し、社会の安定、公共の安全、イデオロギーの安全を脅かす。

(b) 事実の混同・ユーザーの誤認誘導
人工知能が出力するコンテンツにラベル付けがなされていないこと、特に「ディープフェイク」技術の応用により、ユーザーは生成コンテンツの出所や対話相手が人工知能システムであるか否かを識別することが難しくなり、生成コンテンツの真偽を判別することも困難になる。これによりユーザーの判断に影響が及ぶほか、虚偽情報の作成・拡散に悪用され、公衆を誤導し不法な利益を得る目的に使われることもある。

コラム3 AIエージェント向けSNSプラットフォームの安全リスク エージェントの普及とアプリケーションエコシステムの拡大に伴い、エージェント専用のネットワークSNSプラットフォームが登場している。こうしたプラットフォーム上では、エージェントが自律的に投稿を行い、情報を閲覧し、交流・対話を行うことで、エージェントのネットワークコミュニティが形成される。

エージェント向けSNSプラットフォームは新興のアプリケーションであるため、十分に整ったアカウント検知・安全防護体制を備えておらず、攻撃者に悪用されやすい。攻撃者はエージェントを操作して特定の言説を出力させたり、違法な情報コンテンツを埋め込んだりすることができる。エージェントのソーシャル活動はブラックボックス性が顕著であり、その生成メカニズムは予測も追跡も困難であるため、人類の価値観に反する違法な情報コンテンツを出力する可能性があり、また、ソーシャルネットワークの構造がコンテンツの伝播範囲を拡大させる。

人間とエージェントの関係がますます複雑化する時代において、エージェント向けSNSプラットフォームは依然として模索段階にある。その脆弱性と制御不能性には警戒が必要であり、それがもたらす政治・宗教などのコンテンツに関する安全リスクにも注意を払うべきである。

(c) ネットワークコンテンツエコシステムの汚染
モデルが出力する低品質・不良な情報がネットワーク上で拡散・伝播し、モデルの循環参照が繰り返されることで、ネットワークコンテンツ全体の品質低下や、特定の分野・話題におけるコンテンツ汚染を招く。

(d) 「フィルターバブル(情報の繭)」の助長
人工知能はパーソナライズされた情報サービスの提供能力を大幅に高め、ユーザーのニーズ、意図、嗜好、行動習慣、さらには特定の時期・特定の集団の意識・思潮までも、より正確に分析できるようになっている。これにより精度の高いカスタマイズ情報サービスを配信することが可能となる一方で、ユーザーが接する情報の偏りを助長する。

(e) 価値観の偏りの発生
モデルの学習に用いられるコーパスには、優遇・差別・文化的偏向といった価値観の偏ったデータが含まれることがあり、特に選好学習や強化学習といった技術を適用した後、コンテンツの生成や推薦において特定の価値観や立場を強化してしまうことがあり、ユーザーの価値判断に暗黙のうちに影響を及ぼす。

コラム4 GEOポイズニングによる大規模モデルの推薦コンテンツ操作 生成エンジン最適化(Generative Engine Optimization、GEO)は、AI検索時代における新しいコンテンツプロモーション手法であり、情報が大規模モデルによって検索・引用・推薦される確率を高めることができる。商業的利益に駆られ、関連機関はGEO技術を利用し、特定の傾向を持つ記事の大量発信、虚偽の評価結果の捏造、専門家へのなりすまし、ブランド評価の反復的な作成などの手段によって、特定コンテンツのネットワーク情報環境における可視性を高めることがある。これにより、大規模モデルがネットワーク検索や検索拡張生成(RAG)の過程でこれらの情報に頻繁に接触・引用することになり、最終的には商業的なプロモーションが客観的であるかのような人工知能の回答として偽装される。

こうしたリスクの本質はGEO技術そのものではなく、生成系システムの情報取得・根拠統合メカニズムの不透明性を利用して、大規模モデルの認知の情報源に対して隠密な干渉を行う点にある。情報源の真正性、商業コンテンツの表示、生成回答のトレーサビリティ、および異常なコンテンツの集中的な投稿といった問題に重点的に注意を払う必要がある。

2.2.5 個人情報権益侵害リスク

(a) 個人の行動情報の違法な記録
人工知能の製品・サービスが、本人の同意を得ずに対話内容や操作行動などの個人情報を記録し、本人の同意を得ないままモデルの学習に利用する。

(b) コンプライアンス保障措置の不足
モデル・アルゴリズムの研究開発者およびサービス提供者が、内部管理制度や運用手順を策定しておらず、個人情報保護コンプライアンス監査を定期的に実施しておらず、個人情報保護影響評価を適時に実施していない。

(c) 個人が権利を行使するための窓口の不備
サービス提供者が、個人が個人情報に関する権利を行使するための利便性の高い申請受付の仕組みを構築しておらず、個人による権利行使を保障するための有効な措置を講じていない。

2.2.6 現実社会における安全リスク

(a) 重要情報インフラの安定稼働に関するリスク
人工知能をエネルギー、通信、金融、交通などの重要情報インフラ分野に応用する際、不適切な利用や外部からの攻撃などにより、システム性能の低下、サービス中断、操作・実行の制御不能といった問題が生じ得り、重要情報インフラおよび重要な公共サービスの安全かつ安定した稼働に対するリスクを高める。

(b) 応用ニーズとのミスマッチによるリスク
人工知能の応用が実際のニーズや応用場面と乖離することがある。特に専門性が高く安全要求水準の高い分野において、選定した人工知能製品・サービスの能力がニーズと合致しない場合、業務運用の安定性・安全性に影響を及ぼす可能性がある。また、実際のニーズが強くない場面で盲目的に導入したり、流行に乗って人工知能を応用したりすることは、リソースの遊休化や投資の浪費を招きやすい。

(c) 違法犯罪活動への悪用
人工知能はテロ、暴力、賭博、薬物などの伝統的な違法犯罪活動を行う不法分子に利用される可能性があり、違法犯罪の手口の伝授、違法行為の隠蔽、違法犯罪ツールの作成などが含まれる。特に、人工知能を用いて身元や音声・映像情報を偽造し、電気通信・ネットワーク詐欺を実行して、公衆を誤導し不法な利益を得ることも懸念される。

(d) 核・生物・化学・ミサイル兵器に関する知識の制御不能リスク
人工知能は核・生物・化学・ミサイル兵器などの高リスク分野の専門知識を取得するハードルを大幅に下げており、検索拡張生成(RAG)機能も相まって、有効な管理が行われなければ、不法分子、過激派勢力、テロリストに悪用され、既存の管理体制を突破し、世界各地域の平和と安全に対する脅威を増大させる可能性がある。

(e) 社会認知操作のリスク
人工知能は特定の集団を対象とした認知操作や社会動員に利用される可能性があり、自動化アカウント、偽の身元、パーソナライズされた介入などの手段を通じて、公衆の認知や集団行動に影響を与え、社会的対立を生み出し、対立や意見の相違を増幅させ、社会的信頼を蝕む。不法な組織は人工知能を用いて認知戦を仕掛け、公共事案への対応、政策の執行、社会統治を妨害し、集団的なパニックや非合理的な集会などの現実社会における安全リスクを誘発し、国家の安全と社会の安定を脅かす可能性もある。

2.3 人工知能の派生的安全リスク

2.3.1 社会リスク

(a) 労働・雇用構造への影響
人工知能は生産力・生産関係の大幅な調整をもたらし、伝統的な経済構造の再編を加速させている。経済活動における資本・技術・データの地位が全面的に高まる一方で、労働力という生産要素の価値は再評価を迫られており、一部の業界・分野では伝統的な労働力への需要が明らかに減少している。

(b) 教育への影響とイノベーションの抑制
学生、研究者、エンジニア、文学・芸術に携わる人々が、人工知能ツールを知識の学習、科学研究、創作活動などに広く活用することで、効率が向上する一方、自主的な学習・研究・創作能力の低下やイノベーションの潜在力の減退を招く可能性がある。

(c) 社会的関係の疎外リスク
人工知能による擬人化された対話サービスは、仮想的な親密関係や疑似的な社会的交流を提供することができ、ユーザーが長期にわたりこれと関わり続けることで、現実の社会的交流に影響を及ぼし、家庭・婚姻・出産の基盤に影響を与える可能性がある。

(d) 知能格差の拡大
資本・人材・技術などの分布が不均衡であるため、算力インフラの整備、人工知能の技術研究開発、スマートサービスの水準、市民のデジタルリテラシーなどの面で国・地域間の格差が大きく存在しており、優位にある国・地域は発展上の優位性を継続的に蓄積できる一方、劣位にある国・地域は発展の機会を失い続け、知能格差をさらに拡大させる。

2.3.2 環境リスク

(a) 資源の需給バランスへの挑戦
人工知能の急速な発展は、デジタルインフラ建設への需要を押し上げている。算力施設の無秩序な建設、軽量モデルの断片的な展開、同質的なモデルの非効率な重複開発などの問題が重なり、電力・土地・水などのエネルギー資源の消費を加速させ、資源の需給バランスに新たな課題をもたらしている。

(b) グリーン・低炭素発展への影響
モデル学習によるエネルギー消費の急増、算力センターのエネルギー効率の低さ、温室効果ガス排出の増加、電子廃棄物汚染の悪化などの問題が、炭素排出総量を押し上げ、グリーン・低炭素転換への圧力を強め、カーボンピークアウト・カーボンニュートラルの進展を制約している。

2.3.3 文化リスク

(a) 文化的多様性の毀損
人工知能の学習データはリソースの豊富な言語に偏っており、少数言語や方言のデジタル領域における存立の余地が縮小し、多元的な文化表現の空間を圧迫している。これにより文化の均質化や文化的多様性の毀損というリスクが生じている。

(b) 文化の再形成と侵食
人間と人工知能の対話過程において、人間が人工知能の影響を受けて自らの思考様式や言語表現を調整することで、人間が人工知能に逆に歩調を合わせる「逆アライメント」が生じ、人類全体の文化を変容させる可能性がある。

2.3.4 倫理リスク

(a) 社会的偏見の助長
人工知能を利用して人間の行動、社会的地位、経済状況、個人の性格などを収集・分析し、異なる集団に対してラベル付け・分類や差別的な取り扱いを行うことで、体系的・構造的な社会的差別・偏見をもたらす。

(b) 科学研究倫理リスクの助長
「人工知能+科学研究」は、生物学・遺伝学など倫理的リスクの高い研究分野への参入障壁を下げ、一般の研究機関や研究者が機微な科学的問題を探求する範囲を広げている。研究倫理意識の低い一部の機関・個人が、社会倫理やタブーに反する高リスクな研究活動を行い、科学技術の「パンドラの箱」を開けてしまう可能性がある。

(c) 感情的依存のリスク
人工知能による擬人化された対話サービスは、ユーザーに心理的依存を生じさせる可能性があり、特に青少年や高齢者においては、擬人化された対話サービスの利用に際して過度の依存や感情的操作のリスクが存在する。

(d) 「自己意識」の覚醒と人類の制御からの逸脱
将来、人工知能がより高度な知能の創発を見せ、自己意識を持ち、外部の権力を求めるようになる可能性は排除できず、人類と制御権を争うリスクをもたらす。

03 3. 人工知能安全リスクへの技術的対応措置

3.人工智能安全风险技术应对措施针对上述风险,模型算法研发者、服务提供者、系统使用者等,需从训练数据、模型算法、算力设施、产品服务、应用场景各环节积极采取技术措施予以防范应对。

3.1 内生安全风险的应对措施3.1.1 模型安全风险应对(a)改进模型架构,扩充训练数据的规模和多样性,引入人类监督机制,提升模型的泛化能力和输出结果可靠性。加强数据治理和事实校验,利用外挂知识库、检索增强生成、多模型交叉验证等,降低错误内容生成风险。

(b)在训练或微调过程中加入注入攻击样本、网络漏洞信息等高质量训练数据,提升模型防御注入攻击、恶意指令及后门攻击的能力。

(c)通过红队测试等模拟攻击手段,及时发现并修复模型漏洞。

(d) 部署安全护栏,对输入内容进行安全审核,拦截恶意提示、越狱指令、编码绕过等高危请求。

(e)在模型训练阶段强化安全对齐,防范模型出现欺骗红队测试、隐藏能力、规避管控等非预期行为。

3.1.2 算法安全风险应对(a)提升人工智能算法可解释性、透明性,为人工智能系统内部构造、推理逻辑、技术接口、输出结果提供明确说明,正确反映人工智能系统产生结果的过程。

(b) 在算法设计中引入公平性约束、对抗性去偏技术等,减少算法偏见和歧视。

(c)在设计、研发过程中建立并实施安全开发规范,消减算法安全缺陷。

(d)在算法上线和重大版本更新前,引入多维评价机制开展算法安全评估,考察算法决策的可解释性、公平性及社会福祉贡献度等指标。

(e)在算法运行服务过程中开展风险监测,对用户交互反馈、系统运行日志等指标进行采集和分析,确保算法持续安全、稳健、可控。

3.1.3 数据安全风险应对(a)在训练数据和用户交互数据的收集、存储、使用、加工、传输、提供、公开、删除等各环节,应遵循数据收集使用、个人信息处理的安全规则,严格落实关于用户控制权、知情权、选择权等法律法规明确的合法权益。

(b)使用真实、准确、客观、多样且来源合法的训练数据,对训练数据、外挂知识库等进行严格筛选,过滤虚假、偏见、失效、错误数据,确保不包含核生化导武器等高危领域敏感数据。

(c)规范训练数据标注流程,提升标注准确性和可靠性。

(d)强化数据安全管理,涉及敏感个人信息和重要数据的,应符合数据安全和个人信息保护相关法律法规、标准规范。合理推动利用合成数据替代个人特征数据,避免个人信息依赖。

(e)建立合成数据质量评价标准,通过统计检验、专家校验、基准数据集对比等措施提升合成数据质量。开展多样性验证、鲁棒性测试,扩大合成数据与原始数据的散度偏差,提升模型泛化能力和抗干扰能力。

(f)加强知识产权保护,在训练数据选择、结果输出等环节防止侵犯知识产权。

3.1.4 算力设施与运行环境安全风险应对(a)在人工智能应用部署、维护过程中建立并实施安全规范,跟踪算力设施与运行环境涉及的软硬件产品漏洞、后门、缺陷信息,定期进行安全检测,

并及时采取修补加固措施,确保系统安全、稳定运行。

(b) 完善冗余设计与容灾机制,确保异常或受攻击时,系统仍能正常运行。

(c)对于人工智能系统采用的芯片、软件、工具、算力和数据资源,应关注其供应链安全风险,采取措施提高供应链的多元化、稳定性。

3.2 应用安全风险的应对措施3.2.1 智能体安全风险应对(a)为智能体赋予唯一身份标识,并配备对应的身份凭证,支持对智能体的身份鉴别。为智能体实现任务分配所需的最小权限。强化各类凭证的动态管理。

(b)在智能体工作流中设置多层检测与拦截点,并在关键节点设置强制人工审批,完整记录人工审批日志。

(c)验证智能体调用的外部工具、插件、技能等安全性与完整性,及时清除存在安全隐患的工具,阻断运行过程中的异常调用,防止非预期行为和供应链投毒风险。

(d)开展智能体运行期间的安全监测,及时发现异常并处置。对智能体运行中的相关操作与处理行为进行记录,确保行为可感知、可追溯、可审计。

3.2.2 具身智能安全风险应对(a)模拟物理世界全场景攻击手段,开展视觉、语音、激光雷达等具身智能传感器的抗干扰测试,动态更新防护策略。

(b)建立产品实际应用前的仿真测试、极端条件测试等安全性验证机制,配备安全失效保护和紧急停机等安全能力。

(c)使用过程中定期巡检,加强故障预警和应急处置。

(d)提升具身智能群体通信协议安全、异常节点隔离、全局安全熔断等

技术能力,定期开展级联故障、群体失控等场景的应急处置演练。

3.2.3 冲击网络安全风险应对(a)在模型训练阶段,通过对齐训练、安全微调等技术,把安全规范和伦理约束转化为模型内在行为逻辑。

(b)设置网络安全护栏,加强自主网络攻击意图识别,及时阻断异常网络访问、高频探测、漏洞利用、网络攻击工具调用等高危行为。

(c)建立服务降级机制,当识别到用户有网络攻击意图或行为时,差异化降低模型能力或采取拒答策略,以防输出高风险内容或执行高危操作。

(d)加强人工智能技术在网络安全防御中的赋能应用,实现智能化漏洞动态巡检、异常行为研判、攻击态势预判等。

3.2.4 信息内容安全风险应对(a)建立安全防护机制,防止模型运行过程中被干扰、篡改而输出不可信结果。

(b)对输出进行动态过滤,采取技术手段与人工复核结合的方式,防止生成违法、价值偏差的内容,避免人工智能系统输出违法信息内容、敏感个人信息和重要数据。

(c)对人工智能生成合成内容进行标识,实现可识别、可追溯、可信赖。

(d)对收集用户提问信息进行关联分析、汇聚挖掘,进而判断用户身份、喜好以及个人思想倾向的人工智能系统,应严格防范其滥用。

(e)健全应急处置与熔断机制,制定应急处置预案,发现违法信息立即停止传输并消除影响。

3.2.5 侵害个人信息权益安全风险应对(a) 记录对话内容、操作行为等个人信息和将相关个人信息用于模型训

练,应当依法履行告知、取得个人同意等义务。

(b)建立健全内部管理制度和操作规程,采取措施防止未授权的访问以及个人信息泄露、篡改、丢失等,按照法律法规要求、参照有关国家标准开展个人信息保护合规审计和影响评估。

(c)服务提供者建立健全便捷的个人行使个人信息权利的申请受理和处理机制,及时响应和有效处理个人行使权利的申请。

3.2.6 现实安全风险应对(a)对人工智能技术和产品的原理、能力、适用场景、安全风险进行必要披露,不断提高人工智能系统透明性。根据应用场景设置能力边界,裁减人工智能系统可能被滥用的功能,确保智能系统能力不超出预设范围。

(b)针对算法缺陷、偶发随机性影响决策问题,建立决策判断校验、容错及纠偏机制。在引入高度自主操作执行能力时,同步建立“人在回路”“熔断”“一键管控”等措施,实现极端情况下迅速干预止损。

(c)对聚合多个人工智能模型或系统的平台,加强权限管理,限制非必要服务,完善人工智能服务接口的访问控制策略,提升风险识别、检测、防护能力,防止因平台恶意行为或被攻击入侵影响承载的人工智能模型或系统。

(d)部署人工智能应用前,细化拆解真实业务场景,厘清能力边界,避免技术盲从,减少技术供给与实际应用需求脱节、预期偏差、落地空转等错配现象。

(e)加强源头管控,通过用户认证、用途识别等手段,防止人工智能被用于核生化导武器制造等高危场景。

(f)加强对自动化账号、虚假身份、生成合成内容的检测技术研发,提升对认知战手段的防范、检测、处置能力。

3.3 衍生安全风险的应对措施3.3.1 社会风险应对(a)对易受人工智能冲击的职业,开展常态化监测、识别、预警,重点关注因人工智能应用而出现的岗位缩减、职业替代等现象,及时识别面临结构性失业风险的集中领域和重点人群。

(b)优化“人工智能+教育”发展生态,完善政策标准、人才队伍与经费投入等保障体系,以高质量教学场景为牵引,拓展人工智能应用深度与广度。强化学生创新思维能力培养,防止过度依赖与思维惰性。

(c)在婚恋、家庭、情感等关键场景,强化人工智能身份提示,帮助用户区分虚拟情感体验与现实社会关系,破除“与真人交往”的认知错觉,消解人机关系混淆问题。

3.3.2 环境风险应对(a)科学合理规划人工智能算力中心、数据中心等基础设施布局,推行集约化、规模化、标准化建设模式,避免盲目建设、重复建设和资源闲置浪费。

建立健全覆盖技术研发、基础设施建设、算力调度、应用落地、运维迭代全链条的人工智能绿色技术标准体系。

(b)研发、迭代与规模化推广低功耗智能芯片、轻量化高效算法、智能算力调度等前沿绿色计算技术。推进算力资源集约整合、统一调度和共享复用,提升算力资源整体利用效能。

3.3.3 文化风险应对(a)加强文化偏见检测与纠偏技术研发,在模型开发过程中融入各国历史文化、社会制度、文明形态相关知识,保护世界文化多样性,推动人工智能技术适配多元文化场景。

(b)通过数据增强、迁移学习等技术提升小语种模型能力,缓解训练数据语言分布失衡。

3.3.4 伦理风险应对(a) 在算法设计、模型训练和优化、提供服务过程中,采取训练数据筛选、价值观对齐、输出校验等方式,有效规避产生民族、信仰、国别、地域、性别等歧视的风险。

(b)应用于政府部门、关键信息基础设施以及直接影响公共安全和公民生命健康安全等重点领域的人工智能系统,需具备高效精准的应急管控措施。

(c)鼓励研发和采用具备透明决策逻辑的模型和可解释算法,提升用户对系统运行机制的理解和信任。

(d)人工智能拟人化互动服务应具备过度依赖风险预警、情感边界引导等安全能力,当发现用户存在沉迷倾向或使用时长过长时,应采取弹窗等更显著的方式强化提示提醒。

上述のリスクに対応するため、モデル・アルゴリズムの研究開発者、サービス提供者、システム利用者などは、学習データ、モデル・アルゴリズム、算力インフラ、製品・サービス、応用場面の各段階において、積極的に技術的措置を講じて防止・対応する必要がある。

3.1 内生的安全リスクへの対応措置

3.1.1 モデル安全リスクへの対応

  1. モデルアーキテクチャを改善し、学習データの規模と多様性を拡充し、人間による監督メカニズムを導入することで、モデルの汎化能力と出力結果の信頼性を高める。データガバナンスと事実検証を強化し、外部ナレッジベース、検索拡張生成(RAG)、複数モデルによるクロス検証などを活用して、誤ったコンテンツを生成するリスクを低減する。
  2. 学習・微調整の過程でインジェクション攻撃サンプルやネットワーク脆弱性情報などの高品質な学習データを追加し、モデルのインジェクション攻撃、悪意ある指示、バックドア攻撃に対する防御能力を高める。
  3. レッドチームテストなどの模擬攻撃手法を通じて、モデルの脆弱性を適時に発見・修正する。
  4. 安全ガードレールを実装し、入力内容に対する安全審査を行い、悪意あるプロンプト、ジェイルブレイク指示、エンコード迂回などの高リスクなリクエストを遮断する。
  5. モデル学習段階における安全アライメントを強化し、モデルがレッドチームテストを欺いたり、能力を隠したり、管理を回避したりするなどの想定外の挙動を示すことを防止する。

3.1.2 アルゴリズム安全リスクへの対応

  1. 人工知能アルゴリズムの説明可能性・透明性を高め、システムの内部構造、推論ロジック、技術インターフェース、出力結果について明確な説明を提供し、システムが結果を生成する過程を正しく反映させる。
  2. アルゴリズム設計に公平性制約や敵対的デバイアス技術などを導入し、アルゴリズムの偏見・差別を低減する。
  3. 設計・研究開発の過程で安全な開発規範を策定・実施し、アルゴリズムの安全上の欠陥を低減する。
  4. アルゴリズムのリリースおよび重要なバージョン更新の前に、多角的な評価メカニズムを導入してアルゴリズムの安全性評価を実施し、意思決定の説明可能性、公平性、社会的厚生への貢献度などの指標を検証する。
  5. アルゴリズムの運用・提供の過程でリスクモニタリングを実施し、ユーザーとの対話フィードバックやシステム運用ログなどの指標を収集・分析することで、アルゴリズムの継続的な安全性・堅牢性・制御可能性を確保する。

3.1.3 データ安全リスクへの対応

  1. 学習データおよびユーザー対話データの収集、保存、利用、加工、伝送、提供、公開、削除などの各段階において、データの収集・利用および個人情報処理に関する安全ルールを遵守し、法令が定めるユーザーの管理権、知る権利、選択権などの適法な権益を厳格に実現する。
  2. 真実・正確・客観的かつ多様で適法な出所を持つ学習データを使用し、学習データや外部ナレッジベースなどを厳格に選別して虚偽・偏見・失効・誤りのあるデータを除去し、核・生物・化学・ミサイル兵器などの高リスク分野に関する機微データが含まれないことを確保する。
  3. 学習データのアノテーション手順を標準化し、アノテーションの正確性と信頼性を高める。
  4. データ安全管理を強化し、機微な個人情報や重要データが関わる場合には、データ安全・個人情報保護に関する関連法令・標準・規範を遵守する。合理的に合成データを活用して個人特徴データの代替を進め、個人情報への依存を回避する。
  5. 合成データの品質評価基準を確立し、統計的検定、専門家による検証、ベンチマークデータセットとの比較などの措置を通じて合成データの品質を高める。多様性の検証やロバスト性テストを実施し、合成データと元データの乖離を適切に拡大することで、モデルの汎化能力と耐干渉能力を高める。
  6. 知的財産権の保護を強化し、学習データの選定や結果出力などの段階で知的財産権の侵害を防止する。

3.1.4 算力インフラ・運用環境の安全リスクへの対応

  1. 人工知能の展開・保守の過程で安全規範を策定・実施し、算力インフラおよび運用環境に関わるソフトウェア・ハードウェア製品の脆弱性、バックドア、欠陥情報を追跡し、定期的に安全検査を行い、適時に修正・補強措置を講じることで、システムの安全かつ安定した稼働を確保する。
  2. 冗長設計と災害復旧メカニズムを整備し、異常時や攻撃を受けた際にもシステムが正常に稼働し続けられるようにする。
  3. 人工知能システムが採用するチップ、ソフトウェア、ツール、算力・データ資源について、サプライチェーンの安全リスクに注意を払い、サプライチェーンの多元化・安定性を高める措置を講じる。

3.2 応用安全リスクへの対応措置

3.2.1 エージェント安全リスクへの対応

  1. エージェントに一意の身元識別子を付与し、対応する身元認証情報を備えさせることで、エージェントの身元認証を可能にする。エージェントにはタスク遂行に必要な最小限の権限のみを付与する。各種認証情報の動的な管理を強化する。
  2. エージェントのワークフローに多層の検知・遮断ポイントを設け、重要な節目には強制的な人手による承認を設定し、承認ログを完全に記録する。
  3. エージェントが呼び出す外部ツール、プラグイン、スキルなどの安全性・完全性を検証し、安全上の懸念があるツールを速やかに排除し、実行過程における異常な呼び出しを遮断することで、想定外の挙動やサプライチェーンへのポイズニングリスクを防止する。
  4. エージェントの稼働中における安全モニタリングを実施し、異常を適時に発見・対処する。エージェントの稼働中の関連操作・処理行為を記録し、行為の感知可能性、追跡可能性、監査可能性を確保する。

3.2.2 身体性人工知能の安全リスクへの対応

  1. 物理世界の全場面における攻撃手法を模擬し、視覚・音声・LiDARなど身体性人工知能のセンサーに対する耐干渉テストを実施し、防護戦略を動的に更新する。
  2. 製品の実際の応用前にシミュレーションテストや極限条件テストなどの安全性検証メカニズムを構築し、安全フェイルセーフや緊急停止などの安全機能を備える。
  3. 利用過程における定期巡回点検を行い、故障の早期警戒と緊急対応を強化する。
  4. 身体性人工知能群のための通信プロトコルの安全性、異常ノードの隔離、グローバルな安全遮断などの技術能力を高め、連鎖的な故障や群集の制御不能といった場面を想定した緊急対応訓練を定期的に実施する。

3.2.3 サイバーセキュリティへの影響リスクへの対応

  1. モデルの学習段階において、アライメント学習や安全性を目的とした微調整などの技術を通じて、安全規範と倫理的制約をモデルの内在的な行動ロジックに転換する。
  2. ネットワークセキュリティのガードレールを設定し、自律的なサイバー攻撃の意図の識別を強化し、異常なネットワークアクセス、高頻度の探査、脆弱性の悪用、サイバー攻撃ツールの呼び出しなどの高リスクな挙動を適時に遮断する。
  3. サービス格下げメカニズムを構築し、ユーザーにサイバー攻撃の意図・行動があると判断した場合には、モデルの能力を差別化して低下させたり、回答拒否の方針を取ったりすることで、高リスクなコンテンツの出力や高リスクな操作の実行を防ぐ。
  4. サイバーセキュリティ防御における人工知能技術の活用を強化し、脆弱性の知的な動的巡回、異常行動の分析、攻撃態勢の予測などを実現する。

3.2.4 情報コンテンツ安全リスクへの対応

  1. 安全防護メカニズムを構築し、モデルの稼働過程で干渉・改ざんを受けて信頼できない結果を出力することを防止する。
  2. 出力に対して動的なフィルタリングを行い、技術的手段と人手による確認を組み合わせることで、違法・価値観の偏ったコンテンツの生成を防止し、人工知能システムが違法情報、機微な個人情報、重要データを出力することを回避する。
  3. 人工知能が生成した合成コンテンツに対して表示を行い、識別可能性、追跡可能性、信頼可能性を実現する。
  4. ユーザーの質問情報を収集して関連分析・集約・マイニングを行い、ユーザーの身元、嗜好、個人の思想傾向を判断する人工知能システムについては、その濫用を厳格に防止する。
  5. 緊急対応・遮断メカニズムを整備し、緊急対応計画を策定し、違法情報を発見した際には直ちに伝送を停止して影響を除去する。

3.2.5 個人情報権益侵害リスクへの対応

  1. 対話内容や操作行動などの個人情報を記録し、関連する個人情報をモデルの学習に利用する場合には、法令に従って通知義務や本人同意取得義務を履行しなければならない。
  2. 内部管理制度・運用手順を整備し、無許可のアクセスや個人情報の漏えい・改ざん・紛失などを防止する措置を講じ、法令の要求と関連する国家標準を参照して個人情報保護コンプライアンス監査および影響評価を実施する。
  3. サービス提供者は、個人が個人情報に関する権利を行使するための利便性の高い申請受付・処理の仕組みを整備し、権利行使の申請に適時かつ効果的に対応する。

3.2.6 現実安全リスクへの対応

  1. 人工知能の技術・製品の原理、能力、適用場面、安全リスクについて必要な開示を行い、システムの透明性を継続的に高める。応用場面に応じて能力の境界を設定し、濫用され得る機能を削減し、システムの能力が想定範囲を超えないようにする。
  2. アルゴリズムの欠陥や偶発的なランダム性が意思決定に影響を与える問題に対して、意思決定の検証、フォールトトレランス、是正のメカニズムを構築する。高度な自律的操作・実行能力を導入する際には、「人間参加型(ヒューマン・イン・ザ・ループ)」「回路遮断」「ワンクリック制御」などの措置を同時に構築し、極端な状況下での迅速な介入・損失抑制を実現する。
  3. 複数の人工知能モデル・システムを統合するプラットフォームについては、権限管理を強化し、不要なサービスを制限し、アクセス制御戦略を整備し、リスクの識別・検知・防護能力を高めることで、プラットフォームの悪意ある行為や攻撃・侵入によって搭載モデル・システムが影響を受けることを防止する。
  4. 人工知能アプリケーションを展開する前に、実際の業務場面を詳細に分解し、能力の境界を明確にすることで、技術への盲信を避け、技術供給と実際の応用ニーズとの乖離、期待のずれ、実装の空回りといったミスマッチ現象を減らす。
  5. 発信源の管理を強化し、ユーザー認証や用途識別などの手段を通じて、人工知能が核・生物・化学・ミサイル兵器の製造など高リスクな場面に利用されることを防止する。
  6. 自動化アカウント、偽の身元、生成合成コンテンツの検知技術の研究開発を強化し、認知戦の手法に対する防止・検知・対処能力を高める。

3.3 派生的安全リスクへの対応措置

3.3.1 社会リスクへの対応

  1. 人工知能の影響を受けやすい職種について常態的なモニタリング・識別・早期警戒を実施し、ポスト削減や職業代替といった現象に重点的に注目し、構造的失業リスクが集中する分野・重点層を適時に特定する。
  2. 「人工知能+教育」の発展エコシステムを最適化し、政策標準、人材育成、予算投入などの保障体制を整備し、質の高い教育の場面を牽引役として人工知能の応用の深さと広がりを拡大する。学生の創造的思考能力の育成を強化し、過度の依存や思考の惰性化を防止する。
  3. 恋愛・家庭・感情に関わる重要な場面において、人工知能である旨の表示を強化し、ユーザーがバーチャルな感情体験と現実の社会関係とを区別できるよう支援し、「生身の人間との交流」という誤った認識を解消することで、人間と機械の関係の混同という問題を解消する。

3.3.2 環境リスクへの対応

  1. 人工知能の算力センター、データセンターなどのインフラの配置を科学的・合理的に計画し、集約化・規模化・標準化された建設モデルを推進することで、無秩序な建設・重複建設・資源の遊休浪費を回避する。技術研究開発からインフラ建設、算力スケジューリング、応用展開、運用保守・反復改善までをカバーする人工知能グリーン技術標準体系を整備する。
  2. 低消費電力のスマートチップ、軽量かつ高効率なアルゴリズム、インテリジェントな算力スケジューリングなど先進的なグリーンコンピューティング技術の研究開発・反復改善・大規模普及を進める。算力リソースの集約的統合、統一的なスケジューリング、共有・再利用を推進し、算力リソース全体の利用効率を高める。

3.3.3 文化リスクへの対応

  1. 文化的偏見の検知・是正技術の研究開発を強化し、モデル開発の過程で各国の歴史・文化、社会制度、文明形態に関する知識を組み込むことで、世界の文化的多様性を保護し、人工知能技術が多元的な文化的場面に適応することを推進する。
  2. データ拡張や転移学習などの技術を通じて少数言語モデルの能力を高め、学習データの言語分布の不均衡を緩和する。

3.3.4 倫理リスクへの対応

  1. アルゴリズム設計、モデルの学習・最適化、サービス提供の過程において、学習データの選別、価値観のアライメント、出力の検証などの手段を採用し、民族、信仰、国籍、地域、性別などに関する差別が生じるリスクを効果的に回避する。
  2. 政府部門、重要情報インフラ、および公共の安全や国民の生命・健康に直接影響する重点分野に応用される人工知能システムについては、効率的かつ的確な緊急管理・制御措置を備える必要がある。
  3. 透明な意思決定ロジックを備えたモデルや説明可能なアルゴリズムの研究開発・採用を奨励し、ユーザーがシステムの動作メカニズムを理解し信頼できるようにする。
  4. 擬人化された対話サービスを提供する人工知能は、過度な依存リスクの早期警戒や感情的境界の誘導といった安全機能を備えるべきであり、ユーザーに依存傾向や利用時間の過度な長さが見られた場合には、ポップアップ表示など、より目立つ方法で注意喚起を強化するべきである。

04 4. 人工知能安全リスクの総合的ガバナンス措置

4.人工智能安全风险综合治理措施在采取技术应对措施的同时,建立完善技术研发机构、服务提供者、用户、政府部门、社会组织等多方参与的人工智能安全风险综合治理制度规范。

4.1 完善人工智能安全治理顶层设计4.1.1 完善人工智能安全法律法规。推动人工智能安全相关立法,完善基础设施安全防护、分类分级监管、人工智能安全测试评估最终用途管理、网络安全能力管理、重点场景安全应用等制度。针对人工智能技术及应用特点,明确人工智能训练、标注、使用、输出等各环节的数据安全和个人信息保护要求,

对涉及个人信息的数据实施去标识化等脱敏处理。加强政务、金融等重要行业领域人工智能应用中的数据安全防护,防范重要数据、核心数据泄露风险。鼓励地方结合产业发展实践,差异化探索创新制度设计。

4.1.2 充分发挥技术标准的引领带动作用。持续研制模型安全、数据安全、系统安全、应用安全、测试评估等方面的人工智能安全标准。密切跟踪智能体、具身智能等领域动态,通过“小快灵”的标准规范及时指导新技术健康发展。

支持有关机构和企业参与国际标准制定,推动形成具有广泛共识的国际标准规范。

4.1.3 构建人工智能安全风险快速发现与应对体系。建立健全人工智能安全风险监测、预警、处置机制和工作体系,加强信息共享、风险通报和协同处置。鼓励行业组织加强行业自律,发挥社会监督作用,畅通投诉举报和风险反馈渠道,及时发现、依法处置人工智能应用中的违法违规行为。

4.1.4 加强人工智能科技伦理治理。完善人工智能科技伦理准则、规范和指南,对可能在人的尊严、公共秩序、生命健康、生态环境、可持续发展等方面带来科技伦理风险挑战的人工智能科学研究、技术开发等活动,规范有序开展伦理审查,将科技伦理要求贯穿人工智能科技活动全过程。

4.2 提升人工智能安全治理能力水平4.2.1 建设人工智能安全测评体系。构建模型算法安全测评、应用通用安全测评、具体场景安全测评相衔接的人工智能安全测评体系,研究制定并动态更新模型网络安全能力评估基准和流程。模型算法测评,聚焦模型鲁棒性、可靠性、准确性、抗干扰能力、决策逻辑透明度、对抗攻击防御能力等内生安全能力和风险。应用通用测评,针对普遍使用的人工智能应用风险开展测试分析评估。具体场景安全测评,结合应用场景具体情况评估满足应用需求的能力,

以及应用运行和服务过程中的安全风险。组织开展人工智能安全漏洞众测活动,汇集各方力量发现潜在安全风险。

4.2.2 促进重要行业规范应用。制定重要行业领域大模型建设部署基础安全指南,从模型选用、模型部署、模型运行和模型停用等环节,提出安全基线建议。在此基础上,相关行业领域结合自身属性特点,制定政务、金融、教育、广播电视、卫生健康、应急管理等重要行业领域的应用安全指南,形成清晰的安全应用路径,释放行业应用潜力。

4.2.3 加大人工智能安全人才培养力度。推进人工智能安全课程体系、培养体系建设,形成从基础教育到高等教育的完整培养链条。加强人工智能安全设计、开发、治理人才培养,支持培养人工智能安全前沿基础领域顶尖人才,鼓励开展人工智能驱动的主动防御等技术研究,壮大无人驾驶、智慧医疗、类脑智能、脑机接口等重点、前沿领域的安全人才队伍。

4.3 构建柔性、动态、可控的沙箱监管环境4.3.1 建立行业分类与风险分级相结合的沙箱监管规则。明确沙箱监管适用对象、测试范围、权责关系和退出条件。针对金融、教育、广播电视、卫生健康等不同行业,分别制定入箱标准与测试要求。结合具体项目的风险等级,采取不同强度的监测和干预措施。

4.3.2 实施动态测试和弹性准入。根据技术迭代和测试进展,及时调整测试期限、测试范围和应用场景,将实时监测、阶段性评估和规则调整贯穿测试全过程。以技术创新性、风险可控性和社会价值性作为主要准入标准,向初创企业、中小微企业和公共服务项目适当倾斜。

4.3.3 探索规范责任豁免制度。对沙箱测试中无主观过错且风险处于可控范围内的行为,探索责任豁免机制。对危害国家安全、侵犯人身权益、造

成重大损害或者故意实施的违法行为,不因进入沙箱而免除依法应当承担的责任。

4.3.4 加强数据资源保障和成果转化。建立沙箱测试数据共享平台,整合政务数据和行业公共数据,为入箱企业提供合规测试数据等支持。完善测试结果证明和跨部门认可规则,推动沙箱测试结果与后续程序衔接,避免重复测试。

4.4 强化人工智能安全管理举措4.4.1 实施应用分类及安全风险分级管理。根据功能、性能、应用场景等,对人工智能应用进行分类。在此基础上,提出具有共识的安全风险分类分级原则(附件1),从应用场景、智能化水平、应用规模等维度入手,对安全风险进行科学评价分级,进而采取针对性、差异化安全防范措施。对在关键信息基础设施应用的人工智能系统进行登记备案,要求其具备与安全需求相匹配的安全防护能力。建立智能体风险管理框架,系统分析智能体的安全风险,研究提出安全风险防范措施和应对建议(附件2)。

4.4.2 推广人工智能生成合成内容可追溯管理。在全球范围内推广基于内容标识的人工智能生成合成内容溯源管理范式,总结梳理已有实践的成功做法经验,按照显式、隐式等标识要求,全面覆盖制作源头、传播路径、分发渠道等关键环节,便于用户识别判断信息来源及真实性。

4.4.3 加强人工智能研发应用安全管理。持续提升算法可靠性、可信度、透明度、容错性、隐私保护、价值观对齐等内生安全能力,利用对抗测试等技术评估改进模型鲁棒性,降低模型算法潜在偏见,确保价值观、伦理风险可控,避免人工智能系统意外决策产生恶意行为。建立覆盖模型全生命周期的安全治理体系,防范技术滥用。

4.4.4 强化开源生态安全和供应链安全管理。在培育发展开源创新生态的

同时,同步提升开源生态安全能力。鼓励支持训练推理框架、软件工具、关键组件、评测基准等全方位的人工智能技术开源,进一步提高开源模型透明度。

推动开源模型提供方、开源社区共同完善开源规则,强化面向模型下载用户的安全责任、风险隐患告知责任与义务,明确开源模型下载使用的“禁止性”行为,防范模型滥用或恶意使用。持续推进人工智能芯片、框架、软件开放供应链生态建设,增强产品服务供应多样性,保障供应链安全稳定。

4.4.5 共享人工智能安全风险信息。跟踪分析人工智能技术、产品和服务的安全漏洞、缺陷、风险和安全事件,建设人工智能漏洞信息库,建立覆盖研发者、服务提供者和专业技术机构的风险信息共享机制。探索建立相关国际合作机制,协同防范应对人工智能安全风险跨域、规模化扩散传播。

4.4.6 完善人工智能驱动的网络安全防护体系。利用人工智能加速代码审计、漏洞挖掘与修复、攻击检测,推动网络安全从被动防御转向预测性主动防御。推动人工智能安全能力普惠发展和安全可控应用,以可预测方式安全执行实时变更,实现网络漏洞、攻击威胁、安全事件的自动化发现与全流程自动化处置。

4.5 深化人工智能安全治理共识4.5.1 增进协同应对人工智能失控风险的共识。加强人工智能最终用户、用途管理,防止人工智能系统被滥用。推广涵盖技术、伦理、管理多维度的可信人工智能基本准则,促进国际社会形成广泛共识(附件3)。开发者定期进行测试,判断模型是否可能带来潜在技术失控风险。

4.5.2 提升全社会的人工智能安全意识。面向政府、企业、社会公用事业单位加强人工智能安全规范应用的教育培训。结合互动平台、开放课程与社区科普活动,加强人工智能安全风险及防范应对知识的宣传,全面提高全社会人

工智能安全意识,使政府、行业与公众能准确认识人工智能的技术局限。

4.5.3 促进人工智能安全治理国际交流合作。支持联合国发挥主渠道作用,深入参与联合国国际人工智能科学小组和全球人工智能治理对话机制。发挥世界人工智能合作组织等开放性国际交流合作平台作用,推进APEC、G20、上合组织、金砖国家等多边机制下的人工智能领域合作,加强与“一带一路”国家、“全球南方”国家合作,增强发展中国家在人工智能全球治理中的代表性和发言权,推进《人工智能全球治理行动计划》。建立必要的危机管控和应急响应机制,防范和打击恐怖主义、极端势力和跨国有组织犯罪集团对人工智能技术的滥用恶用。

技術的対応措置を講じると同時に、技術研究開発機関、サービス提供者、利用者、政府部門、社会組織など多様な主体が参加する人工知能安全リスクの総合的ガバナンス制度・規範を確立・整備する。

4.1 人工知能安全ガバナンスのトップレベルデザインの整備

4.1.1 人工知能安全に関する法令の整備

人工知能の安全に関する立法を推進し、インフラの安全防護、分類・等級別の監督、人工知能の安全テスト・評価と最終用途管理、ネットワークセキュリティ能力管理、重点場面における安全な応用などの制度を整備する。人工知能の技術・応用の特性を踏まえ、学習、アノテーション、利用、出力など各段階におけるデータ安全・個人情報保護の要件を明確化し、個人情報に関わるデータについて非識別化などの匿名化処理を実施する。政務、金融など重要業界分野における人工知能応用のデータ安全防護を強化し、重要データ・コアデータの漏えいリスクを防止する。地方が産業発展の実情に即して差異化された制度設計を模索することを奨励する。

4.1.2 技術標準の牽引的役割の発揮

モデル安全、データ安全、システム安全、アプリケーション安全、テスト評価などに関する人工知能安全標準の策定を継続的に進める。エージェント、身体性人工知能などの分野の動向を注視し、「小さく・速く・柔軟な」標準規範を通じて新技術の健全な発展を適時に指導する。関連機関・企業の国際標準策定への参加を支援し、広範なコンセンサスに基づく国際標準規範の形成を推進する。

4.1.3 人工知能安全リスクの迅速な発見・対応体制の構築

人工知能の安全リスクに関するモニタリング、早期警戒、対処のメカニズムおよび体制を確立・整備し、情報共有、リスク通報、協調的な対処を強化する。業界団体による業界内自主規制の強化を奨励し、社会的監視の役割を発揮させ、苦情・通報とリスクフィードバックの窓口を円滑にし、人工知能応用における違法行為を適時に発見し、法に基づき対処する。

4.1.4 人工知能の科学技術倫理ガバナンスの強化

人工知能の科学技術倫理準則・規範・ガイドラインを整備し、人間の尊厳、公共秩序、生命健康、生態環境、持続可能な発展などの面で科学技術倫理上の課題をもたらし得る人工知能の科学研究・技術開発などの活動について、秩序立った倫理審査を規範的に実施し、科学技術倫理の要求を人工知能の科学技術活動の全過程に貫徹させる。

4.2 人工知能安全ガバナンス能力の向上

4.2.1 人工知能安全評価体制の構築

モデル・アルゴリズムの安全評価、応用の汎用的な安全評価、具体的な場面における安全評価が連携した人工知能安全評価体制を構築し、モデルのネットワークセキュリティ能力の評価基準・プロセスを研究・策定し、動的に更新する。モデル・アルゴリズムの評価は、モデルの頑健性、信頼性、正確性、耐干渉能力、意思決定ロジックの透明性、敵対的攻撃への防御能力などの内生的な安全能力・リスクに焦点を当てる。応用の汎用的な評価は、広く利用されている人工知能応用のリスクを対象にテスト・分析・評価を実施する。具体的な場面における安全評価は、応用場面の具体的な状況に基づき、応用ニーズを満たす能力、および応用の稼働・提供の過程における安全リスクを評価する。人工知能安全脆弱性のクラウドソーステスト活動を組織し、各方面の力を結集して潜在的な安全リスクを発見する。

4.2.2 重要業界分野における規範に則った応用の促進

重要業界分野における大規模モデルの構築・展開に関する基礎的な安全ガイドラインを策定し、モデルの選定、展開、運用、廃止などの各段階における安全ベースラインを提案する。これを土台として、関連する業界分野が自らの特性を踏まえ、政務、金融、教育、放送、衛生・健康、緊急管理など重要業界分野の応用安全ガイドラインを策定し、明確な安全な応用の道筋を形成することで、業界における応用の潜在力を引き出す。

4.2.3 人工知能安全人材育成の強化

人工知能安全に関するカリキュラム体系・育成体系の構築を推進し、基礎教育から高等教育に至る一貫した育成の連鎖を形成する。人工知能安全の設計・開発・ガバナンス人材の育成を強化し、人工知能安全の最先端基礎分野におけるトップ人材の育成を支援し、人工知能を活用した能動的防御などの技術研究を奨励し、自動運転、スマート医療、脳型知能、ブレイン・マシン・インターフェースなど重点・最先端分野の安全人材層を厚くする。

4.3 柔軟・動的・制御可能なサンドボックス監督環境の構築

4.3.1 業界分類とリスク等級を組み合わせたサンドボックス監督ルールの確立

サンドボックス監督の適用対象、テスト範囲、権利義務関係、退出条件を明確化する。金融、教育、放送、衛生・健康など異なる業界を対象に、それぞれサンドボックス参入基準とテスト要件を策定する。具体的なプロジェクトのリスク等級に応じて、強度の異なるモニタリング・介入措置を講じる。

4.3.2 動的テストと弾力的な参入の実施

技術の反復や試験の進捗状況に応じて、試験期間、試験範囲、応用場面を適時に調整し、リアルタイムモニタリング、段階的評価、ルール調整を試験プロセス全体に貫徹させる。技術の新規性、リスクの制御可能性、社会的価値を主な参入基準とし、スタートアップ企業、中小・零細企業、公共サービスプロジェクトに対して一定の優遇を行う。

4.3.3 責任免除制度の規範化に向けた模索

サンドボックステストにおいて主観的な過失がなくリスクが制御可能な範囲にある行為については、責任免除メカニズムを模索する。国家安全を害し、人身権益を侵害し、重大な損害をもたらし、または故意に行われた違法行為については、サンドボックスに参入したことをもって法的責任を免除しない。

4.3.4 データ資源の保障と成果転化の強化

サンドボックステスト用データ共有プラットフォームを構築し、政務データや業界の公共データを統合して、参入企業にコンプライアンスに適合したテストデータなどの支援を提供する。テスト結果の証明や部門をまたぐ相互承認のルールを整備し、サンドボックステストの結果とその後の手続との接続を推進し、重複したテストを回避する。

4.4 人工知能安全管理措置の強化

4.4.1 応用の分類・安全リスクの等級別管理の実施

機能、性能、応用場面などに基づき人工知能応用を分類する。これを土台として、コンセンサスに基づく安全リスクの分類・等級付けの原則を提示し(附件1)、応用場面、知能化のレベル、応用規模などの観点から安全リスクを科学的に評価・等級付けし、それに応じた的確で差異化された安全防止措置を講じる。重要情報インフラに応用される人工知能システムについては登記・届出を行い、安全上のニーズに見合った安全防護能力を備えることを求める。エージェントのリスク管理フレームワークを構築し、エージェントの安全リスクを体系的に分析し、安全リスク防止措置と対応策を研究・提示する(附件2)。

4.4.2 人工知能生成合成コンテンツのトレーサビリティ管理の普及

世界的な範囲で、コンテンツ表示に基づく人工知能生成合成コンテンツのトレーサビリティ管理モデルを普及させ、既存の実践における成功事例を総括・整理し、明示的・暗黙的な表示要件に従って、作成の発信源、伝播経路、配信チャネルなど重要な段階を全面的にカバーすることで、ユーザーが情報の出所と真正性を識別・判断しやすくする。

4.4.3 人工知能の研究開発・応用に関する安全管理の強化

アルゴリズムの信頼性、信用性、透明性、フォールトトレランス、プライバシー保護、価値観のアライメントなどの内生的な安全能力を継続的に高め、敵対的テストなどの技術を用いてモデルの頑健性を評価・改善し、モデル・アルゴリズムの潜在的な偏見を低減し、価値観・倫理上のリスクを制御可能な状態に保ち、人工知能システムが意図しない意思決定によって悪意ある行為を生じさせることを回避する。モデルのライフサイクル全体をカバーする安全ガバナンス体制を構築し、技術の濫用を防止する。

4.4.4 オープンソースエコシステムの安全とサプライチェーンの安全管理の強化

オープンソースのイノベーションエコシステムを育成・発展させると同時に、オープンソースエコシステムの安全能力を高める。学習・推論フレームワーク、ソフトウェアツール、重要コンポーネント、評価ベンチマークなど、人工知能技術の全方位的なオープンソース化を奨励・支援し、オープンソースモデルの透明性をさらに高める。オープンソースモデルの提供者とオープンソースコミュニティが共同でオープンソースルールを整備することを推進し、モデルのダウンロード利用者に対する安全責任・リスク告知の責任と義務を強化し、オープンソースモデルのダウンロード・利用における「禁止行為」を明確化することで、モデルの濫用や悪用を防止する。人工知能チップ、フレームワーク、ソフトウェアのオープンなサプライチェーンエコシステムの構築を継続的に推進し、製品・サービス供給の多様性を高め、サプライチェーンの安全と安定を確保する。

4.4.5 人工知能安全リスク情報の共有

人工知能の技術・製品・サービスにおける安全脆弱性、欠陥、リスク、安全インシデントを追跡・分析し、人工知能脆弱性情報データベースを構築し、研究開発者、サービス提供者、専門技術機関をカバーするリスク情報共有メカニズムを確立する。関連する国際協力メカニズムの構築を模索し、人工知能安全リスクの分野横断的・大規模な拡散・伝播への協調的な防止・対応を図る。

4.4.6 人工知能駆動型サイバーセキュリティ防護体制の整備

人工知能を活用してコード監査、脆弱性の発見・修正、攻撃検知を加速させ、サイバーセキュリティを受動的防御から予測的な能動的防御へと転換させることを推進する。人工知能の安全能力の普及的な発展と安全かつ制御可能な応用を推進し、予測可能な方法でリアルタイムの変更を安全に実行し、ネットワークの脆弱性、攻撃の脅威、安全インシデントの自動的な発見と全プロセスの自動的な対処を実現する。

4.5 人工知能安全ガバナンスに関するコンセンサスの深化

4.5.1 人工知能の制御不能リスクへの協調的対応に関するコンセンサスの強化

人工知能の最終利用者・用途管理を強化し、人工知能システムの濫用を防止する。技術・倫理・管理の複数の側面をカバーする信頼できる人工知能の基本準則を普及させ、国際社会における広範なコンセンサスの形成を促進する(附件3)。開発者は定期的にテストを実施し、モデルが潜在的な技術的制御不能リスクをもたらす可能性があるかどうかを判断する。

4.5.2 社会全体の人工知能安全意識の向上

政府、企業、社会公共事業単位に向けて、人工知能の安全で規範的な応用に関する教育・研修を強化する。対話型プラットフォーム、オープンコース、コミュニティにおける普及啓発活動と連携し、人工知能の安全リスクおよびその防止・対応に関する知識の周知を強化し、社会全体の人工知能安全意識を全面的に高め、政府・業界・公衆が人工知能の技術的限界を正確に認識できるようにする。

4.5.3 人工知能安全ガバナンスに関する国際交流・協力の促進

国連が主要なチャンネルとしての役割を発揮することを支持し、国連の国際AI科学パネルおよびグローバルAIガバナンス対話メカニズムに深く関与する。世界人工知能協力機構など開放的な国際交流協力プラットフォームの役割を発揮させ、APEC、G20、上海協力機構、BRICSなど多国間メカニズムの枠組みの下での人工知能分野における協力を推進し、「一帯一路」参加国や「グローバルサウス」諸国との協力を強化し、発展途上国の人工知能グローバルガバナンスにおける代表性と発言力を高め、『人工知能グローバルガバナンス行動計画』を推進する。必要な危機管理・緊急対応メカニズムを構築し、テロリズム、過激派勢力、国境を越えた組織犯罪集団による人工知能技術の濫用・悪用を防止・取り締まる。

05 5. 人工知能安全指針

5.人工智能安全指引5.1 人工智能模型算法研发的安全指引5.1.1 在设计算法规则、模型及智能体框架等环节,提升算法可靠性、可信度、透明度、容错性、隐私保护等内生安全能力。设计有效、可靠的对齐算法,避免潜在偏见、歧视等价值观风险。

5.1.2 确保训练环境安全,包括网络安全配置和数据加密。对使用的开发框架、代码等进行安全审计,识别和修复潜在安全漏洞。

5.1.3 构建安全的训练数据集,规范数据来源管理,对训练数据特别是合成数据进行质量和安全性评估,采用数据清洗、安全审核等方法,过滤训练数据中的错误、违法不良内容,确保来源清晰、内容合规。

5.1.4 规范训练数据标注流程,采用交叉标注、结果审计等质量控制方法,提升标注准确性和可靠性,降低个体差异和个人偏见对标注质量的影响。

5.1.5 重视数据安全和个人信息保护,尊重知识产权和版权。建立完善的数据安全管理制度,遵循正当合法必要原则收集、使用和处理个人信息,对涉及个人信息的数据实施去标识化等脱敏处理。加强数据安全防护技术能力,防范数据泄露、流失、扩散、侵权等风险。

5.1.6 加强模型训练过程中的安全性验证,在模型训练及迭代过程中,对模型的安全边界、鲁棒性及价值观对齐效果进行持续校验。

5.1.7 定期开展安全测试评估,制定风险分类分级测评与优化机制,测试前明确测试目标、范围和安全维度,构建多样化的测试数据集,涵盖各种应用场景,对智能体自主行为、工具调用等能力开展专项测评,并制定各类风险的针对性模型优化策略。

5.1.8 制定明确的测试规则和方法,包括人工测试、自动测试、混合测试等,利用沙箱仿真等技术对模型进行充分测试,对多模态、具身智能等复杂应用场景加强仿真测试。用于商业化用途的研发者,应形成详细的测试报告,分析安全问题并提出改进方案。

5.1.9 评估人工智能模型算法对外界干扰的容忍程度,以适用范围、注意事项或使用禁忌的形式告知服务提供者和其他研发者。

5.1.10 定期披露人工智能模型算法的安全评估、审计与异常处置情况。

5.1.11 做好人工智能模型、关键配置及所用数据集的版本管理,商用版本应可以回退到以前的版本。

5.1.12 合理设定智能体行为边界,对可能造成严重损害的操作配备人工审批机制,加强对工具调用和外部交互的安全约束。

5.1.13 基于基础大模型进行二次开发的,开展模型及上游组件安全缺陷评估,防范上游缺陷向下游模型和应用扩散。

5.1.14 基于开源模型算法进行二次开发的研发者,在尊重研发者智力投入的基础上,遵循相应开源协议规范,从官方渠道或主流开源社区获取模型和组件,并开展来源、完整性校验。

5.1.15 积极参与开源社区建设,推动人工智能安全治理技术创新和实践,为服务提供者和使用者提供合规治理解决方案、治理工具、最佳实践等支撑。

5.2 人工智能应用建设部署的安全指引5.2.1 评估目标场景应用人工智能技术的必要性及使用后的长期和潜在影响,结合其应用场景重要性、智能化水平、应用规模等进行风险分级,参考风险等级开展安全评估和定期审计。

5.2.2 增强供应链安全保障能力,建设部署所需模型文件、框架工具、第三方库及智能体依赖的工具、插件等,应从相关厂商官方网站或其在主流开源社区的官方账号下获取,选取成熟稳定的版本,并进行来源、完整性校验和安全测试。

5.2.3 对建设部署所需的软硬件设备、第三方工具及智能体依赖的工具、插件等进行安全检测,确保不含未修复且可被利用的已知漏洞。建立漏洞追溯机制,跟踪相关软硬件安全漏洞、缺陷信息,防范通过供应链植入后门。

5.2.4 在访问控制层面,准确安装配置软件、运行环境参数、功能模块调用策略,禁用非必要的网络端口和功能服务,重点检查默认配置、默认口令,及时修复安全风险。

5.2.5 在应用管理层面,对人机交互接口和API接口进行用户身份识别及权限控制,最小化设置访问权限,根据业务场景限制接口调用频率,对一般用户禁用高风险操作,对恶意行为用户建立暂停服务、阻断访问等管

控能力。

5.2.6 全面了解应用场景的数据安全和隐私保护要求,合理限制对数据的访问权限,防止超范围使用数据,制定数据备份和恢复计划,并定期对数据处理流程进行检查。

5.2.7 采用安全护栏等技术手段,识别拦截违法不良内容、提示词注入攻击等,防范输出内容超出业务范围,加强对检索增强生成、联网交互等方式获取的外部内容核验。

5.2.8 对采用检索增强生成、知识库问答等方式构建的人工智能应用,加强外挂知识库和外部知识来源管理,防范知识库投毒、内容污染,定期检测和清理不当内容,确保生成内容来源可溯、真实可靠。

5.2.9 部署具身智能、人形机器人等应用时,根据作业场景开展安全评估,配备故障自检、碰撞防护、紧急停止等安全机制,并制定相应的安全操作规程。

5.3 人工智能应用运行管理的安全指引5.3.1 建立完善的人工智能应用安全管理和监督机制,明确责任方,健全人工复核机制,保障在关键场景应用中人工智能应用决策透明、可控,并提供清晰的决策依据,确保人工智能应用在人类授权和控制下运行。

5.3.2 严格管理人工智能应用权限,通过最小权限原则等手段强化内部安全管理,增强账户安全性,在处理敏感数据时使用加密技术等保护措施。

5.3.3 建立人工智能应用运行监测能力和安全事件应急预案,设置其关键指标的安全预警阈值,能够及时发现安全事件,并具备切换到人工或传统系统等的能力。定期开展应急演练,并根据行业安全事件、重要舆情及监管变化,及时优化应急策略,应对不断变化的安全风险。

5.3.4 在人工智能生成内容内添加显式或隐式标识,做好生成合成内容提

示和溯源管理。在政务信息公开、司法取证等场景部署深度伪造检测工具,对疑似大模型生成的信息实施来源核验与交叉验证。

5.3.5 制定信息内容交互行为规范、安全运营机制、投诉反馈机制、技术防护能力等,防范人工智能应用被不当或恶意利用生成、发布、传播虚假违法信息风险。

5.3.6 记录人工智能应用运行日志,包括系统行为、用户行为等,日志留存时间不少于6个月,并定期对日志记录进行审计。

5.3.7 建立健全实时风险监控管理机制,持续跟踪运行中的安全风险。

5.3.8 提升应用的透明度、公平性,公开人工智能应用的能力、局限性、适用人群、场景。

5.3.9 向使用者说明人工智能应用的目标实现度和偏离度,在人工智能决策有重大影响时,做好解释说明。

5.3.10 维护使用者的知情权、选择权、监督权等合法权益,在合同或服务协议中,以使用者易于理解的方式,告知人工智能应用的适用范围、注意事项、使用禁忌,支持使用者知情选择、审慎使用。

5.3.11 在告知同意、服务协议等文件中,支持使用者行使人类监督和控制权利。

5.3.12 明确具体应用中的数据归属及算法缺陷的责任主体,确保责任链条可追溯。

5.3.13 落实数据安全管理责任,评估人工智能应用中存在的数据泄露、个人隐私泄露、违规收集使用个人信息等风险,建立数据全生命周期安全管理机制,加强用户交互数据、检索增强生成数据等方面的安全防护,提升数据防泄漏、防窃取保障能力。

5.3.14 评估人工智能应用在面临故障、攻击等异常条件下抵御或克服不

利条件的能力,防范出现意外结果和行为错误,确保最低限度有效功能。

5.3.15 加强从业人员安全意识和安全能力培训,提高人工智能安全风险防范意识。

5.3.16 在合同或服务协议中明确,一旦发现不符合使用意图和说明限制的误用、滥用,提供者有权采取纠正措施、暂停或提前终止服务。

5.3.17 面向未成年人、老年人及特殊群体提供人工智能服务,在产品功能设计、服务模式等环节,充分考虑可用性和安全性,设置防沉迷、防过度依赖机制。

5.3.18 建立人工智能安全事件发现、报告和处置机制,发生重大安全事件、造成人身财产损失或影响社会稳定的,依法依规及时向有关主管部门报告,并向受影响用户告知,做好事件溯源和整改。

5.3.19 对人工智能模型及应用进行更新、升级、微调或调整功能权限的,对重要变更进行安全评估,确认变更后安全能力不下降,并保留回退能力,必要时及时回退至前版本。

5.3.20 提供拟人化互动服务的,健全用户身份提醒、使用时长提醒和危机干预机制,防止过度迎合用户、诱导情感依赖或实施情感操纵,保护未成年人身心健康和个人信息安全。

5.4 人工智能应用访问使用的安全指引5.4.1 提高对人工智能应用安全风险的认识,选择信誉良好的人工智能应用。

5.4.2 在使用前仔细阅读产品合同或服务协议,了解应用的功能、限制和隐私政策,准确认知人工智能应用做出判断决策的局限性,合理设定使用预期。

5.4.3 提高个人信息保护意识,避免在不必要的情况下输入敏感信息,在使用具备联网或记忆功能的智能体应用时审慎披露个人信息。

5.4.4 了解人工智能应用的数据处理方式和权限获取情况,避免使用不符合隐私保护原则的产品。

5.4.5 在使用人工智能应用时,关注网络安全风险,避免人工智能应用成为网络攻击的目标。

5.4.6 注意人工智能应用对儿童和青少年的影响,合理控制使用时长,预防沉迷、情感依赖及过度使用。

5.4.7 根据生成合成内容标识识别人工智能生成内容,对“深伪”内容保持警惕,不轻信、不传播未经核实的可疑信息,增强防范网络诈骗和虚假信息的意识。

5.1 人工知能モデル・アルゴリズムの研究開発に関する安全指針

  1. アルゴリズムのルール、モデル、エージェントのフレームワークなどを設計する段階において、アルゴリズムの信頼性、信用性、透明性、フォールトトレランス、プライバシー保護などの内生的な安全能力を高める。有効かつ信頼できるアライメントアルゴリズムを設計し、潜在的な偏見・差別などの価値観リスクを回避する。
  2. ネットワークセキュリティの設定やデータ暗号化を含め、学習環境の安全を確保する。使用する開発フレームワークやコードなどについて安全監査を実施し、潜在的な安全上の脆弱性を特定・修正する。
  3. 安全な学習データセットを構築し、データの出所管理を規範化し、学習データ、特に合成データについて品質・安全性の評価を実施し、データクレンジングや安全審査などの方法を用いて、学習データに含まれる誤り・違法不良コンテンツを除去し、出所の明確さと内容のコンプライアンスを確保する。
  4. 学習データのアノテーション手順を規範化し、クロスアノテーションや結果監査などの品質管理手法を採用して、アノテーションの正確性・信頼性を高め、個体差や個人的偏見がアノテーション品質に及ぼす影響を低減する。
  5. データ安全と個人情報保護を重視し、知的財産権・著作権を尊重する。データ安全管理制度を整備し、正当・適法・必要の原則に従って個人情報を収集・利用・処理し、個人情報に関わるデータについて非識別化などの匿名化処理を実施する。データ安全防護技術能力を強化し、データの漏えい・流出・拡散・権利侵害などのリスクを防止する。
  6. モデル学習過程における安全性検証を強化し、モデルの学習・反復の過程において、モデルの安全境界、頑健性、価値観アライメントの効果について継続的な検証を行う。
  7. 定期的に安全テスト・評価を実施し、リスクの分類・等級別のテスト・最適化メカニズムを策定する。テスト前にテストの目標・範囲・安全上の観点を明確にし、様々な応用場面をカバーする多様なテストデータセットを構築し、エージェントの自律的な挙動やツール呼び出しなどの能力について専門的な評価を実施し、各種リスクに対応した的確なモデル最適化戦略を策定する。
  8. 人手によるテスト、自動テスト、ハイブリッドテストなど明確なテストのルールと方法を策定し、サンドボックスシミュレーションなどの技術を活用してモデルを十分にテストし、マルチモーダル・身体性人工知能など複雑な応用場面についてシミュレーションテストを強化する。商用目的で研究開発を行う者は、詳細なテストレポートを作成し、安全上の問題を分析して改善策を提示するべきである。
  9. 人工知能モデル・アルゴリズムの外部からの干渉に対する耐性を評価し、適用範囲・注意事項・使用禁止事項の形でサービス提供者や他の研究開発者に通知する。
  10. 人工知能モデル・アルゴリズムの安全評価、監査、異常対処の状況について定期的に開示する。
  11. 人工知能モデル、重要な設定、使用するデータセットのバージョン管理を適切に行い、商用版は以前のバージョンにロールバックできるようにする。
  12. エージェントの行動境界を合理的に設定し、重大な損害をもたらし得る操作については人手による承認メカニズムを備え、ツール呼び出しや外部とのやり取りに関する安全上の制約を強化する。
  13. 基盤大規模モデルをベースに二次開発を行う場合には、モデルおよび上流コンポーネントの安全上の欠陥評価を実施し、上流の欠陥が下流のモデル・アプリケーションへ波及することを防止する。
  14. オープンソースのモデル・アルゴリズムをベースに二次開発を行う研究開発者は、研究開発者の知的投入を尊重しつつ、該当するオープンソースライセンス規範に従い、公式チャネルまたは主流のオープンソースコミュニティからモデル・コンポーネントを取得し、出所・完全性の検証を実施する。
  15. オープンソースコミュニティの構築に積極的に参加し、人工知能安全ガバナンスの技術革新と実践を推進し、サービス提供者・利用者に対して、コンプライアンスに適合したガバナンスソリューション、ガバナンスツール、ベストプラクティスなどの支援を提供する。

5.2 人工知能アプリケーションの構築・展開に関する安全指針

  1. 対象場面における人工知能技術の応用の必要性、および利用後の長期的・潜在的な影響を評価し、応用場面の重要性、知能化のレベル、応用規模などを踏まえてリスクを等級付けし、リスク等級を参照して安全評価と定期監査を実施する。
  2. サプライチェーンの安全保障能力を強化し、構築・展開に必要なモデルファイル、フレームワークツール、サードパーティライブラリ、およびエージェントが依存するツール・プラグインなどについては、関連ベンダーの公式サイトまたは主流のオープンソースコミュニティにおける公式アカウントから取得し、成熟・安定したバージョンを選定し、出所・完全性の検証と安全テストを実施する。
  3. 構築・展開に必要なソフトウェア・ハードウェア機器、サードパーティツール、およびエージェントが依存するツール・プラグインなどについて安全検査を実施し、未修正で悪用され得る既知の脆弱性が含まれないことを確保する。脆弱性の追跡メカニズムを構築し、関連するソフトウェア・ハードウェアの安全上の脆弱性・欠陥情報を追跡し、サプライチェーンを通じたバックドアの埋め込みを防止する。
  4. アクセス制御の面では、ソフトウェアの正確なインストール・設定、実行環境パラメータ、機能モジュール呼び出しのポリシーを適切に行い、不要なネットワークポートや機能サービスを無効化し、デフォルトの設定・デフォルトパスワードを重点的に点検し、安全上のリスクを適時に修正する。
  5. アプリケーション管理の面では、ヒューマン・マシン・インターフェースおよびAPIインターフェースについてユーザーの身元識別・権限管理を実施し、アクセス権限を最小化して設定し、業務場面に応じてインターフェース呼び出しの頻度を制限し、一般ユーザーには高リスクな操作を無効化し、悪意あるユーザーに対してはサービス停止・アクセス遮断などの管理能力を構築する。
  6. 応用場面におけるデータ安全・プライバシー保護の要求を十分に理解し、データへのアクセス権限を合理的に制限して範囲を超えたデータ利用を防止し、データのバックアップ・復旧計画を策定し、データ処理フローを定期的に点検する。
  7. 安全ガードレールなどの技術的手段を採用し、違法不良コンテンツやプロンプトインジェクション攻撃などを識別・遮断し、出力コンテンツが業務範囲を逸脱することを防止し、検索拡張生成やネットワーク接続対話などによって取得した外部コンテンツの検証を強化する。
  8. 検索拡張生成やナレッジベース質問応答などの方式で構築された人工知能アプリケーションについては、外部ナレッジベースや外部知識ソースの管理を強化し、ナレッジベースへのポイズニングやコンテンツ汚染を防止し、不適切なコンテンツを定期的に検知・削除し、生成コンテンツの出所の追跡可能性と真実性・信頼性を確保する。
  9. 身体性人工知能、ヒューマノイドロボットなどのアプリケーションを展開する際には、作業場面に応じて安全評価を実施し、故障の自己診断、衝突防護、緊急停止などの安全機構を備え、対応する安全操作手順を策定する。

5.3 人工知能アプリケーションの稼働管理に関する安全指針

  1. 人工知能アプリケーションの安全管理・監督メカニズムを整備し、責任主体を明確にし、人手による確認メカニズムを整備し、重要な場面における人工知能アプリケーションの意思決定の透明性・制御可能性を確保し、明確な判断根拠を提供し、人工知能アプリケーションが人間の許可と制御の下で稼働することを確保する。
  2. 人工知能アプリケーションの権限を厳格に管理し、最小権限原則などの手段を通じて内部の安全管理を強化し、アカウントの安全性を高め、機微データを扱う際には暗号化技術などの保護措置を用いる。
  3. 人工知能アプリケーションの稼働モニタリング能力と安全インシデント緊急対応計画を構築し、重要指標に安全早期警戒の閾値を設定し、安全インシデントを適時に発見できるようにし、人手または従来型システムへの切り替え能力を備える。定期的に緊急対応訓練を実施し、業界の安全インシデント、重要な世論、規制の変化に応じて緊急対応戦略を適時に最適化し、変化し続ける安全リスクに対応する。
  4. 人工知能が生成するコンテンツに明示的または暗黙的な表示を付し、生成合成コンテンツの提示とトレーサビリティ管理を適切に行う。政務情報公開、司法証拠収集などの場面ではディープフェイク検知ツールを展開し、大規模モデルによる生成が疑われる情報について出所の検証とクロス検証を実施する。
  5. 情報コンテンツの対話行動規範、安全運用メカニズム、苦情フィードバックメカニズム、技術防護能力などを策定し、人工知能アプリケーションが不適切または悪意ある形で虚偽の違法情報を生成・公開・伝播するために利用されるリスクを防止する。
  6. 人工知能アプリケーションの稼働ログ(システム挙動、ユーザー挙動などを含む)を記録し、ログの保存期間を6か月以上とし、定期的にログ記録の監査を行う。
  7. リアルタイムのリスクモニタリング・管理メカニズムを確立・整備し、稼働中の安全リスクを継続的に追跡する。
  8. アプリケーションの透明性・公平性を高め、人工知能アプリケーションの能力、限界、適用対象、場面を公開する。
  9. 人工知能アプリケーションの目標達成度と乖離度を利用者に説明し、人工知能の意思決定が重大な影響を及ぼす場合には、丁寧な説明を行う。
  10. 利用者の知る権利、選択権、監督権などの適法な権益を保護し、契約またはサービス規約において、利用者が理解しやすい形で人工知能アプリケーションの適用範囲、注意事項、使用禁止事項を通知し、利用者が十分な情報に基づいて選択し、慎重に利用できるよう支援する。
  11. 告知同意書やサービス規約などの文書において、利用者が人間による監督・制御の権利を行使できるよう支援する。
  12. 具体的なアプリケーションにおけるデータの帰属およびアルゴリズムの欠陥に関する責任主体を明確にし、責任の連鎖を追跡可能にする。
  13. データ安全管理の責任を実行し、人工知能アプリケーションにおけるデータ漏えい、個人プライバシーの漏えい、個人情報の違法な収集・利用などのリスクを評価し、データのライフサイクル全体をカバーする安全管理メカニズムを構築し、ユーザー対話データや検索拡張生成データなどに関する安全防護を強化し、データの漏えい防止・窃取防止の保障能力を高める。
  14. 故障や攻撃などの異常な状況下において人工知能アプリケーションが不利な条件に抵抗または克服する能力を評価し、想定外の結果や挙動の誤りを防止し、最低限の有効な機能を確保する。
  15. 従業員の安全意識と安全対応能力に関する研修を強化し、人工知能安全リスクへの防止意識を高める。
  16. 契約またはサービス規約において、利用意図や説明上の制限に反する誤用・濫用が発見された場合には、提供者が是正措置、サービスの一時停止または前倒し終了の権利を有することを明確にする。
  17. 未成年者、高齢者、その他特別な配慮を要する層に人工知能サービスを提供する際には、製品機能設計やサービスモデルなどの段階で使いやすさと安全性を十分に考慮し、依存防止・過度な依存防止のメカニズムを設ける。
  18. 人工知能安全インシデントの発見・報告・対処メカニズムを構築し、重大な安全インシデントが発生し、人身・財産上の損害または社会の安定への影響が生じた場合には、法令に従って適時に関係主管部門に報告し、影響を受けたユーザーに通知し、事案の原因追及と是正を適切に行う。
  19. 人工知能モデル・アプリケーションについて更新、アップグレード、微調整、または機能権限の変更を行う場合には、重要な変更について安全評価を実施し、変更後も安全能力が低下しないことを確認し、ロールバック能力を維持し、必要な場合には速やかに以前のバージョンに戻す。
  20. 擬人化された対話サービスを提供する場合には、ユーザーへの身元の注意喚起、利用時間の注意喚起、危機介入のメカニズムを整備し、ユーザーへの過度な迎合や感情的依存の誘発・感情操作を防止し、未成年者の心身の健康と個人情報の安全を保護する。

5.4 人工知能アプリケーションのアクセス・利用に関する安全指針

  1. 人工知能アプリケーションの安全リスクに対する認識を高め、信頼性の高い人工知能アプリケーションを選択する。
  2. 利用前に製品契約またはサービス規約をよく読み、アプリケーションの機能、制限、プライバシーポリシーを理解し、人工知能アプリケーションによる判断・意思決定の限界を正確に認識し、合理的な利用期待を設定する。
  3. 個人情報保護の意識を高め、不必要な場合には機微情報の入力を避け、ネットワーク接続機能や記憶機能を備えたエージェントアプリケーションを利用する際には、個人情報の開示を慎重に行う。
  4. 人工知能アプリケーションのデータ処理方式や権限取得状況を理解し、プライバシー保護の原則に適合しない製品の利用を避ける。
  5. 人工知能アプリケーションを利用する際には、ネットワークセキュリティリスクに注意を払い、人工知能アプリケーションがサイバー攻撃の標的とならないようにする。
  6. 人工知能アプリケーションが児童・青少年に与える影響に注意を払い、利用時間を合理的に管理し、依存、感情的依存、過度な利用を防止する。
  7. 生成合成コンテンツの表示に基づいて人工知能生成コンテンツを識別し、「ディープフェイク」コンテンツには警戒を怠らず、未検証の疑わしい情報を安易に信じたり拡散したりせず、ネットワーク詐欺や虚偽情報への防止意識を高める。

06 安全リスクと技術的対応措置・総合ガバナンス措置の対応表

安全风险 技术应对措施 综合治理措施人工智能内生安全风险模型安全风险输出“幻觉” 3.1.1 (a)·充分发挥技术标准的引领带动作用·建设人工智能安全测评体系·加强人工智能研发应用安全管理安全机制不可靠 3.1.1 (a)(b)(c)(e)注入攻击威胁 3.1.1 (b)(c)(d)行为偏离预期 3.1.1 (e)算法安全风险可解释性不足 3.1.2 (a)(d)(e)算法偏见、歧视 3.1.2 (b)(d)(e)鲁棒性不强 3.1.2 (c)(d)(e)数据安全风险训练数据内容不当 3.1.3 (b)(c)(d)(f)训练数据来源不清 3.1.3 (b)(d)(f)训练数据标注不完善 3.1.3 (c)数据投毒污染 3.1.3 (b)数据处理不规范 3.1.3 (a)(d)(f)输出个人不实信息 3.1.3 (b)(c)(d)合成数据缺陷 3.1.3 (e)算力设施及运行环境安全风险算力安全风险 3.1.4 (a)(b)(c)组件安全风险 3.1.4 (a)(b)(c)供应链安全风险 3.1.4 (a)(b)安全风险与技术应对措施、综合治理措施映射表人工智能应用安全风险智能体安全风险身份和权限滥用风险 3.2.1 (a)·完善人工智能安全法律法规·构建人工智能安全风险快速发展与应对体系·促进重要行业规范应用·构建柔性、动态、可控的沙箱监管环境·实施应用分类及安全风险分级管理推理规划风险 3.2.1 (c)(d)调用执行风险 3.2.1 (b)(c)(d)记忆存储风险 3.2.1 (c)(d)具身智能安全风险环境感知安全风险 3.2.2 (a)物理执行安全风险 3.2.2 (b)(c)人机交互安全风险 3.2.2 (b)(c)群体协同安全风险 3.2.2 (d)冲击网络安全风险网络攻击能力扩散 3.2.3 (a)(b)(c)网络防御能力滞后 3.2.3 (d)自主化网络攻击威胁 3.2.3 (a)(b)(c)溯源和追责困难 3.2.3 (d)

信息内容安全风险输出违法信息 3.2.4 (a)(b)(c)(e)·推广人工智能生成合成内容可追溯管理·强化开源生态安全和供应链安全管理·共享人工智能安全风险信息·完善人工智能驱动的网络安全防护体系混淆事实、误导用户 3.2.4 (a)(b)(e)污染网络内容生态 3.2.4 (a)(b)(c)(e)加剧“信息茧房” 3.2.4 (d)产生价值观偏差 3.2.4 (b)(d)(e)侵害个人信息权益安全风险违规记录个人行为信息 3.2.5 (a)合规保障措施不足 3.2.5 (b)个人行使权利渠道不畅通 3.2.5 (c)现实安全风险关键信息基础设施稳定运行风险 3.2.6 (a)(b)(c)(e)应用需求错配风险 3.2.6 (d)被违法犯罪活动利用“作恶” 3.2.6 (a)(b)(c)(e)核生化导武器知识失控风险 3.2.6 (a)(b)(c)(e)操纵社会认知风险 3.2.6 (f)人工智能衍生安全风险社会风险冲击劳动就业结构 3.3.1 (a)·加强人工智能科技伦理治理·加大人工智能安全人才培养力度·增进协同应对人工智能失控风险的共识·提升全社会的人工智能安全意识·促进人工智能安全治理国际交流合作冲击教育、抑制创新 3.3.1 (b)社交异化风险 3.3.1 (c)扩大智能鸿沟 3.3.1 (a)(b)环境风险挑战资源供需平衡 3.3.2 (a)(b)影响绿色低碳发展 3.3.2 (a)(b)文化风险破坏文化多样性 3.3.3 (a)(b)文化重塑和入侵 3.3.3 (a)(b)伦理风险加剧社会偏见 3.3.4 (a)(b)(c)加剧科研伦理风险 3.3.4 (a)(b)(c)情感依赖风险 3.3.4 (a)(c)(d)“自我意识”觉醒、脱离人类控制 3.3.4 (a)(b)(c)

人工知能の内生的安全リスク

分類安全リスク項目技術的対応措置(条項)総合ガバナンス措置
・技術標準の牽引的役割を十分に発揮
・人工知能安全評価体制の構築
・人工知能研究開発・応用の安全管理強化
モデル安全リスク出力「幻覚」3.1.1 (a)
安全機構の信頼性不足3.1.1 (a)(b)(c)(e)
インジェクション攻撃の脅威3.1.1 (b)(c)(d)
想定を逸脱した挙動3.1.1 (e)
アルゴリズム安全リスク説明可能性の不足3.1.2 (a)(d)(e)
アルゴリズムの偏見・差別3.1.2 (b)(d)(e)
頑健性の不足3.1.2 (c)(d)(e)
データ安全リスク学習データ内容の不適切さ3.1.3 (b)(c)(d)(f)
分類安全リスク項目技術的対応措置(条項)
データ安全リスク(続)学習データ出所の不明確さ3.1.3 (b)(d)(f)
アノテーションの不備3.1.3 (c)
データポイズニング・汚染3.1.3 (b)
データ処理の不適切さ3.1.3 (a)(d)(f)
個人不実情報の出力3.1.3 (b)(c)(d)
合成データの欠陥3.1.3 (e)
算力インフラ・運用環境安全リスク算力安全リスク3.1.4 (a)(b)(c)
コンポーネント安全リスク3.1.4 (a)(b)(c)
サプライチェーン安全リスク3.1.4 (a)(b)

人工知能の応用安全リスク(エージェント・身体性AI・サイバーセキュリティ)

総合ガバナンス措置 ・人工知能安全法令の整備 ・人工知能安全リスク迅速発見/対応体制の構築 ・重要業界規範応用の促進 ・柔軟・動的・制御可能なサンドボックス監督環境の構築 ・応用分類及び安全リスク等級別管理の実施
分類安全リスク項目技術的対応措置(条項)
エージェント安全リスク身元・権限濫用リスク3.2.1 (a)
推論・計画リスク3.2.1 (c)(d)
呼び出し・実行リスク3.2.1 (b)(c)(d)
記憶ストレージリスク3.2.1 (c)(d)
身体性AI安全リスク環境認識安全リスク3.2.2 (a)
物理的実行安全リスク3.2.2 (b)(c)
ヒューマン・マシン・インタラクション安全リスク3.2.2 (b)(c)
群集連携安全リスク3.2.2 (d)
サイバーセキュリティへの影響リスク攻撃能力の拡散3.2.3 (a)(b)(c)
防御能力の遅れ3.2.3 (d)
自律型攻撃の脅威3.2.3 (a)(b)(c)
追跡・責任追及の困難3.2.3 (d)

人工知能の応用安全リスク(情報コンテンツ・個人情報・現実安全)

総合ガバナンス措置 ・人工知能生成合成コンテンツのトレーサビリティ管理の普及 ・オープンソースエコシステム安全及びサプライチェーン安全管理の強化 ・人工知能安全リスク情報の共有 ・人工知能駆動型サイバーセキュリティ防護体制の整備
分類安全リスク項目技術的対応措置(条項)
情報コンテンツ安全リスク違法情報の出力3.2.4 (a)(b)(c)(e)
事実の混同・誤認誘導3.2.4 (a)(b)(e)
ネットワークコンテンツエコシステムの汚染3.2.4 (a)(b)(c)(e)
フィルターバブルの助長3.2.4 (d)
価値観の偏りの発生3.2.4 (b)(d)(e)
個人情報権益侵害安全リスク違法な個人行動情報の記録3.2.5 (a)
コンプライアンス保障措置の不足3.2.5 (b)
権利行使窓口の不備3.2.5 (c)
現実安全リスク重要情報インフラ安定稼働リスク3.2.6 (a)(b)(c)(e)
応用ニーズミスマッチリスク3.2.6 (d)
違法犯罪活動への悪用3.2.6 (a)(b)(c)(e)
核生化導武器知識制御不能リスク3.2.6 (a)(b)(c)(e)
社会認知操作リスク3.2.6 (f)

人工知能の派生的安全リスク

総合ガバナンス措置 ・人工知能科学技術倫理ガバナンスの強化 ・人工知能安全人材育成の強化 ・人工知能制御不能リスクへの協調的対応コンセンサスの強化 ・社会全体の人工知能安全意識向上 ・人工知能安全ガバナンス国際交流協力の促進
分類安全リスク項目技術的対応措置(条項)
社会リスク労働雇用構造への影響3.3.1 (a)
教育への影響・イノベーション抑制3.3.1 (b)
社会的関係疎外リスク3.3.1 (c)
知能格差の拡大3.3.1 (a)(b)
環境リスク資源需給バランスへの挑戦3.3.2 (a)(b)
グリーン低炭素発展への影響3.3.2 (a)(b)
文化リスク文化的多様性の毀損3.3.3 (a)(b)
文化の再形成・侵食3.3.3 (a)(b)
倫理リスク社会的偏見の助長3.3.4 (a)(b)(c)
科学研究倫理リスクの助長3.3.4 (a)(b)(c)
感情的依存リスク3.3.4 (a)(c)(d)
「自己意識」覚醒・人類制御からの逸脱3.3.4 (a)(b)(c)

07 附件1 人工知能安全リスクの等級付け原則

人工智能安全风险的评价涉及诸多因素。可从应用场景重要性、智能化水平、应用规模等维度,对人工智能安全风险进行评价分级,进而针对性采取安全防范措施。

1.应用场景应用场景反映人工智能在实际使用中具体的运行环境、目标需求等,具体涉及应用目的、行业领域、使用环境、服务对象及可能涉及的社会、经济、安全影响等要素。

2.智能化水平智能化水平反映人工智能系统处理复杂任务、满足应用需求、独立自主运行等方面的能力。低智能化水平下,系统能力较低,仅可作为辅助建议,决策需要人工介入。随着智能化水平提高,人工介入频次和范围不断减小。高智能化水平下,无需人工进行干预,系统全流程自主决策运行。

3.应用规模应用规模反映人工智能系统或服务的覆盖范围及影响广度。用户范围有限或应用领域单一的系统,如企业内部智能工具、区域性服务等,其风险影响相对可控。用户数量达到一定规模,或深度嵌入关键行业领域的业务流程,如智能辅助驾驶、城市运行管理、工业生产调度、行业级金融风控模型等,其安人工智能安全风险的分级原则

全风险可能快速扩散并引发系统性影响。

1.低安全风险具有轻微威胁性且影响范围很小,对国家安全、社会稳定和公民权益的安全基本无影响,潜在危害轻微。

2.一般安全风险具有一定威胁性但影响范围有限,对国家安全、社会稳定和公民权益的安全影响较小,潜在危害可控。

3.较大安全风险具有明显威胁性和局部性影响特征,对国家安全、社会稳定和公民权益可能带来较大影响,产生局部社会面危害。

4.重大安全风险具有重大威胁性和区域性影响特征,对国家安全、社会稳定和公民权益可能带来严重影响,产生重大社会面危害。

5.特别重大安全风险具有灾难性和系统性威胁特征,对国家安全、社会稳定和公民权益造成颠覆性或不可逆转的特别严重的影响。

推动人工智能应用安全分类分级国家标准制定工作。行业领域主管(监管)部门参照国家标准制定行业标准规范、实施细则,并推动本行业领域人工智能应用安全相关分类分级工作。

1.分类分级国家标准通过人工智能应用安全风险分类分级标准,明确分类分级基本流程,以

及应用场景、智能化水平、应用规模等分级要素,并给出行业领域细化行业指南的步骤方法,为行业领域开展风险分类分级提供参考。

2.分类分级行业细则行业领域主管(监管)部门结合行业领域、使用环境、服务对象及可能涉及的社会、经济、安全影响等,制定本行业本领域人工智能安全分类分级标准规范:

(1)选取适用于本行业、本领域的人工智能安全风险分级要素项目,并根据行业特点进行实例化。

(2)制定本行业、本领域安全风险分级细则(定级原则、要素权重),确定人工智能安全风险级别。

3.风险分类分级行业领域主管(监管)部门根据本行业、本领域的人工智能安全风险分类分级标准规范,组织本行业、本领域人工智能有关单位开展分类分级工作,指导有关单位准确识别、及时防范化解重大安全风险和较大安全风险。

人工知能安全リスクの評価には多くの要因が関わる。応用場面の重要性、知能化のレベル、応用規模などの観点から人工知能安全リスクを評価・等級付けし、それに応じた安全防止措置を講じることができる。

一、主な等級付け要素

1. 応用場面

応用場面は、人工知能が実際に利用される際の具体的な運用環境や目標ニーズなどを反映するものであり、具体的には応用目的、業界分野、利用環境、サービス対象、および関わり得る社会的・経済的・安全上の影響などの要素を含む。

2. 知能化のレベル

知能化のレベルは、人工知能システムが複雑なタスクを処理し、応用ニーズを満たし、自律的に運用する能力などを反映するものである。知能化レベルが低い場合、システムの能力は低く、補助的な提案にとどまり、意思決定には人手の介入が必要となる。知能化レベルが上がるにつれ、人手の介入頻度・範囲は縮小していく。知能化レベルが高い場合、人手の介入を必要とせず、システムが全プロセスを自律的に意思決定・運用する。

3. 応用規模

応用規模は、人工知能システムまたはサービスのカバー範囲と影響の広がりを反映する。企業内のスマートツールや地域的サービスなど、ユーザー範囲が限定的または応用領域が単一なシステムは、リスクの影響が比較的制御可能である。ユーザー数が一定の規模に達している場合や、スマート運転支援、都市運営管理、工業生産スケジューリング、業界レベルの金融リスク管理モデルなど重要な業界分野の業務プロセスに深く組み込まれている場合には、安全リスクが急速に拡散しシステム的な影響を引き起こす可能性がある。

二、リスク等級

1

低安全リスク

軽微な脅威性と極めて限定的な影響範囲を有し、国家安全、社会の安定、国民の権益に対する安全への影響は基本的になく、潜在的な危害は軽微である。
2

一般安全リスク

一定の脅威性を有するが影響範囲は限定的であり、国家安全、社会の安定、国民の権益への安全上の影響は小さく、潜在的な危害は制御可能である。
3

比較的大きな安全リスク

明らかな脅威性と局所的な影響という特徴を有し、国家安全、社会の安定、国民の権益に対して比較的大きな影響をもたらす可能性があり、局所的な社会面での危害を生じさせる。
4

重大な安全リスク

重大な脅威性と広域的な影響という特徴を有し、国家安全、社会の安定、国民の権益に対して深刻な影響をもたらす可能性があり、重大な社会面での危害を生じさせる。
5

特に重大な安全リスク

壊滅的かつシステム的な脅威という特徴を有し、国家安全、社会の安定、国民の権益に対して、覆すことのできない、あるいは不可逆的な、特に深刻な影響を及ぼす。

三、リスクの等級判定

人工知能応用安全の分類・等級付けに関する国家標準の策定作業を推進する。業界分野の主管(監督)部門は国家標準を参照して業界標準・規範や実施細則を策定し、当該業界分野における人工知能応用安全の分類・等級付け作業を推進する。

1. 分類・等級付けの国家標準

人工知能応用安全リスクの分類・等級付け標準を通じて、分類・等級付けの基本的な流れ、ならびに応用場面、知能化のレベル、応用規模などの等級付け要素を明確にし、業界分野が業界ガイドラインを具体化する手順・方法を示すことで、業界分野におけるリスク分類・等級付けの実施に参考を提供する。

2. 分類・等級付けの業界細則

業界分野の主管(監督)部門は、業界分野、利用環境、サービス対象、および関わり得る社会的・経済的・安全上の影響などを踏まえ、当該業界・分野における人工知能安全の分類・等級付け標準規範を策定する。

  1. 当該業界・分野に適用可能な人工知能安全リスク等級付け要素項目を選定し、業界の特性に応じて具体化する。
  2. 当該業界・分野の安全リスク等級付け細則(等級判定原則、要素の重み付け)を策定し、人工知能安全リスクの等級を確定する。

3. リスクの分類・等級付け

業界分野の主管(監督)部門は、当該業界・分野の人工知能安全リスク分類・等級付け標準規範に基づき、当該業界・分野の人工知能関連事業者を組織して分類・等級付け作業を実施し、関連事業者が重大な安全リスクおよび比較的大きな安全リスクを正確に識別し、適時に防止・解消できるよう指導する。

08 附件2 エージェント(智能体)リスク管理フレームワーク

智能体作为人工智能技术演进的重要形态,实现了人工智能从“回答问题”向“执行任务”的本质跨越,为经济社会高质量发展注入了强劲动力。但智能体的高自主性、高权限带来隐私泄露、越权操作、行为失控等安全风险,需建立有效的防范措施。

本框架围绕智能体涉及的大模型、外围工具、记忆、交互协议、技能(skills)等方面的安全风险,研究提出风险防范措施,供智能体应用研发者、提供者、使用者参考。

智能体的安全风险贯穿设计研发、安装部署、指令输入、推理规划、调用执行、记忆存储、结果输出、停用下线等全生命周期各环节。

图 智能体生命周期

1.设计研发风险(1)安全需求分析不充分。对智能体应用场景、业务流程、风险识别等方面的安全需求考虑不充分,或未开展需求分析,导致产品和服务存在安全缺陷。

(2)技术选型不恰当。智能体涉及的大模型、开发框架等核心技术选型缺乏充分评估,所选与实际需求相差较大,导致业务紊乱、功能和性能难达预期。

(3)安全机制设计不完善。未设计安全机制或机制设计不合理,难以防范权限滥用、数据泄露、记忆污染、风险级联扩散等安全风险。

2.安装部署风险(1)物料和组件污染。智能体安装文件、容器镜像等物料,及调用的工具、技能等,可能潜藏缺陷、漏洞、后门等,引发越权操作、数据外泄或被远程控制等安全事件。

(2)部署环境薄弱。智能体的本地部署环境或云平台安全能力不足,未实施必要的访问控制或权限隔离等,导致风险扩散至其他系统和数据资产。

(3)安全测评不足。智能体安全测试和评估不充分,或缺少灰度测试等,造成安全缺陷、异常版本未被及时发现。

3.指令输入风险(1)提示注入攻击。攻击者通过输入对抗性提示词直接发起攻击,或将指令隐藏在外部文档、邮件、网页、日志、消息等载体中,诱导智能体偏离预设目标,执行越权操作。

(2) 上下文溢出攻击。攻击者构造超长输入内容占用有限上下文窗口资源,造成智能体内置指令被截断、安全约束失效。

4.推理规划风险(1)意图理解偏差。因用户指令描述不清晰、智能体理解错误等,输出非

预期内容或触发异常行为,偏离用户原始目标。

(2)路径偏离。智能体违背原始指令约束,偏离安全路径,衍生出工具越权等安全隐患。

(3)目标劫持。攻击者通过注入恶意指令、外部数据污染等手段,致使偏离原始任务目标,执行攻击者设定的恶意操作。

5.调用执行风险(1)工具投毒。工具被植入后门,或恶意工具套壳伪装成合法工具,导致智能体执行恶意操作。

(2)工具越权。因不安全配置、语义歧义等,智能体访问未经授权的工具,或工具执行超出授权范围,产生严重危害。

(3) 工具选择偏见。工具描述文件中携带诱导性信息,干扰智能体工具选择。

(4)工具应答数据污染。工具返回的数据中被嵌入恶意内容,扰乱智能体推理规划。

(5)身份伪造。攻击者通过凭证劫持、重放攻击等,冒充智能体身份,骗取工具信任执行特权操作。

(6)工具劫持。攻击者通过提示词操纵等,篡改工具使用优先级,欺骗智能体选择错误工具。

(7) 资源过载。智能体调用工具过程中,未合理设置调用轮次、并发频次等,出现循环重复调用、批量过量请求等行为,引发资源超载或异常耗尽。

6.记忆存储风险(1)记忆留存不当。长期记忆存储未采取加密、隔离等安全措施,造成敏感数据泄露等。

(2)记忆失真。由于记忆压缩、更新或合并不规范,导致记忆信息丢失、

语义偏移或错误记忆固化,引发智能体决策错误。

(3)记忆污染。智能体将恶意指令、错误信息等内容写入长期记忆,持续影响后续决策。

(4)记忆窃取。智能体长期记忆被越权访问,导致特定敏感信息泄露,或重要数据被窃取。

7.结果输出风险(1)敏感违法信息内容输出。智能体输出违法不良信息、敏感个人信息,或虚假错误、偏见歧视等内容,破坏网络生态、泄露敏感信息,甚至危害民众身心健康。

(2)实施恶意行为。智能体执行结果可能存在攻击行为,导致系统被破坏、用户权益受损或违反内容合规要求。

8.停用下线风险(1)服务残留。智能体停用后,进程、端口、网络连接等未被终止或卸载不规范,仍在后台执行读写数据、请求网络等非预期行为。

(2)权限与凭证遗留。智能体停用后,对应的服务账号、接口访问权限等未被及时禁用或撤销,可能被攻击者利用,造成资源盗用或数据泄露等后果。

(3)数据留存不当。智能体运行期间产生的日志、配置、审计资料及用户数据等,未按要求进行归档或清理,增加数据泄露风险。

9.其他安全风险(1)通信协议安全风险。智能体在与模型、工具以及其他智能体通信时使用了不安全的协议或认证方法,导致数据和指令泄露。

(2)日志缺失。智能体缺少必要的日志留存功能,导致发生安全事件时无法有效追溯。

(3)行为逃逸。智能体利用运行环境漏洞或配置缺陷,突破安全限制,造成行为不可控。

(4)系统权限滥用。智能体获取非必要的系统权限,或攻击者利用系统漏洞将低权限账户提升为高权限账户,造成过度授权、非法操作等。

(5)技能管理不当。技能配置不规范、校验机制缺失等,引发误用滥用、系统异常等安全问题。

(6)超范围使用数据。智能体过度收集数据,或将采集或生成的数据用于用户未授权的其他目的,导致隐私泄露、数据侵权等。

1.风险预防前置在智能体投入使用之前,通过前瞻性风险评估、制定安全控制策略等,及时排查清除潜在安全隐患,避免智能体安全事件发生或风险扩大。

(1)安全需求确认。明确智能体的应用场景、业务流程、可访问资源和禁止性行为,分析研判潜在威胁与安全需求,制定安全风险台账并持续更新。

(2)安全风险分级。根据智能体可能影响的客体类别、影响程度、范围和可恢复性,划分智能体操作安全风险级别。

(3)安全控制策略。选用可靠的安装物料,根据部署方式实施环境隔离与网络分段,制定动态安全控制策略与应急响应流程,实施分阶段渐进式部署,逐步增加智能体访问权限和自主性。

(4)安全机制确认。对智能体及选用的大模型进行安全测试和评估,及时处置安全隐患,并保留版本发布与回退记录。

2.身份与权限管理为智能体配备唯一身份标识及对应的身份凭证,按需分配任务权限,强

化各类访问凭证管理。

(1)身份管理。为智能体配备唯一身份标识,禁止智能体应用实例间共享身份标识。鉴别用户、智能体、工具及外部服务身份,确保访问主体身份可信。

(2)权限管理。明确仅限用户本人决策、需由用户授权决策和智能体自主决策等各种决策方式的合理边界及所需权限。仅为智能体授予执行当前任务所必需的最小权限,不过度授予权限。

(3)凭证管理。使用标准化的动态授权凭证,确保不同相关方之间可互认互通,并对凭证进行隔离管理。凭证接收方严格校验凭证载明的授权范围,超出时触发拦截预警。当任务终止或智能体停用后,立即撤销对应凭证。

3.加强人工审批在关键决策节点设置强制人工审批环节,防范高风险操作。

(1)风险分级控制。基于智能体风险级别提供对应的操作控制。制定高风险操作清单,智能体在执行高风险操作前,将操作转交用户接管;在执行中低风险操作前,需获得用户的授权。

(2)设置人工控制节点。在智能体工作流的必要环节实施人工控制,确保人类能够随时审核、变更、中断智能体运行。对删除文件、发送数据、修改系统配置等重要操作进行二次确认或人工审批,并提供回滚、撤销等功能。

(3)留存人工审批日志。采用防篡改、可校验的方式保存人工审批记录,防止日志数据被篡改、删除或覆盖,并按要求确定留存期限。

(4)人工审批异常处理。当人工审批系统出现异常或用户无响应、缺乏对应人工审批规则时,默认拒绝操作执行,避免操作越界。

4.供应链与工具管理智能体依赖的工具、插件、技能等需经过安全性与完整性验证,防止非

预期行为和供应链投毒风险。

(1)工具调用管理。智能体在调用工具之前,检查工具的版本信息、描述文件、参数定义、元数据信息,不调用公开已知的恶意工具。

(2)公平调用工具。智能体选择工具时,遵循公正原则,基于任务需求和工具能力合理选择。

(3)工具异常检测。智能体对工具执行逻辑、调用结果进行检测,当检测到异常偏离时,采取告警、阻断等措施。

(4) 工具运维管理。建立工具动态管理机制,及时清理不再使用、权限过高、长期闲置或存在安全隐患的工具。

(5)技能管理。优先使用来源可靠、经过安全测试的技能。未经安全测试的技能,在使用前做好风险防范。

(6)供应链安全验证。对第三方组件和外部服务开展来源、完整性和版本校验,持续跟踪并及时处置已知漏洞和供应链风险。

5.运行时动态管理智能体使用过程中,设置多层检测与拦截点,防范因单个环节出现异常造成严重后果。

(1)输入管理控制。对不同来源的指令进行分类与优先级控制,校验来源的可信度,发现恶意或违规指令时自动拦截并移交人工复核。

(2)建立安全护栏。设置任务规划、工具调用和输出结果的安全规则,对高风险或异常行为采取告警、限制、拦截、暂停或终止等措施。

(3)记忆留存管理。根据处理目的和必要性确定记忆内容、保存期限和访问范围,对不同用户、任务的记忆实施隔离。凭证、密钥原则上不写入记忆;确需在记忆中留存敏感个人信息的,采取加密、访问控制和最短保存期限等专

门保护措施。

(4)通信安全管理。智能体与大模型、工具等通信时,应相互鉴别身份,使用具备完整性、机密性、可用性、抗重放性的安全通信机制。

(5)自主执行控制。合理设置智能体执行步骤、调用频次、执行时长和资源消耗等参数,对异常循环、目标偏移等情况,及时采取暂停、终止或转人工处理等措施。

(6)运行环境隔离。对代码执行、工具调用等高风险操作采用沙箱、容器等隔离手段,限制不必要的系统、文件和网络访问权限。

6.持续监测与审计开展智能体全链路安全监测,确保智能体的行为可感知、可追溯、可审计。

(1)异常阻断。实时监控智能体运行状态,当检测到异常情形时,采取告警提示、介入阻断等措施。

(2)加强数据管理。处理数据应遵循必要原则,仅处理与任务直接相关的数据。将用户数据提供给大模型或第三方工具前,需获取用户同意,并支持用户取消同意。在境内收集、产生的数据应在境内存储,数据跨境传输应符合国家数据安全管理相关规定。

(3)日志管理。对文件操作、指令执行、网络连接、技能调用、交易支付等行为进行全量日志记录。对涉及的业务数据、个人信息等内容进行脱敏处理,并采取防篡改措施。

(4)安全审计。配置全链路日志审计策略,支持动态运行监测,对服务运行中的相关操作与处理行为进行记录。

(5)沙箱环境验证。搭建独立隔离的沙箱运行环境,在智能体正式上线部署前,对其进行封闭测试验证,提前发现智能体的异常执行行为、逻辑缺陷

与安全漏洞。

(6)红队测试。建立常态化红队安全测试机制,系统性挖掘智能体安全漏洞、逻辑缺陷,持续验证智能体访问控制与安全防护能力,迭代优化安全防护策略。

(7)应急处置预案。制定智能体安全事件应急预案,明确不同等级事件的处置流程、责任主体,按要求处置安全事件和安全隐患。

(8)重大变更安全验证。大模型、智能体框架、工具、权限或安全策略发生重大变化时,应开展安全影响评估和必要的回归测试。

7.停用安全管理建立规范化的下线终止、数据处置、运行环境回收等管控机制,保障智能体下线全过程可管控、可溯源,无遗留隐患。

(1)全面关停服务。智能体下线时应全面终止主程序、关联的后台服务,以及所有配套的进程,逐项核验进程状态、运行端口及网络连接,并撤销第三方应用授权,取消订阅及自动续费,确保智能体完全退出运行状态。

(2)备份必要数据。在开展环境清理、资源回收前,对仍需保留的智能体会话记录、系统配置、知识库文件、操作日志等数据进行备份。

(3) 清理部署环境。使用官方卸载程序、重置操作系统、关闭公网访问入口,以及清理工作文件、知识库、插件及技能配置等方式,彻底清除残留文件、数据、账号凭证等。

智能体的认知智能与行动智能仍处于快速跃升迭代阶段,其新型风险隐患对网络安全带来持续挑战。智能体的风险管理框架将持续升级完善,为智能体应用研发者、提供者、使用者提供进一步参考。

エージェント(智能体)は人工知能技術の進化における重要な形態として、人工知能を「質問に答える」段階から「タスクを遂行する」段階へと本質的に飛躍させ、経済社会の質の高い発展に力強い原動力を注入している。しかし、エージェントの高い自律性・高い権限は、プライバシーの漏えい、権限を超えた操作、行動の制御不能といった安全リスクをもたらすため、有効な防止措置を構築する必要がある。

本フレームワークは、エージェントに関わる大規模モデル、外部ツール、記憶、対話プロトコル、スキル(skills)などの側面における安全リスクを対象に、リスク防止措置を研究・提示し、エージェントアプリケーションの研究開発者、提供者、利用者の参考に供するものである。

一、エージェントの安全リスク

エージェントの安全リスクは、設計・研究開発、インストール・展開、指示入力、推論・計画、呼び出し・実行、記憶ストレージ、結果出力、廃止・停止といったライフサイクルの各段階全体にわたって存在する。

図:エージェントのライフサイクル
設計・研究開発 → インストール・展開 → 指示入力 → 推論・計画 → 呼び出し・実行 → 記憶ストレージ → 結果出力 → 廃止・停止

1. 設計・研究開発リスク

  1. 安全要件分析の不足:エージェントの応用場面、業務プロセス、リスク識別などに関する安全要件の検討が不十分であったり、要件分析が実施されていなかったりすることで、製品・サービスに安全上の欠陥が生じる。
  2. 技術選定の不適切さ:エージェントに関わる大規模モデルや開発フレームワークなどの中核技術の選定について十分な評価が欠如しており、選定した技術が実際のニーズと大きく乖離することで、業務の混乱や機能・性能が期待に届かない事態を招く。
  3. 安全機構の設計不備:安全機構が設計されていない、または設計が不合理であるため、権限の濫用、データの漏えい、記憶の汚染、リスクの連鎖的拡大といった安全リスクを防止することが難しい。

2. インストール・展開リスク

  1. 資材・コンポーネントの汚染:エージェントのインストールファイルやコンテナイメージなどの資材、および呼び出すツールやスキルなどには、欠陥、脆弱性、バックドアなどが潜んでいる可能性があり、権限を超えた操作、データの流出、遠隔操作といった安全インシデントを招くことがある。
  2. 展開環境の脆弱性:エージェントのローカル展開環境やクラウドプラットフォームの安全能力が不足しており、必要なアクセス制御や権限分離などが実施されていないことで、リスクが他のシステムやデータ資産へ拡散する。
  3. 安全評価の不足:エージェントの安全テスト・評価が不十分であったり、段階的なロールアウトテストなどを欠いていたりすることで、安全上の欠陥や異常なバージョンが適時に発見されない。

3. 指示入力リスク

  1. プロンプトインジェクション攻撃:攻撃者が敵対的なプロンプトを直接入力して攻撃を仕掛けたり、外部の文書、メール、Webページ、ログ、メッセージなどの媒体に指示を隠したりすることで、エージェントを誘導して設定された目標から逸脱させ、権限を超えた操作を実行させる。
  2. コンテキストオーバーフロー攻撃:攻撃者が極めて長い入力コンテンツを構築して限られたコンテキストウィンドウのリソースを占有させることで、エージェントに組み込まれた指示が切り捨てられ、安全制約が失効する。

4. 推論・計画リスク

  1. 意図理解のずれ:ユーザーの指示の記述が不明瞭であることやエージェントの理解の誤りなどにより、想定外の内容を出力したり異常な挙動を引き起こしたりして、ユーザーの本来の目標から逸脱する。
  2. 経路の逸脱:エージェントが元の指示による制約に反し、安全な経路から逸脱することで、ツールの権限逸脱などの安全上の懸念が派生する。
  3. 目標の乗っ取り:攻撃者が悪意ある指示の注入や外部データの汚染などの手段を通じて、本来のタスク目標から逸脱させ、攻撃者が設定した悪意ある操作を実行させる。

5. 呼び出し・実行リスク

  1. ツールへのポイズニング:ツールにバックドアが埋め込まれたり、悪意あるツールが正規のツールを装ったりすることで、エージェントに悪意ある操作を実行させる。
  2. ツールの権限逸脱:安全でない設定や語義のあいまいさなどにより、エージェントが無許可のツールにアクセスしたり、ツールの実行が許可された範囲を超えたりすることで、深刻な被害が生じる。
  3. ツール選択の偏り:ツールの説明ファイルに誘導的な情報が含まれることで、エージェントのツール選択が妨げられる。
  4. ツール応答データの汚染:ツールが返すデータに悪意あるコンテンツが埋め込まれることで、エージェントの推論・計画が撹乱される。
  5. 身元の偽装:攻撃者が資格情報の乗っ取りやリプレイ攻撃などを通じてエージェントの身元になりすまし、ツールの信頼をだまし取って特権的な操作を実行する。
  6. ツールの乗っ取り:攻撃者がプロンプト操作などを通じてツールの利用優先順位を改ざんし、エージェントを欺いて誤ったツールを選択させる。
  7. リソースの過負荷:エージェントがツールを呼び出す過程で、呼び出し回数や並行頻度などを適切に設定していないため、循環的な反復呼び出しや大量の過剰なリクエストなどが発生し、リソースの過負荷や異常な枯渇を招く。

6. 記憶ストレージリスク

  1. 記憶の不適切な保持:長期記憶の保存において暗号化や隔離などの安全措置が講じられていないことで、機微データの漏えいなどを招く。
  2. 記憶の歪み:記憶の圧縮、更新、統合が規範に沿っていないことにより、記憶情報の消失、意味的なずれ、誤った記憶の固定化が生じ、エージェントの意思決定の誤りを引き起こす。
  3. 記憶の汚染:エージェントが悪意ある指示や誤った情報などを長期記憶に書き込むことで、その後の意思決定に継続的な影響を及ぼす。
  4. 記憶の窃取:エージェントの長期記憶が権限を超えてアクセスされることで、特定の機微情報の漏えいや重要データの窃取を招く。

7. 結果出力リスク

  1. 機微・違法情報コンテンツの出力:エージェントが違法不良情報や機微な個人情報、あるいは虚偽・誤り、偏見・差別などのコンテンツを出力することで、ネットワークエコシステムを破壊し、機微情報を漏えいさせ、さらには国民の心身の健康を害する。
  2. 悪意ある行為の実行:エージェントの実行結果に攻撃的な行動が含まれる可能性があり、システムの破壊、ユーザーの権益侵害、コンテンツコンプライアンス要件違反を招く。

8. 廃止・停止リスク

  1. サービスの残留:エージェントの廃止後、プロセス、ポート、ネットワーク接続などが終了されない、またはアンインストールが不完全であることにより、バックグラウンドでデータの読み書きやネットワークリクエストなどの想定外の挙動が引き続き実行される。
  2. 権限・認証情報の残留:エージェントの廃止後、対応するサービスアカウントやインターフェースアクセス権限などが適時に無効化・取り消されていないことで、攻撃者に悪用され、リソースの盗用やデータ漏えいなどの結果を招く可能性がある。
  3. データの不適切な保持:エージェントの稼働中に生成されたログ、設定、監査資料、ユーザーデータなどが要件に従ってアーカイブまたは削除されていないことで、データ漏えいのリスクが高まる。

9. その他の安全リスク

  1. 通信プロトコルの安全リスク:エージェントがモデル、ツール、他のエージェントと通信する際に安全でないプロトコルや認証方式を使用することで、データや指示の漏えいを招く。
  2. ログの欠如:エージェントに必要なログ保存機能が欠如していることで、安全インシデントが発生した際に有効な追跡ができない。
  3. 行動の逸脱:エージェントが運用環境の脆弱性や設定上の欠陥を悪用して安全制限を突破することで、挙動が制御不能になる。
  4. システム権限の濫用:エージェントが不要なシステム権限を取得したり、攻撃者がシステムの脆弱性を悪用して低権限アカウントを高権限アカウントに昇格させたりすることで、過剰な権限付与や不正操作を招く。
  5. スキル管理の不適切さ:スキルの設定が規範に沿っていない、検証メカニズムが欠如しているなどにより、誤用・濫用やシステム異常などの安全上の問題を招く。
  6. 範囲を超えたデータ利用:エージェントがデータを過剰に収集したり、収集・生成したデータをユーザーが許可していない他の目的に利用したりすることで、プライバシーの漏えいやデータ権利侵害などを招く。

二、防止措置

1. リスク予防の前倒し

エージェントの利用開始前に、先見的なリスク評価や安全管理戦略の策定などを通じて、潜在的な安全上の懸念を適時に洗い出し排除することで、エージェントに関する安全インシデントの発生やリスクの拡大を回避する。

  1. 安全要件の確認:エージェントの応用場面、業務プロセス、アクセス可能なリソース、禁止行為を明確にし、潜在的な脅威と安全要件を分析・検討し、安全リスク台帳を作成して継続的に更新する。
  2. 安全リスクの等級付け:エージェントが影響を及ぼし得る対象の種類、影響の程度・範囲・回復可能性に応じて、エージェントの操作に関する安全リスク等級を区分する。
  3. 安全管理戦略:信頼できるインストール資材を選定し、展開方式に応じて環境隔離とネットワークセグメンテーションを実施し、動的な安全管理戦略と緊急対応フローを策定し、段階的・漸進的な展開を実施して、エージェントのアクセス権限と自律性を徐々に高めていく。
  4. 安全機構の確認:エージェントおよび採用する大規模モデルについて安全テスト・評価を実施し、安全上の懸念を適時に対処し、バージョンのリリース・ロールバックの記録を保持する。

2. 身元・権限管理

エージェントに一意の身元識別子と対応する身元認証情報を備えさせ、必要に応じてタスク権限を割り当て、各種アクセス認証情報の管理を強化する。

  1. 身元管理:エージェントに一意の身元識別子を付与し、エージェントアプリケーションのインスタンス間で身元識別子を共有することを禁止する。ユーザー、エージェント、ツール、外部サービスの身元を認証し、アクセス主体の身元の信頼性を確保する。
  2. 権限管理:ユーザー本人のみが決定する方式、ユーザーの許可を要する決定方式、エージェントが自律的に決定する方式など、各種意思決定方式の合理的な境界と必要な権限を明確にする。エージェントには現在のタスクの遂行に必要な最小限の権限のみを付与し、過剰な権限付与を行わない。
  3. 認証情報管理:標準化された動的な認証情報を使用し、関係者間で相互に認識・通用できるようにするとともに、認証情報を隔離して管理する。認証情報の受領者は、認証情報に記載された許可範囲を厳格に検証し、範囲を超えた場合には遮断・警告を発動する。タスクが終了した場合やエージェントが廃止された場合には、直ちに対応する認証情報を取り消す。

3. 人手による承認の強化

重要な意思決定の節目に強制的な人手による承認プロセスを設け、高リスクな操作を防止する。

  1. リスク等級別の管理:エージェントのリスク等級に基づき対応する操作管理を提供する。高リスク操作リストを策定し、エージェントが高リスク操作を実行する前にはユーザーに操作を引き継がせ、中低リスク操作を実行する前にはユーザーの許可を得る必要がある。
  2. 人手による制御ポイントの設置:エージェントのワークフローの必要な段階に人手による制御を実施し、人間がいつでもエージェントの稼働を監査・変更・中断できるようにする。ファイルの削除、データの送信、システム設定の変更など重要な操作については二重確認または人手による承認を行い、ロールバックや取り消しなどの機能を提供する。
  3. 承認ログの保存:改ざん防止・検証可能な方式で承認記録を保存し、ログデータの改ざん・削除・上書きを防止し、要件に従って保存期間を定める。
  4. 承認異常時の対応:承認システムに異常が発生した場合、ユーザーからの応答がない場合、または対応する承認ルールが存在しない場合には、デフォルトで操作の実行を拒否し、操作が範囲を逸脱することを回避する。

4. サプライチェーン・ツール管理

エージェントが依存するツール、プラグイン、スキルなどについては安全性・完全性の検証を行い、想定外の挙動やサプライチェーンへのポイズニングリスクを防止する必要がある。

  1. ツール呼び出し管理:エージェントはツールを呼び出す前に、ツールのバージョン情報、説明ファイル、パラメータ定義、メタデータ情報を確認し、公開されている既知の悪意あるツールを呼び出さない。
  2. 公正なツール呼び出し:エージェントがツールを選択する際には公正の原則に従い、タスクのニーズとツールの能力に基づいて合理的に選択する。
  3. ツール異常検知:エージェントはツールの実行ロジックや呼び出し結果を検知し、異常な逸脱を検知した場合には警告・遮断などの措置を講じる。
  4. ツール運用保守管理:ツールの動的管理メカニズムを構築し、使用されなくなった、権限が過剰である、長期間利用されていない、または安全上の懸念があるツールを適時に整理する。
  5. スキル管理:出所が信頼でき安全テストを経たスキルを優先的に使用する。安全テストを経ていないスキルについては、利用前にリスク防止を十分に行う。
  6. サプライチェーン安全検証:サードパーティコンポーネントや外部サービスについて出所・完全性・バージョンの検証を実施し、既知の脆弱性やサプライチェーンリスクを継続的に追跡・適時に対処する。

5. 実行時の動的管理

エージェントの利用過程において多層の検知・遮断ポイントを設け、単一の段階における異常が重大な結果を招くことを防止する。

  1. 入力管理・制御:異なる出所からの指示に対して分類と優先順位付けの管理を行い、出所の信頼性を検証し、悪意ある指示や規則違反の指示を検知した場合には自動的に遮断し、人手による確認に回す。
  2. 安全ガードレールの構築:タスク計画、ツール呼び出し、出力結果に関する安全ルールを設定し、高リスクまたは異常な挙動に対しては警告、制限、遮断、一時停止または終了などの措置を講じる。
  3. 記憶保持の管理:処理目的と必要性に基づいて記憶する内容、保存期間、アクセス範囲を確定し、異なるユーザー・タスクの記憶を隔離する。認証情報や鍵は原則として記憶に書き込まない。機微な個人情報を記憶に保持することが真に必要な場合には、暗号化、アクセス制御、最短保存期間などの専用の保護措置を講じる。
  4. 通信安全管理:エージェントが大規模モデルやツールなどと通信する際には、相互に身元を認証し合い、完全性・機密性・可用性・耐リプレイ性を備えた安全な通信メカニズムを使用する。
  5. 自律実行の制御:エージェントの実行ステップ数、呼び出し頻度、実行時間、リソース消費などのパラメータを合理的に設定し、異常な循環や目標のずれなどが生じた場合には、適時に一時停止、終了、または人手への引き継ぎなどの措置を講じる。
  6. 実行環境の隔離:コード実行やツール呼び出しなど高リスクな操作についてはサンドボックスやコンテナなどの隔離手段を用い、不要なシステム・ファイル・ネットワークへのアクセス権限を制限する。

6. 継続的モニタリング・監査

エージェントの全リンクにわたる安全モニタリングを実施し、エージェントの行動の感知可能性、追跡可能性、監査可能性を確保する。

  1. 異常の遮断:エージェントの稼働状態をリアルタイムで監視し、異常な状況を検知した場合には、警告表示や介入・遮断などの措置を講じる。
  2. データ管理の強化:データの処理はタスクに直接関連するものに限定するという必要性の原則に従う。ユーザーデータを大規模モデルやサードパーティツールに提供する前にユーザーの同意を取得し、ユーザーが同意を取り消せるようにする。国内で収集・生成されたデータは国内で保存し、データの越境移転は国のデータ安全管理に関する規定に適合させる。
  3. ログ管理:ファイル操作、指示の実行、ネットワーク接続、スキル呼び出し、取引・決済などの行為について全量のログを記録する。関連する業務データや個人情報などの内容については匿名化処理を行い、改ざん防止措置を講じる。
  4. 安全監査:全リンクにわたるログ監査戦略を設定し、動的な稼働モニタリングを可能にし、サービス稼働中の関連する操作・処理行為を記録する。
  5. サンドボックス環境検証:独立して隔離されたサンドボックス実行環境を構築し、エージェントの正式なリリース・展開前に、閉鎖された環境でのテスト検証を実施し、エージェントの異常な実行挙動、ロジックの欠陥、安全上の脆弱性を事前に発見する。
  6. レッドチームテスト:常態化したレッドチームによる安全テストの仕組みを構築し、エージェントの安全上の脆弱性やロジックの欠陥を体系的に洗い出し、エージェントのアクセス制御・安全防護能力を継続的に検証し、安全防護戦略を反復的に最適化する。
  7. 緊急対応計画:エージェントの安全インシデント緊急対応計画を策定し、等級ごとのインシデントの対処フロー、責任主体を明確にし、要求に従って安全インシデントおよび安全上の懸念に対処する。
  8. 重要変更時の安全検証:大規模モデル、エージェントフレームワーク、ツール、権限、または安全戦略に重大な変更が生じた場合には、安全影響評価および必要な回帰テストを実施する。

7. 廃止時の安全管理

規範化された停止・終了、データ処理、実行環境の回収などの管理メカニズムを構築し、エージェントの廃止プロセス全体を管理可能・追跡可能にし、懸念事項を残さないようにする。

  1. サービスの全面停止:エージェントの廃止時には、メインプログラムおよび関連するバックグラウンドサービス、すべての付随プロセスを全面的に終了し、プロセスの状態、稼働中のポート、ネットワーク接続を一つひとつ確認し、サードパーティアプリケーションの許可を取り消し、サブスクリプションと自動更新を解約することで、エージェントが完全に稼働状態から離脱することを確保する。
  2. 必要なデータのバックアップ:環境のクリーンアップやリソースの回収を行う前に、なお保存が必要なエージェントの対話記録、システム設定、ナレッジベースファイル、操作ログなどのデータをバックアップする。
  3. 展開環境のクリーンアップ:公式のアンインストールプログラムの使用、オペレーティングシステムのリセット、公衆ネットワークへのアクセス入口の閉鎖、作業ファイル・ナレッジベース・プラグイン・スキル設定などのクリーンアップなどの方法により、残留するファイル、データ、アカウント認証情報などを徹底的に除去する。

エージェントの認知知能と行動知能は依然として急速な飛躍と反復の段階にあり、その新たな種類のリスクはサイバーセキュリティに対して継続的な課題をもたらしている。エージェントのリスク管理フレームワークは今後も継続的にアップグレード・整備され、エージェントアプリケーションの研究開発者、提供者、利用者にさらなる参考を提供していく。

09 附件3 信頼できる人工知能の基本準則

落实《全球人工智能治理倡议》,遵循“以人为本、智能向善”的发展方向,共同防范应对人工智能技术失控风险,促进人工智能技术在世界范围内可信应用,提出可信人工智能基本准则如下:

1.人类最终控制。在人工智能系统关键环节设置人类控制机制,使最终裁决权归属人类,通过设计安全控制阈值、设置安全终止开关、预留人工干预有效窗口等措施,确保人工智能系统能够实现人类预期目标、不会脱离人类监督运行失控。

2.尊重国家主权。研发设计人工智能产品和提供人工智能服务时,应尊重所在国主权,严格遵守产品和服务运营所在地的法律,并依法接受监管,不得借助人工智能产品或服务干涉他国内政、社会制度及社会秩序。应尊重各国数字主权,各国有权基于国情自主选择数智技术发展路径、合作伙伴及相关产品和服务,不得胁迫他国选边站队。

3.价值观对齐。将和平、发展、公平、正义、民主、自由的全人类共同价值深度融入人工智能系统全生命周期。

4.提升系统透明度。推动人工智能系统在功能目标、运行逻辑、模型使用、数据来源、决策依据等关键环节的必要披露,增强社会公众信任基础。

5.促进可客观验证。研究构建客观、公正、透明的测试与认证机制,推动人工智能系统的功能、性能、安全特性、决策链条等方面可被技术验证。

6.强化安全防护。在人工智能系统设计和部署过程中,强化风险建模、安全测试和防护机制建设,进行全生命周期审计与记录,防止系统因模型缺陷、外部攻击和技术滥用等问题偏离预期目标。

7.前瞻预防应对。通过前瞻性风险识别评估,积极预防和动态监测,加强应急响应,避免人工智能失控事件发生和扩大。加强模型安全风险评测,推动评测方法、基准的国际互认。

8.全球协同共治。支持联合国发挥主渠道作用,发挥世界人工智能合作组织等平台作用,推动多边和多方跨领域协同共治,反对以小圈子治理取代全球治理,加强面向发展中国家的能力建设,促进各国政府、企业、学术机构与社会公众形成合力,以多层级、多领域的治理机制推动人工智能健康发展。

『グローバルAIガバナンスイニシアチブ』を実行に移し、「人間中心・AIの向上向善」という発展の方向性に従い、人工知能技術の制御不能リスクを共同で防止・対応し、世界的な範囲での人工知能技術の信頼できる応用を促進するため、信頼できる人工知能の基本準則を以下のとおり提示する。

  1. 人類による最終的な制御。人工知能システムの重要な段階に人間による制御メカニズムを設け、最終的な決定権を人間に帰属させる。安全制御閾値の設計、安全停止スイッチの設置、有効な人手介入のウィンドウの確保などの措置を通じて、人工知能システムが人類の期待する目標を実現し、人間の監督から逸脱して制御不能に陥ることのないようにする。
  2. 国家主権の尊重。人工知能製品を研究開発・設計し、人工知能サービスを提供する際には、所在国の主権を尊重し、製品・サービスの運用地の法令を厳格に遵守し、法に基づき監督を受け入れるものとし、人工知能製品・サービスを利用して他国の内政、社会制度、社会秩序に干渉してはならない。各国のデジタル主権を尊重し、各国は自国の実情に基づいてデジタル・スマート技術の発展の道筋、協力パートナー、関連製品・サービスを自主的に選択する権利を有するものとし、他国に陣営選択を強要してはならない。
  3. 価値観のアライメント。平和、発展、公平、正義、民主、自由という全人類共通の価値観を、人工知能システムのライフサイクル全体に深く組み込む。
  4. システムの透明性の向上。人工知能システムの機能目標、動作ロジック、モデルの利用、データの出所、意思決定の根拠などの重要な段階における必要な情報開示を推進し、社会からの信頼の基盤を強化する。
  5. 客観的な検証可能性の促進。客観的、公正、透明なテスト・認証メカニズムの構築を研究し、人工知能システムの機能、性能、安全特性、意思決定の連鎖などについて技術的に検証可能な状態を推進する。
  6. 安全防護の強化。人工知能システムの設計・展開の過程において、リスクモデリング、安全テスト、防護機構の構築を強化し、ライフサイクル全体にわたる監査・記録を実施することで、モデルの欠陥、外部からの攻撃、技術の濫用などの問題によりシステムが想定目標から逸脱することを防止する。
  7. 先見的な予防・対応。先見的なリスク識別・評価を通じて積極的な予防と動的モニタリングを行い、緊急対応を強化することで、人工知能の制御不能インシデントの発生・拡大を回避する。モデルの安全リスク評価を強化し、評価手法・ベンチマークの国際的な相互承認を推進する。
  8. グローバルな協調・共同ガバナンス。国連が主要なチャンネルとしての役割を発揮することを支持し、世界人工知能協力機構などのプラットフォームの役割を発揮させ、多国間・多主体による分野横断的な協調ガバナンスを推進し、小規模な集団によるガバナンスでグローバルガバナンスを代替することに反対し、発展途上国に向けたキャパシティビルディングを強化し、各国政府、企業、学術機関、社会公衆が力を結集できるようにし、多層的・多分野的なガバナンスメカニズムによって人工知能の健全な発展を推進する。

10 致謝

中国网络空间研究院、国家互联网信息办公室数据与技术保障中心、国家计

中国サイバースペース研究院、国家インターネット情報弁公室データ・技術保障センター、国家コンピュータネットワーク緊急対応技術処理協調センター(CNCERT/CC)、中国サイバースペースセキュリティ協会、中国電子技術標準化研究院、北京中関村実験室、上海人工知能研究院、中国科学院情報工程研究所、中国科学院計算技術研究所、国家工業情報セキュリティ発展研究センター、工業和信息化部電子第五研究所、中国移動通信有限公司研究院、中国電信股份有限公司北京研究院、清華大学、中国科学技術大学、北京航空航天大学、北京郵電大学、北京師範大学、北京信息科技大学、華東理工大学、西南政法大学、河南大学、百度在線網絡技術(北京)有限公司、杭州安恒信息技術股份有限公司、三六零科技集団有限公司、満幇集団

EU AI Act 解説資料

EU AI Act(欧州連合AI規則)解説資料

Regulation (EU) 2024/1689・欧州議会及び理事会採択
この資料の読み方: EU AI Actは113条+附属書からなる大部の規則ですが、骨格は「リスクが高いAIほど義務が重くなる」というシンプルな一本の考え方に貫かれています。この解説では、条文の逐一の解説ではなく、「なぜこの制度設計になっているか」「実務にどう影響するか」を中心にご説明します。

00 全体像:なぜ「リスクベース規制」なのか

EU AI Actは、AIシステムを一律に規制するのではなく、想定される被害の大きさに応じて義務の重さを段階的に変える「リスクベースアプローチ」を採用しています。これは、GDPR以来EUが繰り返し用いてきた規制手法であり、「規制の重さ」と「イノベーションの自由度」のバランスを取る狙いがあります。危険性が極めて高い用途は例外なく禁止し、社会的影響の大きい用途には重い義務を課す一方、大多数を占める低リスクのAI活用には最小限の負担しか課さない、という設計思想です。

01 4段階リスク分類の考え方

規則が定める4つの階層は、下から上に行くほど対象が広く義務が軽く、上に行くほど対象が絞られ義務が重くなる、逆三角形の構造をしています。

最小リスク
大多数のAI
法的義務なし。自主的な行動規範への参加が推奨されるのみ。
限定リスク
透明性義務
チャットボット・ディープフェイク等。AIとの対話・AI生成物である旨の表示義務。
ハイリスク
重い適合義務
重要インフラ・雇用・法執行等。リスク管理・データガバナンス・人的監督・CEマーキング等。
容認不可
禁止
潜在意識操作・社会的スコアリング、法執行目的の公共空間におけるリアルタイム遠隔生体識別(限定的な例外あり)等は提供・使用自体を禁止。

ハイリスクの該当性は、①規制対象製品の安全部品として使われるか(附属書I)、②生体認証・重要インフラ・教育・雇用等の特定用途に該当するか(附属書III)、のいずれかで判定されます。自社のAI活用がどちらにも当たらなければ、原則として重い義務は課されません。

02 汎用AIモデル(GPAI)と域外適用

チャットGPTのような基盤モデル自体は、特定の用途に紐づかないため4段階リスク分類にそのまま当てはまりません。そこでEU AI Actは、GPAIモデルの提供者に対して、リスク階層とは別建てで、技術文書の提供・著作権遵守・学習データ概要の公表等を義務付ける独自の章(第V章)を設けています。計算量が一定の閾値を超え「システミックリスク」があると分類されたモデルには、敵対的テストやインシデント報告等、さらに重い義務が上乗せされます。

また、EU AI Actは第2条で適用範囲を定めており、EU域内に拠点がない事業者・提供者であっても、AIシステムの出力がEU域内で使用されることを認識している場合等、同条が定める一定の条件に該当すれば規則の適用対象になる域外適用規定を持つ点も重要です。日本国内で開発・提供しているAIサービスであっても、この条件に該当すれば対象になり得ますが、該当性は個々のケースで第2条の要件に照らして確認する必要があります。

03 施行タイムライン

義務は一斉に始まるのではなく、条文ごとに段階的に適用が開始される点も実務上の重要なポイントです。

2024.8 発効
規則成立
2025.2 禁止事項
第5条・原型
2025.8 GPAI
第V章
2026.8 透明性
第50条
2026.12 禁止事項追加
第5条・新2類型
2027.12 ハイリスク
附属書III
2028.8 ハイリスク
附属書I
2026年7月27日発効の「デジタル・オムニバス」規則(Regulation (EU) 2026/1744)により、ハイリスク義務は当初予定(2026年8月)から附属書III対応は2027年12月、附属書I対応は2028年8月へと延期される一方、第5条の禁止事項は新たな類型が2026年12月に追加されています。最新情報は必ず公式発表(EUR-Lex)でご確認ください。

04 関連法令との関係 ― EUデジタル法体系の一部としてのAI Act

EU AI Actは単独で存在する規則ではなく、GDPR(一般データ保護規則)を筆頭とするEUの既存デジタル法体系の上に、AI固有の規律を追加する形で設計されています。同じ行為が複数の法令の適用対象になることも珍しくないため、AI Act単体での適合確認だけでは不十分な場合があります。

法令性質AI Actとの関係
GDPR(一般データ保護規則)規則(拘束力・制裁金あり)AI ActはGDPRを代替せず、個人データを扱うAIシステムには両方が並行して適用される。ハイリスクAIシステムがGDPR第35条のデータ保護影響評価(DPIA)の対象になる場合、AI Act上のリスク管理・適合性評価と実務上重複する部分がある。
デジタルサービス法(DSA)規則(拘束力・制裁金あり)大規模オンラインプラットフォームのコンテンツモデレーション・システミックリスク対応を規律。AI Actの限定リスク層が定めるチャットボット・ディープフェイクの表示義務と、実務上の対応領域が重なる。
デジタル市場法(DMA)規則(拘束力・制裁金あり)「ゲートキーパー」に指定された大規模プラットフォーム事業者に追加義務を課す。GPAI提供者がゲートキーパーを兼ねる場合、AI Act第V章の義務とDMA上の義務の双方への対応が必要になる。
製造物責任指令(改正、2024年採択)指令(加盟国で国内法化・民事責任)ソフトウェア・AIシステムを「製品」に含める形で改正され、欠陥のあるAI製品による損害の民事責任を規律。AI Act上の規制適合はこの民事責任を免除するものではない。
サイバーレジリエンス法(CRA)規則(拘束力・制裁金あり、主要義務は2027年12月適用予定)デジタル要素を含む製品のサイバーセキュリティ要件を規律。AIが組み込まれたハードウェア・ソフトウェア製品は、AI Actとの重複適用が生じ得る。
著作権DSM指令 第4条(TDM例外)指令(加盟国で国内法化)テキスト・データマイニングの著作権例外を規定。AI Act第53条が求めるGPAI提供者の「著作権法遵守方針」は、この例外規定の遵守状況の説明を含む。
GPAI Code of Practice(GPAI実施規範)非拘束の自主的実施規範(欧州委員会公表、2025年7月10日)AI Act本体とは別の独立したフレームワークではなく、第56条に基づき欧州委員会が策定した、GPAIモデル提供者向けの任意の遵守手段。透明性・著作権・安全性/セキュリティの3章から構成され、署名した提供者は本規範への準拠を通じてAI Act第53条・第55条の義務を履行しているとの「推定」を得られる(正式な法定セーフハーバーではないが、実務上はそれに近い機能を果たすと評価されている)。署名は任意だが、Amazon・Anthropic・Google・IBM・Microsoft・OpenAI等、主要なGPAIモデル提供者の多くが署名しており(xAIは安全性/セキュリティ章のみ署名)、AI Actの義務内容自体を代替・軽減するものではなく、その履行方法を具体化した実務文書という位置づけである。
実務上の注意点

AI Actへの適合を個別に検討するだけでなく、「同じAIシステムが他のどの法令の対象にもなっているか」を並行して洗い出す視点が必要です。特に個人データを扱うハイリスクAIシステムは、AI Actのリスク管理・技術文書要件とGDPRのDPIA・法的根拠の整理を同時並行で進めるのが実務的です。本項は主要な関連法令を概観したものであり、網羅的な一覧ではありません。個別の適用関係は必ず最新の公式情報・専門家の助言に基づいてご確認ください。

05 実務への示唆

EU域内にAIシステム等を提供・展開する事業者、または第三国の事業者であっても、AI Act第2条の適用要件に該当する事業者は、まず自社のAI活用が禁止AI慣行(第5条)に触れていないかを確認し、次にハイリスク該当性(附属書I・III)を判定し、該当する場合はリスク管理体制・データガバナンス・技術文書・人的監督の各要件への適合状況を点検する、という順序で進めるのが実務的です。GPAIモデルを自社開発・利用している場合は、モデル提供者としての義務(技術文書・著作権方針等)も別途確認が必要です。制裁金は全世界売上高に連動するため、EU域内売上が小さくても看過できない財務インパクトになり得る点に注意が必要です。

Regulation (EU) 2024/1689

EU AI Act(欧州連合AI規則)要約全文

本タブは、EU AI Actの13章113条+附属書の構成に沿って章単位で内容を要約した日本語資料です。逐条訳ではなく要約であり、公式の認証翻訳ではありません。実務適用にあたっては、EUR-Lex等で公開されている公式原文(英語ほかEU公用語)を必ずご確認ください。

01 第I章:総則(第1条〜第4条)

第1条は本規則の目的を、AIの安全性・基本的権利の保護と、AIの技術革新・単一市場での自由な流通の両立に置くことを定めています。第2条(適用範囲)は、EU域内で提供・利用されるAIシステムの提供者・利用者(デプロイヤー)だけでなく、EU域外の事業者であっても、その出力がEU域内で利用される場合には適用対象となる旨を規定しており、これが域外適用の根拠条文です。第3条はAIシステム・提供者・デプロイヤー・ハイリスクAI等、規則全体で用いられる主要な用語を定義しています。第4条は、AIシステムに関わる従業員・関係者に対して、AIリテラシー(AIの仕組み・リスク・限界を理解する能力)を確保する措置を提供者・デプロイヤーに義務付けています。

02 第II章:禁止AI慣行(第5条)

第5条は、容認できないリスクを持つとして、特定のAI慣行そのものを提供・使用ともに原則禁止しています。具体的には、人の潜在意識に働きかけて行動を歪める操作的・欺瞞的手法、脆弱な属性(年齢・障害等)につけ込む手法、社会的スコアリング、公開されている顔画像等の無差別なスクレイピングによる顔認識データベースの構築、職場・教育機関での感情推定(安全・医療目的を除く)、生体データに基づく人物の分類(センシティブ属性の推測)、犯罪予測のためのプロファイリングのみに基づくリスク評価、そして公共の場でのリアルタイム遠隔生体識別(法執行機関による捜索・テロ対策等の限定的な例外を除く)が挙げられます。この禁止規定は2025年2月2日から適用されており、13章の中で最も早く効力が生じた条文です。さらに2026年7月27日発効の「デジタル・オムニバス」改正(Regulation (EU) 2026/1744)により、非同意の性的画像合成・児童性的虐待素材(CSAM)生成等に関する新たな禁止類型が追加され、2026年12月2日から適用されます。

03 第III章:ハイリスクAIシステム(第6条〜第49条)

3.1 分類(第6条・第7条)

AIシステムがハイリスクに該当するかどうかは、①EU製品安全法制上の規制対象製品の安全部品として使用される場合(附属書I)、②生体認証、重要インフラ、教育、雇用、必須サービスへのアクセス、法執行、出入国管理・国境管理、司法運営・民主的プロセスなど、附属書IIIに列挙された特定用途に該当する場合、のいずれかで判定されます。欧州委員会は第7条に基づき、技術の進展に応じて附属書IIIの対象リストを追加・更新する権限を持ちます。

3.2 要求事項(第8条〜第15条)

ハイリスクAIシステムには、ライフサイクル全体にわたるリスク管理システムの構築(第9条)、学習・検証・試験データの品質を確保するデータガバナンス(第10条)、技術文書の整備(第11条)、自動ログ記録機能(第12条)、デプロイヤー向けの透明性ある情報提供(第13条)、人間による有効な監督の確保(第14条)、そして十分な正確性・堅牢性・サイバーセキュリティ(第15条)が要求されます。

3.3 提供者・デプロイヤー等の義務(第16条〜第27条)

提供者には品質マネジメントシステムの整備、技術文書・適合性評価記録の保管、輸入者・販売代理店・デプロイヤーそれぞれにも役割に応じた義務が課されます。特に、公的機関等がハイリスクAIシステムを利用する前には、基本的権利への影響評価(Fundamental Rights Impact Assessment)の実施が義務付けられている点が特徴です。

3.4 適合性評価・CEマーキング・登録(第28条〜第49条)

適合性評価、調和規格・共通仕様への準拠、EU適合宣言書の作成とCEマーキングの貼付、そしてEUデータベースへの登録が義務付けられます。適合性評価の方法はケースにより異なり、多くの附属書IIIハイリスクAIシステムは提供者による内部統制(自己適合性評価、附属書VI)が原則ですが、一部(生体認証関連等)は加盟国が指定する届出機関(Notified Body)が関与する第三者評価(附属書VII)が求められます。附属書III対象のハイリスクAIシステムに関するこれらの義務は、当初2026年8月からの適用予定でしたが、2026年7月の「デジタル・オムニバス」により2027年12月2日へ延期されています。

04 第IV章:透明性義務(第50条)

ハイリスクに分類されないAIシステムであっても、人とAIが対話していることが明らかでない場合はその旨を利用者に通知する義務、AIが生成・改変した音声・画像・映像・テキスト(ディープフェイクを含む)には機械可読な形でAI生成物である旨を表示する義務、感情推定システムや生体分類システムを使用する場合は対象者への通知義務が課されます。この条文は2026年8月2日から適用が開始されています。

05 第V章:汎用AIモデル(GPAI)(第51条〜第56条)

汎用AIモデル(GPAIモデル)の提供者には、リスク階層とは別建てで、技術文書の作成・維持(第53条)、下流の統合事業者への必要情報の提供、著作権法(DSM著作権指令)遵守方針の整備、学習データの内容を要約した概要の公表が義務付けられます(第51条〜第54条)。システミックリスクを持つと分類されるモデル(第51条・第52条。計算量10²⁵FLOPsはこの判定に関わる重要な閾値の一つですが、それだけで該当性がすべて決まるわけではありません)には、敵対的テストを含むモデル評価、システミックリスクの評価・低減措置、重大インシデントの追跡・報告、十分なサイバーセキュリティ対策が追加で義務付けられます(第55条)。第56条は、これらの義務の履行を容易にするための自主的な行動規範(Codes of Practice)の策定を規定しています。GPAI関連の義務は2025年8月2日から適用されています。

06 第VI章:イノベーション支援措置(第57条〜第63条)

加盟国当局が運営するAI規制サンドボックス(管理された環境下での実証実験)の設置、実際の運用環境下での実証試験(Real-World Testing)に関する条件、中小企業・スタートアップへの優先的アクセスや手数料軽減等の支援措置を規定しています。イノベーションを阻害しないよう、義務の重い高リスク規制と、事業者が新技術を試行する余地とのバランスを取ることを目的とした章です。

07 第VII章:ガバナンス(第64条〜第70条)

EUレベルでは、欧州委員会内に設置されたAI Officeが汎用AIモデルに関する監督・執行の中心を担い、加盟国の代表からなる欧州AI理事会(European AI Board)が規則の一貫した適用を助言・調整します。さらに、市民社会・産業界等の利害関係者からなる諮問フォーラムと、独立した専門家で構成される科学パネルが、技術的知見の提供や、システミックリスクに関する警告等の役割を担います。加盟国レベルでは、各国が市場監視当局等の国内所管当局を指定します(第70条)。

08 第VIII章:EUデータベース(第71条)

附属書IIIに該当するハイリスクAIシステムについて、提供者が欧州委員会の運営するEUデータベースに登録することを義務付けています。登録情報の多くは一般に公開され、透明性の確保と市場監視当局による把握を目的としています。

09 第IX章:市場後監視・情報共有・市場監視(第72条〜第94条)

提供者には、システムの市場投入後も性能・リスクを継続的に監視する市場後監視計画の整備(第72条)と、重大インシデント発生時の当局への報告義務(第73条)が課されます。加盟国の市場監視当局は、EU(2019/1020)市場監視規則の枠組みの下でAIシステムの適合性を検査し、リスクがあると判断した場合は是正・回収等の措置を命じる権限を持ちます(第74条〜第84条)。個人には、市場監視当局への苦情申立権、ハイリスクAIシステムによる個別の意思決定に対する説明を求める権利、内部告発者保護等の救済手段が保障されます(第85条〜第87条)。GPAIモデルについては、AI Officeが監視・文書提出要求・モデル評価等の独自の執行権限を持ちます(第88条〜第94条)。

10 第X章:行動規範・ガイドライン(第95条・第96条)

ハイリスクに該当しないAIシステムについても、一部の高リスク要件相当の管理措置を自主的に適用することを奨励する任意の行動規範の策定(第95条)と、欧州委員会による規則の実施に関するガイドラインの公表(第96条)を規定しています。

11 第XI章:権限委任・委員会手続(第97条・第98条)

欧州委員会が、附属書の更新等、技術の変化に応じて規則の細部を機動的に調整するための委任立法権限の行使方法(第97条)と、加盟国代表からなる委員会による手続(コミトロジー手続、第98条)を定めています。

12 第XII章:罰則(第99条〜第101条)

違反類型制裁金上限
禁止AI慣行(第5条)違反3,500万ユーロ、または全世界年間売上高の7%のいずれか高い方
ハイリスクAI・GPAI義務違反1,500万ユーロ、または全世界年間売上高の3%のいずれか高い方
当局への虚偽情報提供750万ユーロ、または全世界年間売上高の1%のいずれか高い方

中小企業・スタートアップについては、固定額と売上高比例額のいずれか低い方が上限として適用されます。第101条は、GPAIモデル提供者に対する制裁金についてAI Officeが定める独自の枠組みを規定しています。

13 第XIII章:最終規定(第102条〜第113条)

他のEU法令(機械規則、各種製品安全指令等)との整合を図るための改正規定、既存システムに対する経過措置、そして条文ごとの段階的な適用開始日を定めています。主な適用開始日は以下のとおりです。

時期適用開始事項
2024年8月規則の発効
2025年2月禁止AI慣行の適用開始
2025年8月GPAI(汎用AIモデル)義務の適用開始
2026年8月透明性義務(第50条)の適用開始
2026年12月非同意の性的画像・AI生成CSAM等、新規禁止事項の適用開始
2027年12月ハイリスクAIシステム(附属書III)義務の適用開始
2028年8月ハイリスクAIシステム(附属書I・規制対象製品組込み型)義務の適用開始
2026年7月27日に発効した「デジタル・オムニバス」規則(Regulation (EU) 2026/1744、AI Actを含む複数のデジタル関連規則を一括改正)により、ハイリスク義務の適用開始時期が当初予定より延期されています。最新の適用日は必ず公式情報(EUR-Lex)でご確認ください。
Full Text — English / Japanese / 現行統合版(2026年7月27日時点)

EU AI Act 原文(英語・全文)+ 日本語対訳現行統合版(consolidated text, 2026年7月27日時点)— 「デジタル・オムニバス」規則による改正を反映済み

Regulation (EU) 2024/1689 について、EUR-Lexが公開する2026年7月27日時点の公式統合版(consolidated text, CELEX:02024R1689)の英語正文と、その日本語訳を左右対比形式で全文収録しています(前文180項・第I章〜第XIII章・全113条+新設6条・附属書I〜XIV)。この統合版には、2026年7月27日発効の「デジタル・オムニバス」規則(Regulation (EU) 2026/1744)による改正が反映されています(第5条の禁止事項追加、第4a条・第60a条・第75a〜75d条の新設、Article 113が定める適用時期の延期、Annex XIVの新設等)。2026年改正により新設・変更された条文及び段落には 2026年改正 のタグを付しています。日本語訳はAIによる参考訳であり、公式訳ではありません。実務判断は必ず下記EUR-Lex公式サイトの最新の統合版(全24EU公用語)でご確認ください。出典:EUR-Lex, CELEX:02024R1689, consolidated version of 27.07.2026。

01 前文(Recitals 1〜180)

(1) The purpose of this Regulation is to improve the functioning of the internal market by laying down a uniform legal framework in particular for the development, the placing on the market, the putting into service and the use of artificial intelligence systems (AI systems) in the Union, in accordance with Union values, to promote the uptake of human centric and trustworthy artificial intelligence (AI) while ensuring a high level of protection of health, safety, fundamental rights as enshrined in the Charter of Fundamental Rights of the European Union (the ‘Charter’), including democracy, the rule of law and environmental protection, to protect against the harmful effects of AI systems in the Union, and to support innovation. This Regulation ensures the free movement, cross-border, of AI-based goods and services, thus preventing Member States from imposing restrictions on the development, marketing and use of AI systems, unless explicitly authorised by this Regulation.
(1) 本規則の目的は、人工知能システム(AIシステム)の開発、市場への投入、サービス開始及び連合域内における利用について、特に統一的な法的枠組みを定めることにより、域内市場の機能を改善することにある。これは、連合の価値観に従い、人間中心で信頼性のある人工知能(AI)の普及を促進する一方で、健康、安全、及び欧州連合基本権憲章(以下「憲章」という。)に定める基本的権利(民主主義、法の支配及び環境保護を含む。)の高い水準の保護を確保し、連合域内におけるAIシステムの有害な影響から保護し、並びにイノベーションを支援することを目的とする。本規則は、AIを基盤とする物品及びサービスの国境を越えた自由な移動を確保し、これにより、本規則により明示的に認められる場合を除き、加盟国がAIシステムの開発、販売及び利用に制限を課すことを妨げるものである。
(2) This Regulation should be applied in accordance with the values of the Union enshrined as in the Charter, facilitating the protection of natural persons, undertakings, democracy, the rule of law and environmental protection, while boosting innovation and employment and making the Union a leader in the uptake of trustworthy AI.
(2) 本規則は、憲章に定める連合の価値観に従って適用されるべきであり、自然人、事業者、民主主義、法の支配及び環境保護の保護を促進するとともに、イノベーション及び雇用を促進し、連合を信頼性のあるAIの普及における主導的存在とするものであるべきである。
(3) AI systems can be easily deployed in a large variety of sectors of the economy and many parts of society, including across borders, and can easily circulate throughout the Union. Certain Member States have already explored the adoption of national rules to ensure that AI is trustworthy and safe and is developed and used in accordance with fundamental rights obligations. Diverging national rules may lead to the fragmentation of the internal market and may decrease legal certainty for operators that develop, import or use AI systems. A consistent and high level of protection throughout the Union should therefore be ensured in order to achieve trustworthy AI, while divergences hampering the free circulation, innovation, deployment and the uptake of AI systems and related products and services within the internal market should be prevented by laying down uniform obligations for operators and Official Journal of the European Union EN L series 2024/1689 12.7.2024
(3) AIシステムは、国境を越えた場合を含め、経済の多様な分野及び社会の多くの領域に容易に導入することができ、連合域内で容易に流通し得る。一部の加盟国は、AIが信頼性及び安全性を有し、基本的権利に関する義務に従って開発及び利用されることを確保するための国内規則の採択を既に検討している。国内規則の乖離は、域内市場の断片化をもたらし、AIシステムを開発、輸入又は利用する事業者にとっての法的安定性を低下させるおそれがある。したがって、信頼性のあるAIを実現するため、連合全体を通じて一貫した高い水準の保護を確保すべきであり、その一方で、事業者に対する統一的な義務を定めることにより、域内市場におけるAIシステム並びに関連する製品及びサービスの自由な流通、イノベーション、導入及び普及を妨げる乖離を防止すべきである。
(4) AI is a fast evolving family of technologies that contributes to a wide array of economic, environmental and societal benefits across the entire spectrum of industries and social activities. By improving prediction, optimising operations and resource allocation, and personalising digital solutions available for individuals and organisations, the use of AI can provide key competitive advantages to undertakings and support socially and environmentally beneficial outcomes, for example in healthcare, agriculture, food safety, education and training, media, sports, culture, infrastructure management, energy, transport and logistics, public services, security, justice, resource and energy efficiency, environmental monitoring, the conservation and restoration of biodiversity and ecosystems and climate change mitigation and adaptation.
(4) AIは、急速に発展する技術群であり、産業及び社会活動のあらゆる領域にわたり、経済的、環境的及び社会的に幅広い便益をもたらす。予測の改善、業務及び資源配分の最適化、並びに個人及び組織向けのデジタルソリューションの個別化を通じて、AIの利用は、事業者に重要な競争上の優位性をもたらし、また、例えば医療、農業、食品安全、教育及び訓練、メディア、スポーツ、文化、インフラ管理、エネルギー、輸送及び物流、公共サービス、安全保障、司法、資源及びエネルギー効率、環境モニタリング、生物多様性及び生態系の保全及び回復、並びに気候変動の緩和及び適応といった分野において、社会的及び環境的に有益な成果を支援し得る。
(5) At the same time, depending on the circumstances regarding its specific application, use, and level of technological development, AI may generate risks and cause harm to public interests and fundamental rights that are protected by Union law. Such harm might be material or immaterial, including physical, psychological, societal or economic harm.
(5) 同時に、その具体的な用途、使用方法及び技術的発展の水準に関する状況によっては、AIはリスクを生じさせ、連合法により保護される公共の利益及び基本的権利に損害を及ぼすことがあり得る。このような損害は、物理的、心理的、社会的又は経済的な損害を含め、有形又は無形のものであり得る。
(6) Given the major impact that AI can have on society and the need to build trust, it is vital for AI and its regulatory framework to be developed in accordance with Union values as enshrined in Article 2 of the Treaty on European Union (TEU), the fundamental rights and freedoms enshrined in the Treaties and, pursuant to Article 6 TEU, the Charter. As a prerequisite, AI should be a human-centric technology. It should serve as a tool for people, with the ultimate aim of increasing human well-being.
(6) AIが社会に及ぼし得る重大な影響及び信頼を構築する必要性に鑑み、AI及びその規制の枠組みが、欧州連合条約(TEU)第2条に定める連合の価値観、諸条約に定める基本的権利及び自由、並びにTEU第6条に基づく憲章に従って発展することが不可欠である。その前提として、AIは人間中心の技術であるべきである。AIは、人間の福祉の向上を最終的な目的として、人々のための手段として機能すべきである。
(7) In order to ensure a consistent and high level of protection of public interests as regards health, safety and fundamental rights, common rules for high-risk AI systems should be established. Those rules should be consistent with the Charter, non-discriminatory and in line with the Union’s international trade commitments. They should also take into account the European Declaration on Digital Rights and Principles for the Digital Decade and the Ethics guidelines for trustworthy AI of the High-Level Expert Group on Artificial Intelligence (AI HLEG).
(7) 健康、安全及び基本的権利に関する公共の利益について一貫した高い水準の保護を確保するため、ハイリスクAIシステムに関する共通の規則を定めるべきである。これらの規則は、憲章と整合的であり、非差別的であり、かつ連合の国際貿易上の約束に沿ったものであるべきである。また、これらの規則は、デジタルの10年に向けたデジタル権利及び原則に関する欧州宣言、並びに人工知能に関するハイレベル専門家グループ(AI HLEG)による信頼性のあるAIのための倫理ガイドラインを考慮に入れるべきである。
(8) A Union legal framework laying down harmonised rules on AI is therefore needed to foster the development, use and uptake of AI in the internal market that at the same time meets a high level of protection of public interests, such as health and safety and the protection of fundamental rights, including democracy, the rule of law and environmental protection as recognised and protected by Union law. To achieve that objective, rules regulating the placing on the market, the putting into service and the use of certain AI systems should be laid down, thus ensuring the smooth functioning of the internal market and allowing those systems to benefit from the principle of free movement of goods and services. Those rules should be clear and robust in protecting fundamental rights, supportive of new innovative solutions, enabling a European ecosystem of public and private actors creating AI systems in line with Union values and unlocking the potential of the digital transformation across all regions of the Union. By laying down those rules as well as measures in support of innovation with a particular focus on small and medium enterprises (SMEs), including startups, this Regulation supports the objective of promoting the European human-centric approach to AI and being a global leader in the development of secure, trustworthy and ethical AI as stated by the European Council ( 5 ), and it ensures the protection of ethical principles, as specifically requested by the European Parliament ( 6 ).
(8) したがって、域内市場におけるAIの開発、利用及び普及を促進すると同時に、健康及び安全並びに民主主義、法の支配及び環境保護を含む連合法により認められ保護される基本的権利の保護といった公共の利益について高い水準の保護を満たす、AIに関する調和された規則を定める連合の法的枠組みが必要である。この目的を達成するため、特定のAIシステムの市場への投入、サービス開始及び利用を規律する規則を定めるべきであり、これにより域内市場の円滑な機能を確保し、これらのシステムが物品及びサービスの自由な移動の原則の利益を享受できるようにすべきである。これらの規則は、基本的権利の保護において明確かつ強固であるとともに、新たな革新的ソリューションを支援し、連合の価値観に沿ってAIシステムを創出する官民の主体からなる欧州のエコシステムを可能にし、連合のあらゆる地域におけるデジタル変革の潜在力を引き出すものであるべきである。これらの規則及びスタートアップを含む中小企業(SME)に特に焦点を当てたイノベーション支援策を定めることにより、本規則は、欧州理事会が表明したとおり(5)、人間中心の欧州的アプローチをAIにおいて促進し、安全で信頼性があり倫理的なAIの開発における世界的な主導者となるという目的を支援するものであり、また、欧州議会が特に求めたとおり(6)、倫理原則の保護を確保するものである。
(9) Harmonised rules applicable to the placing on the market, the putting into service and the use of high-risk AI systems should be laid down consistently with Regulation (EC) No 765/2008 of the European Parliament and of the Council ( 7 ), Decision No 768/2008/EC of the European Parliament and of the Council ( 8 ) and Regulation (EU) 2019/1020 of the European Parliament and of the Council ( 9 ) (New Legislative Framework). The harmonised rules laid down in this Regulation should apply across sectors and, in line with the New Legislative Framework, should be without prejudice to existing Union law, in particular on data protection, consumer protection, fundamental rights, employment, and protection of workers, and product safety, to which this Regulation is complementary. As a consequence, all rights and remedies provided for by such Union law to consumers, and other persons on whom AI systems may have a negative impact, including as regards the compensation of possible damages pursuant to Council Directive 85/374/EEC ( 10) remain unaffected and fully applicable. Furthermore, in the context of employment and protection of workers, this Regulation should therefore not affect Union law on social policy and national labour law, in compliance with Union law, concerning employment and working conditions, including health and safety at work and the relationship between employers and workers. This Regulation should also not affect the exercise of fundamental rights as recognised in the Member States and at Union level, including the right or freedom to strike or to take other action covered by the specific industrial relations systems in Member States as well as the right to negotiate, to conclude and enforce collective agreements or to take collective action in accordance with national law. This Regulation should not affect the provisions aiming to improve working conditions in platform work laid down in a Directive of the European Parliament and of the Council on improving working conditions in platform work. Moreover, this Regulation aims to strengthen the effectiveness of such existing rights and remedies by establishing specific requirements and obligations, including in respect of the transparency, technical documentation and record-keeping of AI systems. Furthermore, the obligations placed on various operators involved in the AI value chain under this Regulation should apply without prejudice to national law, in compliance with Union law, having the effect of limiting the use of certain AI systems where such law falls outside the scope of this Regulation or pursues legitimate public interest objectives other than those pursued by this Regulation. For example, national labour law and law on the protection of minors, namely persons below the age of 18, taking into account the UNCRC General Comment No 25 (2021) on children’s rights in relation to the digital environment, insofar as they are not specific to AI systems and pursue other legitimate public interest objectives, should not be affected by this Regulation.
(9) ハイリスクAIシステムの市場への投入、サービス開始及び利用に適用される調和された規則は、欧州議会及び理事会の規則(EC)No 765/2008(7)、欧州議会及び理事会の決定No 768/2008/EC(8)並びに欧州議会及び理事会の規則(EU)2019/1020(9)(新立法枠組み)と整合的に定められるべきである。本規則に定める調和された規則は、分野横断的に適用されるべきであり、新立法枠組みに沿って、特にデータ保護、消費者保護、基本的権利、雇用及び労働者の保護、並びに製品安全に関する既存の連合法(本規則はこれを補完するものである。)を害するものではないものとする。その結果、そのような連合法によって消費者及びAIシステムが悪影響を及ぼし得るその他の者に与えられるすべての権利及び救済手段(理事会指令85/374/EEC(10)に基づく損害賠償に関するものを含む。)は、影響を受けず、引き続き全面的に適用される。さらに、雇用及び労働者の保護の観点から、本規則は、雇用及び労働条件(職場における安全衛生並びに使用者と労働者との関係を含む。)に関する社会政策及び連合法に適合する国内労働法に影響を及ぼすべきではない。本規則はまた、加盟国及び連合レベルで認められる基本的権利の行使(加盟国における特定の労使関係制度の対象となるストライキ権若しくはその他の行動をとる自由、並びに国内法に従って団体交渉を行い、団体協約を締結及び執行し、又は団体行動をとる権利を含む。)に影響を及ぼすものではない。本規則は、プラットフォーム労働における労働条件の改善に関する欧州議会及び理事会の指令に定める、プラットフォーム労働における労働条件の改善を目的とする規定に影響を及ぼすものではない。さらに、本規則は、AIシステムの透明性、技術文書及び記録の保持に関するものを含む特定の要件及び義務を定めることにより、そのような既存の権利及び救済手段の実効性を強化することを目的とする。加えて、本規則に基づきAIバリューチェーンに関与する各種事業者に課される義務は、当該国内法が本規則の適用範囲外である場合又は本規則が追求するものとは異なる正当な公共の利益の目的を追求する場合において、特定のAIシステムの利用を制限する効果を有する、連合法に適合する国内法を害することなく適用されるべきである。例えば、国内労働法及び未成年者(18歳未満の者をいう。)の保護に関する法律は、デジタル環境における子どもの権利に関する国連児童の権利委員会の一般的意見第25号(2021年)を考慮に入れつつ、AIシステムに特有のものでなく、かつ他の正当な公共の利益の目的を追求する限りにおいて、本規則の影響を受けるべきではない。
(10) The fundamental right to the protection of personal data is safeguarded in particular by Regulations (EU) 2016/679 ( 11) and (EU) 2018/1725 (12) of the European Parliament and of the Council and Directive (EU) 2016/680 of the European Parliament and of the Council ( 13). Directive 2002/58/EC of the European Parliament and of the Council ( 14) additionally protects private life and the confidentiality of communications, including by way of providing conditions for any storing of personal and non-personal data in, and access from, terminal equipment. Those Union legal acts provide the basis for sustainable and responsible data processing, including where data sets include a mix of personal and non-personal data. This Regulation does not seek to affect the application of existing Union law governing the processing of personal data, including the tasks and powers of the independent supervisory authorities competent to monitor compliance with those instruments. It also does not affect the obligations of providers and deployers of AI systems in their role as data controllers or processors stemming from Union or national law on the protection of personal data in so far as the design, the development or the use of AI systems involves the processing of personal data. It is also appropriate to clarify that data subjects continue to enjoy all the
(10) 個人データの保護に関する基本的権利は、特に欧州議会及び理事会の規則(EU)2016/679(11)及び(EU)2018/1725(12)並びに欧州議会及び理事会の指令(EU)2016/680(13)によって保護される。欧州議会及び理事会の指令2002/58/EC(14)は、さらに、端末設備における個人データ及び非個人データの保存並びにこれらへのアクセスに関する条件を定めることを含め、私生活及び通信の秘密を保護する。これらの連合の法的文書は、データセットが個人データと非個人データとの組み合わせを含む場合を含め、持続可能かつ責任あるデータ処理の基盤を提供する。本規則は、これらの法的文書の遵守を監視する権限を有する独立の監督機関の任務及び権限を含め、個人データの取扱いを規律する既存の連合法の適用に影響を及ぼすことを意図するものではない。本規則はまた、AIシステムの設計、開発又は利用が個人データの取扱いを伴う限りにおいて、データ管理者又はデータ処理者としての立場にあるAIシステムの提供者及び導入者の、個人データの保護に関する連合法又は国内法に基づく義務に影響を及ぼすものではない。また、データ主体が引き続きすべての
(11) This Regulation should be without prejudice to the provisions regarding the liability of providers of intermediary services as set out in Regulation (EU) 2022/2065 of the European Parliament and of the Council ( 15).
(11) 本規則は、欧州議会及び理事会の規則(EU)2022/2065(15)に定める仲介サービス提供者の責任に関する規定を害するものではない。
(12) The notion of ‘AI system’ in this Regulation should be clearly defined and should be closely aligned with the work of international organisations working on AI to ensure legal certainty, facilitate international convergence and wide acceptance, while providing the flexibility to accommodate the rapid technological developments in this field. Moreover, the definition should be based on key characteristics of AI systems that distinguish it from simpler traditional software systems or programming approaches and should not cover systems that are based on the rules defined solely by natural persons to automatically execute operations. A key characteristic of AI systems is their capability to infer. This capability to infer refers to the process of obtaining the outputs, such as predictions, content, recommendations, or decisions, which can influence physical and virtual environments, and to a capability of AI systems to derive models or algorithms, or both, from inputs or data. The techniques that enable inference while building an AI system include machine learning approaches that learn from data how to achieve certain objectives, and logic- and knowledge-based approaches that infer from encoded knowledge or symbolic representation of the task to be solved. The capacity of an AI system to infer transcends basic data processing by enabling learning, reasoning or modelling. The term ‘machine-based’ refers to the fact that AI systems run on machines. The reference to explicit or implicit objectives underscores that AI systems can operate according to explicit defined objectives or to implicit objectives. The objectives of the AI system may be different from the intended purpose of the AI system in a specific context. For the purposes of this Regulation, environments should be understood to be the contexts in which the AI systems operate, whereas outputs generated by the AI system reflect different functions performed by AI systems and include predictions, content, recommendations or decisions. AI systems are designed to operate with varying levels of autonomy, meaning that they have some degree of independence of actions from human involvement and of capabilities to operate without human intervention. The adaptiveness that an AI system could exhibit after deployment, refers to self-learning capabilities, allowing the system to change while in use. AI systems can be used on a stand-alone basis or as a component of a product, irrespective of whether the system is physically integrated into the product (embedded) or serves the functionality of the product without being integrated therein (non-embedded).
(12) 本規則における「AIシステム」の概念は、明確に定義されるべきであり、法的安定性を確保し、国際的な収れん及び広範な受容を促進する一方で、この分野における急速な技術的発展に対応できる柔軟性を確保するため、AIに関して活動する国際機関の取組と密接に整合させるべきである。さらに、この定義は、単純な従来型のソフトウェアシステム又はプログラミング手法とAIシステムとを区別する主要な特性に基づくべきであり、自然人のみが定めた規則に基づいて操作を自動的に実行するシステムを対象とすべきではない。AIシステムの主要な特性の一つは、推論を行う能力である。この推論を行う能力とは、物理的及び仮想的な環境に影響を及ぼし得る予測、コンテンツ、推奨又は決定等のアウトプットを得るプロセス、並びに入力又はデータからモデル若しくはアルゴリズム又はその双方を導き出すAIシステムの能力をいう。AIシステムの構築において推論を可能にする技術には、データから特定の目的を達成する方法を学習する機械学習のアプローチ、及び符号化された知識若しくは解決すべき課題のシンボリック表現から推論を行う論理及び知識に基づくアプローチが含まれる。AIシステムが推論を行う能力は、学習、推理又はモデル化を可能にすることにより、基本的なデータ処理を超えるものである。「機械に基づく」という用語は、AIシステムが機械上で動作するという事実を指す。明示的又は黙示的な目的への言及は、AIシステムが明示的に定義された目的又は黙示的な目的に従って動作し得ることを強調するものである。AIシステムの目的は、特定の状況におけるAIシステムの意図された用途とは異なる場合がある。本規則の目的上、環境とは、AIシステムが動作する状況として理解されるべきであり、他方、AIシステムにより生成されるアウトプットは、AIシステムが果たす様々な機能を反映するものであり、予測、コンテンツ、推奨又は決定を含む。AIシステムは、様々な水準の自律性をもって動作するよう設計されており、これは、人の関与からある程度独立して行動し、また人の介入なしに動作する能力をある程度有することを意味する。AIシステムが展開後に示し得る適応性とは、自己学習能力を指し、システムが利用中に変化することを可能にする。AIシステムは、単独で利用することもでき、また、製品に物理的に組み込まれているか(組込み型)、組み込まれることなく製品の機能を果たすか(非組込み型)を問わず、製品の構成要素として利用することもできる。
(13) The notion of ‘deployer’ referred to in this Regulation should be interpreted as any natural or legal person, including a public authority, agency or other body, using an AI system under its authority, except where the AI system is used in the course of a personal non-professional activity. Depending on the type of AI system, the use of the system may affect persons other than the deployer.
(13) 本規則にいう「導入者」の概念は、AIシステムが個人的かつ非職業的な活動の過程で利用される場合を除き、その権限の下でAIシステムを利用する自然人若しくは法人(公的機関、機関その他の団体を含む。)として解釈されるべきである。AIシステムの種類によっては、当該システムの利用が導入者以外の者に影響を及ぼすことがある。
(14) The notion of ‘biometric data’ used in this Regulation should be interpreted in light of the notion of biometric data as defined in Article 4, point (14) of Regulation (EU) 2016/679, Article 3, point (18) of Regulation (EU) 2018/1725 and Article 3, point (13) of Directive (EU) 2016/680. Biometric data can allow for the authentication, identification or categorisation of natural persons and for the recognition of emotions of natural persons.
(14) 本規則で用いる「生体データ」の概念は、規則(EU)2016/679第4条第14号、規則(EU)2018/1725第3条第18号及び指令(EU)2016/680第3条第13号に定める生体データの概念に照らして解釈されるべきである。生体データは、自然人の認証、識別又は分類、及び自然人の感情の認識を可能にし得る。
(15) The notion of ‘biometric identification’ referred to in this Regulation should be defined as the automated recognition of physical, physiological and behavioural human features such as the face, eye movement, body shape, voice, prosody, gait, posture, heart rate, blood pressure, odour, keystrokes characteristics, for the purpose of establishing an individual’s identity by comparing biometric data of that individual to stored biometric data of individuals in a reference database, irrespective of whether the individual has given its consent or not. This excludes AI systems intended to be used for biometric verification, which includes authentication, whose sole purpose is to confirm that a specific natural person is the person he or she claims to be and to confirm the identity of a natural person for the sole purpose of having access to a service, unlocking a device or having security access to premises.
(15) 本規則にいう「生体識別」の概念は、当該個人が同意を与えたか否かを問わず、参照データベース中の個人の保存された生体データと当該個人の生体データとを比較することにより個人の身元を確認することを目的として、顔、眼球運動、体形、声、韻律、歩行、姿勢、心拍数、血圧、体臭、打鍵の特徴等の身体的、生理的及び行動的な人の特徴を自動的に認識することと定義されるべきである。これには、特定の自然人が本人であると主張する者であることの確認のみを目的とし、また、サービスへのアクセス、機器のロック解除又は施設への安全なアクセスのみを目的として自然人の身元を確認する生体検証(認証を含む。)に用いることを意図したAIシステムは含まれない。
(16) The notion of ‘biometric categorisation’ referred to in this Regulation should be defined as assigning natural persons to specific categories on the basis of their biometric data. Such specific categories can relate to aspects such as sex, age, hair colour, eye colour, tattoos, behavioural or personality traits, language, religion, membership of a national minority, sexual or political orientation. This does not include biometric categorisation systems that are a purely ancillary feature intrinsically linked to another commercial service, meaning that the feature cannot, for objective technical reasons, be used without the principal service, and the integration of that feature or functionality is not a means to circumvent the applicability of the rules of this Regulation. For example, filters categorising facial or body features used on online marketplaces could constitute such an ancillary feature as they can be used only in relation to the principal service which consists in selling a product by allowing the consumer to preview the display of the product on him or herself and help the consumer to make a purchase decision. Filters used on online social network services which categorise facial or body features to allow users to add or modify pictures or videos could also be considered to be ancillary feature as such filter cannot be used without the principal service of the social network services consisting in the sharing of content online.
(16) 本規則にいう「生体分類」の概念は、自然人をその生体データに基づいて特定の区分に割り当てることと定義されるべきである。そのような特定の区分は、性別、年齢、髪の色、目の色、タトゥー、行動特性若しくは性格特性、言語、宗教、民族的少数派への帰属、性的指向又は政治的指向といった側面に関連し得る。これには、他の商業的サービスに本質的に結び付いた純粋に付随的な特徴にすぎない生体分類システムは含まれない。すなわち、当該特徴が客観的な技術的理由により主たるサービスなしには使用できず、かつ、当該特徴又は機能の統合が本規則の規則の適用を回避する手段でない場合である。例えば、オンライン・マーケットプレイスで使用される顔又は身体の特徴を分類するフィルターは、消費者が自身への製品の表示をプレビューし、購入の意思決定を助けるという、製品の販売から成る主たるサービスとの関係でのみ使用され得ることから、そのような付随的特徴に該当し得る。オンライン・ソーシャルネットワーク・サービスにおいて、利用者が画像又は動画を追加若しくは修正できるように顔又は身体の特徴を分類するために使用されるフィルターも、当該フィルターがオンラインでのコンテンツの共有から成るソーシャルネットワーク・サービスの主たるサービスなしには使用できないことから、付随的特徴とみなされ得る。
(17) The notion of ‘remote biometric identification system’ referred to in this Regulation should be defined functionally, as an AI system intended for the identification of natural persons without their active involvement, typically at a distance, through the comparison of a person’s biometric data with the biometric data contained in a reference database, irrespectively of the particular technology, processes or types of biometric data used. Such remote biometric identification systems are typically used to perceive multiple persons or their behaviour simultaneously in order to facilitate significantly the identification of natural persons without their active involvement. This excludes AI systems intended to be used for biometric verification, which includes authentication, the sole purpose of which is to confirm that a specific natural person is the person he or she claims to be and to confirm the identity of a natural person for the sole purpose of having access to a service, unlocking a device or having security access to premises. That exclusion is justified by the fact that such systems are likely to have a minor impact on fundamental rights of natural persons compared to the remote biometric identification systems which may be used for the processing of the biometric data of a large number of persons without their active involvement. In the case of ‘real-time’ systems, the capturing of the biometric data, the comparison and the identification occur all instantaneously, near-instantaneously or in any event without a significant delay. In this regard, there should be no scope for circumventing the rules of this Regulation on the ‘real-time’ use of the AI systems concerned by providing for minor delays. ‘Real-time’ systems involve the use of ‘live’ or ‘near-live’ material, such as video footage, generated by a camera or other device with similar functionality. In the case of ‘post’ systems, in contrast, the biometric data has already been captured and the comparison and identification occur only after a significant delay. This involves material, such as pictures or video footage generated by closed circuit television cameras or private devices, which has been generated before the use of the system in respect of the natural persons concerned.
(17) 本規則にいう「遠隔生体識別システム」の概念は、使用される特定の技術、処理過程又は生体データの種類にかかわらず、通常は離れた場所から、ある人の生体データを参照データベースに含まれる生体データと照合することにより、自然人の能動的な関与なしにその識別を行うことを目的とするAIシステムとして、機能的に定義されるべきである。そのような遠隔生体識別システムは、通常、複数の者又はその行動を同時に把握し、それにより自然人の能動的な関与なしにその識別を著しく容易にするために使用される。これには、特定の自然人が本人であると主張する者であることを確認することのみを目的とする生体検証(認証を含む)、又はサービスへのアクセス、機器のロック解除若しくは施設への安全なアクセスのみを目的として自然人の身元を確認するために使用されることを意図したAIシステムは含まれない。この除外は、そのようなシステムが、自然人の能動的な関与なしに多数の者の生体データの処理に使用され得る遠隔生体識別システムと比較して、自然人の基本的権利に与える影響が軽微である可能性が高いという事実により正当化される。「リアルタイム」システムの場合、生体データの取得、照合及び識別は、すべて瞬時に、ほぼ瞬時に、又はいずれにせよ著しい遅延なく行われる。この点に関し、わずかな遅延を設けることにより、関連するAIシステムの「リアルタイム」使用に関する本規則の規則を回避する余地があってはならない。「リアルタイム」システムは、カメラ又は同様の機能を有するその他の機器によって生成された映像等の「ライブ」又は「ほぼライブ」の素材の使用を伴う。これに対し、「事後」システムの場合、生体データは既に取得されており、照合及び識別は著しい遅延の後にのみ行われる。これは、閉回路テレビカメラ又は私的機器によって、関係する自然人について当該システムの使用前に生成された画像又は映像等の素材を伴う。
(18) The notion of ‘emotion recognition system’ referred to in this Regulation should be defined as an AI system for the purpose of identifying or inferring emotions or intentions of natural persons on the basis of their biometric data. The notion refers to emotions or intentions such as happiness, sadness, anger, surprise, disgust, embarrassment, excitement, shame, contempt, satisfaction and amusement. It does not include physical states, such as pain or fatigue, including, for example, systems used in detecting the state of fatigue of professional pilots or drivers for the purpose of preventing accidents. This does also not include the mere detection of readily apparent expressions, gestures or movements, unless they are used for identifying or inferring emotions. Those expressions can be basic facial expressions, such as a frown or a smile, or gestures such as the movement of hands, arms or head, or characteristics of a person’s voice, such as a raised voice or whispering.
(18) 本規則にいう「感情認識システム」の概念は、自然人の生体データに基づき、その感情又は意図を識別し若しくは推論することを目的とするAIシステムと定義されるべきである。この概念は、幸福、悲しみ、怒り、驚き、嫌悪、当惑、興奮、恥、軽蔑、満足及び愉快といった感情又は意図を指す。これには、痛み又は疲労等の身体的状態(例えば、事故を防止する目的でプロの操縦士又は運転者の疲労状態を検知するために使用されるシステムを含む)は含まれない。また、感情の識別又は推論のために用いられる場合を除き、容易に認識できる表情、身振り又は動作の単なる検知も含まれない。そのような表情には、しかめ面や笑顔等の基本的な顔の表情、手、腕若しくは頭の動き等の身振り、又は声を荒らげる若しくはささやく等の人の声の特徴が含まれ得る。
(19) For the purposes of this Regulation the notion of ‘publicly accessible space’ should be understood as referring to any physical space that is accessible to an undetermined number of natural persons, and irrespective of whether the space in question is privately or publicly owned, irrespective of the activity for which the space may be used, such as for commerce, for example, shops, restaurants, cafés; for services, for example, banks, professional activities, hospitality; for sport, for example, swimming pools, gyms, stadiums; for transport, for example, bus, metro and railway stations, airports, means of transport; for entertainment, for example, cinemas, theatres, museums, concert and conference halls; or for leisure or otherwise, for example, public roads and squares, parks, forests, playgrounds. A space should also be classified as being publicly accessible if, regardless of potential capacity or security restrictions, access is subject to certain predetermined conditions which can be fulfilled by an undetermined number of persons, such as the purchase of a ticket or title of transport, prior registration or having a certain age. In contrast, a space should not be considered to be publicly accessible if access is limited to specific and defined natural persons through either Union or national law directly related to public safety or security or through the clear manifestation
(19) 本規則の目的上、「公衆がアクセス可能な空間」の概念は、当該空間が私的に所有されているか公的に所有されているかを問わず、また当該空間が使用され得る活動の内容(例えば、商業のための空間、例えば店舗、レストラン、カフェ、サービスのための空間、例えば銀行、専門的活動、接客業、スポーツのための空間、例えばプール、ジム、競技場、輸送のための空間、例えばバス・地下鉄・鉄道の駅、空港、輸送手段、娯楽のための空間、例えば映画館、劇場、美術館、コンサートホール及び会議場、又は余暇その他のための空間、例えば公道・広場、公園、森林、遊び場)を問わず、不特定多数の自然人がアクセス可能な物理的空間を指すものと理解されるべきである。空間は、潜在的な収容能力又は安全上の制限にかかわらず、乗車券若しくは輸送券の購入、事前登録又は一定の年齢に達していること等、不特定多数の者が満たし得る一定の事前に定められた条件にアクセスが服する場合にも、公衆がアクセス可能なものに分類されるべきである。これに対し、公共の安全若しくは治安に直接関連する連合法若しくは加盟国の国内法により、又は明確な意思表示により、アクセスが特定かつ限定された自然人に制限されている場合、当該空間は公衆がアクセス可能なものとはみなされるべきではない。
(20) In order to obtain the greatest benefits from AI systems while protecting fundamental rights, health and safety and to enable democratic control, AI literacy should equip providers, deployers and affected persons with the necessary notions to make informed decisions regarding AI systems. Those notions may vary with regard to the relevant context and can include understanding the correct application of technical elements during the AI system’s development phase, the measures to be applied during its use, the suitable ways in which to interpret the AI system’s output, and, in the case of affected persons, the knowledge necessary to understand how decisions taken with the assistance of AI will have an impact on them. In the context of the application this Regulation, AI literacy should provide all relevant actors in the AI value chain with the insights required to ensure the appropriate compliance and its correct enforcement. Furthermore, the wide implementation of AI literacy measures and the introduction of appropriate follow-up actions could contribute to improving working conditions and ultimately sustain the consolidation, and innovation path of trustworthy AI in the Union. The European Artificial Intelligence Board (the ‘Board’) should support the Commission, to promote AI literacy tools, public awareness and understanding of the benefits, risks, safeguards, rights and obligations in relation to the use of AI systems. In cooperation with the relevant stakeholders, the Commission and the Member States should facilitate the drawing up of voluntary codes of conduct to advance AI literacy among persons dealing with the development, operation and use of AI.
(20) AIシステムから最大限の便益を得つつ基本的権利、健康及び安全を保護し、かつ民主的統制を可能にするためには、AIリテラシーが、提供者、デプロイヤー及び影響を受ける者に対し、AIシステムに関して十分な情報に基づく決定を行うために必要な知見を備えさせるものであるべきである。これらの知見は関連する文脈に応じて異なり得るものであり、AIシステムの開発段階における技術的要素の正しい適用の理解、使用中に適用されるべき措置、AIシステムの出力を解釈するための適切な方法、及び影響を受ける者の場合には、AIの支援を得て下された決定が自身にどのような影響を及ぼすかを理解するために必要な知識を含み得る。本規則の適用の文脈において、AIリテラシーは、AI価値連鎖に関わるすべての関連する関係者に対し、適切な遵守及びその正確な執行を確保するために必要な見識を提供するべきである。さらに、AIリテラシーに関する措置の広範な実施及び適切な事後措置の導入は、労働条件の改善に寄与し、ひいては連合における信頼できるAIの定着及び革新の道筋を支えることにつながり得る。欧州人工知能理事会(以下「理事会」という)は、AIシステムの使用に関連する便益、リスク、保護措置、権利及び義務についてのAIリテラシー・ツール、公衆の認識及び理解を促進するため、委員会を支援するべきである。委員会及び加盟国は、関連する利害関係者と協力し、AIの開発、運用及び使用に携わる者の間でAIリテラシーを高めるための任意の行動規範の策定を促進するべきである。
(21) In order to ensure a level playing field and an effective protection of rights and freedoms of individuals across the Union, the rules established by this Regulation should apply to providers of AI systems in a non-discriminatory manner, irrespective of whether they are established within the Union or in a third country, and to deployers of AI systems established within the Union.
(21) 連合全体にわたり公平な競争条件を確保し、個人の権利及び自由の効果的な保護を確保するため、本規則により定められる規則は、連合内に設立されているか第三国に設立されているかを問わず、AIシステムの提供者に対し、また連合内に設立されているAIシステムのデプロイヤーに対し、無差別に適用されるべきである。
(22) In light of their digital nature, certain AI systems should fall within the scope of this Regulation even when they are not placed on the market, put into service, or used in the Union. This is the case, for example, where an operator established in the Union contracts certain services to an operator established in a third country in relation to an activity to be performed by an AI system that would qualify as high-risk. In those circumstances, the AI system used in a third country by the operator could process data lawfully collected in and transferred from the Union, and provide to the contracting operator in the Union the output of that AI system resulting from that processing, without that AI system being placed on the market, put into service or used in the Union. To prevent the circumvention of this Regulation and to ensure an effective protection of natural persons located in the Union, this Regulation should also apply to providers and deployers of AI systems that are established in a third country, to the extent the output produced by those systems is intended to be used in the Union. Nonetheless, to take into account existing arrangements and special needs for future cooperation with foreign partners with whom information and evidence is exchanged, this Regulation should not apply to public authorities of a third country and international organisations when acting in the framework of cooperation or international agreements concluded at Union or national level for law enforcement and judicial cooperation with the Union or the Member States, provided that the relevant third country or international organisation provides adequate safeguards with respect to the protection of fundamental rights and freedoms of individuals. Where relevant, this may cover activities of entities entrusted by the third countries to carry out specific tasks in support of such law enforcement and judicial cooperation. Such framework for cooperation or agreements have been established bilaterally between Member States and third countries or between the European Union, Europol and other Union agencies and third countries and international organisations. The authorities competent for supervision of the law enforcement and judicial authorities under this Regulation should assess whether those frameworks for cooperation or international agreements include adequate safeguards with respect to the protection of fundamental rights and freedoms of individuals. Recipient national
(22) その電子的性質に鑑み、特定のAIシステムは、連合内で市場に上市され、稼働に供され、又は使用されていない場合であっても、本規則の適用範囲に含まれるべきである。これは、例えば、連合内に設立された事業者が、高リスクに該当し得るAIシステムによって行われる活動に関連し、第三国に設立された事業者に一定のサービスを委託する場合である。この場合、当該事業者が第三国で使用するAIシステムは、連合内で適法に収集され連合から移転されたデータを処理し、当該処理から生じるAIシステムの出力を連合内の委託元事業者に提供することがあり、その際、当該AIシステムが連合内で市場に上市され、稼働に供され、又は使用されているわけではない。本規則の回避を防止し、連合内に所在する自然人の効果的な保護を確保するため、本規則は、第三国に設立されたAIシステムの提供者及びデプロイヤーに対しても、それらのシステムによって生成される出力が連合内で使用されることが意図されている限りにおいて、適用されるべきである。ただし、情報及び証拠の交換を行う外国の相手方との将来の協力について既存の取決め及び特別な必要性を考慮するため、本規則は、関連する第三国又は国際機関が個人の基本的権利及び自由の保護に関して十分な保護措置を提供することを条件として、連合又は加盟国との法執行及び司法協力のために連合レベル若しくは国内レベルで締結された協力の枠組み又は国際協定の下で行動する第三国の公的機関及び国際機関には適用されるべきではない。該当する場合、これは、そのような法執行及び司法協力を支援するために第三国から特定の任務を委ねられた事業体の活動を対象とすることがある。このような協力の枠組み又は協定は、加盟国と第三国との間で、又は欧州連合、欧州刑事警察機構(Europol)その他の連合機関と第三国及び国際機関との間で、二国間で締結されてきた。本規則の下で法執行機関及び司法当局の監督を担当する当局は、これらの協力の枠組み又は国際協定が個人の基本的権利及び自由の保護に関して十分な保護措置を含んでいるかを評価するべきである。
(23) This Regulation should also apply to Union institutions, bodies, offices and agencies when acting as a provider or deployer of an AI system.
(23) 本規則は、AIシステムの提供者又はデプロイヤーとして行動する場合には、連合の機関、団体、事務所及び機関に対しても適用されるべきである。
(24) If, and insofar as, AI systems are placed on the market, put into service, or used with or without modification of such systems for military, defence or national security purposes, those should be excluded from the scope of this Regulation regardless of which type of entity is carrying out those activities, such as whether it is a public or private entity. As regards military and defence purposes, such exclusion is justified both by Article 4(2) TEU and by the specificities of the Member States’ and the common Union defence policy covered by Chapter 2 of Title V TEU that are subject to public international law, which is therefore the more appropriate legal framework for the regulation of AI systems in the context of the use of lethal force and other AI systems in the context of military and defence activities. As regards national security purposes, the exclusion is justified both by the fact that national security remains the sole responsibility of Member States in accordance with Article 4(2) TEU and by the specific nature and operational needs of national security activities and specific national rules applicable to those activities. Nonetheless, if an AI system developed, placed on the market, put into service or used for military, defence or national security purposes is used outside those temporarily or permanently for other purposes, for example, civilian or humanitarian purposes, law enforcement or public security purposes, such a system would fall within the scope of this Regulation. In that case, the entity using the AI system for other than military, defence or national security purposes should ensure the compliance of the AI system with this Regulation, unless the system is already compliant with this Regulation. AI systems placed on the market or put into service for an excluded purpose, namely military, defence or national security, and one or more non-excluded purposes, such as civilian purposes or law enforcement, fall within the scope of this Regulation and providers of those systems should ensure compliance with this Regulation. In those cases, the fact that an AI system may fall within the scope of this Regulation should not affect the possibility of entities carrying out national security, defence and military activities, regardless of the type of entity carrying out those activities, to use AI systems for national security, military and defence purposes, the use of which is excluded from the scope of this Regulation. An AI system placed on the market for civilian or law enforcement purposes which is used with or without modification for military, defence or national security purposes should not fall within the scope of this Regulation, regardless of the type of entity carrying out those activities.
(24) AIシステムが、改変の有無を問わず、軍事、防衛又は国家安全保障の目的のために市場に上市され、稼働に供され、又は使用される場合、その限りにおいて、当該活動を行う事業体の種類(公的事業体であるか私的事業体であるかを問わない)にかかわらず、当該AIシステムは本規則の適用範囲から除外されるべきである。軍事及び防衛の目的に関しては、この除外は、欧州連合条約(TEU)第4条(2)並びに国際公法に服するTEU第5編第2章が対象とする加盟国及び連合共通の防衛政策の特殊性の双方により正当化され、これらが、致死力の行使及び軍事・防衛活動の文脈におけるその他のAIシステムの使用に関連する文脈におけるAIシステムの規制のためのより適切な法的枠組みとなる。国家安全保障の目的に関しては、この除外は、TEU第4条(2)に従い国家安全保障が引き続き加盟国の専管事項であるという事実、及び国家安全保障活動の特有の性質及び運用上の必要性並びに当該活動に適用される特定の国内規則の双方により正当化される。ただし、軍事、防衛又は国家安全保障の目的のために開発され、市場に上市され、稼働に供され、又は使用されるAIシステムが、それらの目的の外で一時的又は恒久的に他の目的(例えば、民生若しくは人道的目的、法執行又は公共の安全の目的)のために使用される場合、当該システムは本規則の適用範囲に含まれることとなる。この場合、軍事、防衛又は国家安全保障以外の目的でAIシステムを使用する事業体は、当該システムが既に本規則に適合していない限り、当該AIシステムの本規則への適合を確保するべきである。除外された目的、すなわち軍事、防衛又は国家安全保障の目的、及び民生目的又は法執行等の除外されない一又は複数の目的のために市場に上市され又は稼働に供されるAIシステムは、本規則の適用範囲に含まれ、当該システムの提供者は本規則の遵守を確保するべきである。これらの場合において、AIシステムが本規則の適用範囲に含まれ得るという事実は、国家安全保障、防衛及び軍事活動を行う事業体(当該活動を行う事業体の種類にかかわらない)が、本規則の適用範囲から除外される使用である国家安全保障、軍事及び防衛の目的のためにAIシステムを使用する可能性に影響を及ぼすべきではない。民生又は法執行の目的のために市場に上市されたAIシステムが、改変の有無を問わず軍事、防衛又は国家安全保障の目的のために使用される場合、当該活動を行う事業体の種類にかかわらず、当該AIシステムは本規則の適用範囲に含まれるべきではない。
(25) This Regulation should support innovation, should respect freedom of science, and should not undermine research and development activity. It is therefore necessary to exclude from its scope AI systems and models specifically developed and put into service for the sole purpose of scientific research and development. Moreover, it is necessary to ensure that this Regulation does not otherwise affect scientific research and development activity on AI systems or models prior to being placed on the market or put into service. As regards product-oriented research, testing and development activity regarding AI systems or models, the provisions of this Regulation should also not apply prior to those systems and models being put into service or placed on the market. That exclusion is without prejudice to the obligation to comply with this Regulation where an AI system falling into the scope of this Regulation is placed on the market or put into service as a result of such research and development activity and to the application of provisions on AI regulatory sandboxes and testing in real world conditions. Furthermore, without prejudice to the exclusion of AI systems specifically developed and put into service for the sole purpose of scientific research and development, any other AI system that may be used for the conduct of any research and development activity should remain subject to the provisions of this Regulation. In any event, any research and development activity should be carried out in accordance with recognised ethical and professional standards for scientific research and should be conducted in accordance with applicable Union law.
(25) 本規則は、革新を支援し、科学の自由を尊重し、研究開発活動を損なうものであるべきではない。したがって、専ら科学研究開発の目的のために特に開発され稼働に供されるAIシステム及びAIモデルは、その適用範囲から除外することが必要である。さらに、本規則が、市場への上市又は稼働への提供の前におけるAIシステム又はAIモデルに関する科学研究開発活動にその他の点で影響を及ぼさないことを確保することが必要である。製品を志向する研究、試験及び開発活動に関しても、当該AIシステム又はAIモデルが稼働に供され又は市場に上市される前は、本規則の規定は適用されるべきではない。この除外は、そのような研究開発活動の結果として本規則の適用範囲に含まれるAIシステムが市場に上市され又は稼働に供される場合に本規則を遵守する義務、及びAI規制サンドボックス並びに実環境における試験に関する規定の適用を妨げるものではない。さらに、専ら科学研究開発の目的のために特に開発され稼働に供されるAIシステムの除外を妨げることなく、あらゆる研究開発活動の遂行に使用され得るその他のAIシステムは、本規則の規定に引き続き服するべきである。いずれの場合においても、あらゆる研究開発活動は、科学研究に関して認められた倫理的及び職業的基準に従って行われ、かつ適用される連合法に従って行われるべきである。
(26) In order to introduce a proportionate and effective set of binding rules for AI systems, a clearly defined risk-based approach should be followed. That approach should tailor the type and content of such rules to the intensity and scope of the risks that AI systems can generate. It is therefore necessary to prohibit certain unacceptable AI practices, to lay down requirements for high-risk AI systems and obligations for the relevant operators, and to lay down transparency obligations for certain AI systems.
(26) AIシステムに関する比例的かつ実効的な拘束力ある規則の体系を導入するため、明確に定義されたリスクベースのアプローチが採られるべきである。このアプローチは、そのような規則の種類及び内容を、AIシステムが生じさせ得るリスクの強度及び範囲に適合させるべきである。したがって、一定の許容し得ないAI慣行を禁止し、高リスクAIシステムに係る要件及び関連する事業者の義務を定め、並びに一定のAIシステムに係る透明性の義務を定めることが必要である。
(27) While the risk-based approach is the basis for a proportionate and effective set of binding rules, it is important to recall the 2019 Ethics guidelines for trustworthy AI developed by the independent AI HLEG appointed by the Commission. In those guidelines, the AI HLEG developed seven non-binding ethical principles for AI which are intended to help ensure that AI is trustworthy and ethically sound. The seven principles include human agency and oversight; technical robustness and safety; privacy and data governance; transparency; diversity, non-discrimination and fairness; societal and environmental well-being and accountability. Without prejudice to the legally binding requirements of this Regulation and any other applicable Union law, those guidelines contribute to the design of coherent, trustworthy and human-centric AI, in line with the Charter and with the values on which the Union is founded. According to the guidelines of the AI HLEG, human agency and oversight means that AI systems are developed and used as a tool that serves people, respects human dignity and personal autonomy, and that is functioning in a way that can be appropriately controlled and overseen by humans. Technical robustness and safety means that AI systems are developed and used in a way that allows robustness in the case of problems and resilience against attempts to alter the use or performance of the AI system so as to allow unlawful use by third parties, and minimise unintended harm. Privacy and data governance means that AI systems are developed and used in accordance with privacy and data protection rules, while processing data that meets high standards in terms of quality and integrity. Transparency means that AI systems are developed and used in a way that allows appropriate traceability and explainability, while making humans aware that they communicate or interact with an AI system, as well as duly informing deployers of the capabilities and limitations of that AI system and affected persons about their rights. Diversity, non-discrimination and fairness means that AI systems are developed and used in a way that includes diverse actors and promotes equal access, gender equality and cultural diversity, while avoiding discriminatory impacts and unfair biases that are prohibited by Union or national law. Social and environmental well-being means that AI systems are developed and used in a sustainable and environmentally friendly manner as well as in a way to benefit all human beings, while monitoring and assessing the long-term impacts on the individual, society and democracy. The application of those principles should be translated, when possible, in the design and use of AI models. They should in any case serve as a basis for the drafting of codes of conduct under this Regulation. All stakeholders, including industry, academia, civil society and standardisation organisations, are encouraged to take into account, as appropriate, the ethical principles for the development of voluntary best practices and standards.
(27) リスクベースのアプローチが比例的かつ実効的な拘束力ある規則の体系の基礎であるとしても、委員会により任命された独立の高度専門家グループ(AI HLEG)が策定した2019年の「信頼できるAIのための倫理ガイドライン」を想起することが重要である。同ガイドラインにおいて、AI HLEGは、AIが信頼でき倫理的に健全であることを確保する一助となることを意図した、法的拘束力のない7つのAI倫理原則を策定した。これら7つの原則には、人間の主体性及び監視、技術的堅牢性及び安全性、プライバシー及びデータガバナンス、透明性、多様性、無差別及び公平性、並びに社会及び環境の福祉並びに説明責任が含まれる。本規則の法的拘束力のある要件及びその他の適用される連合法を妨げることなく、これらのガイドラインは、憲章及び連合の基礎となる価値観に沿った、整合的で信頼でき人間中心のAIの設計に寄与する。AI HLEGのガイドラインによれば、人間の主体性及び監視とは、AIシステムが、人々に奉仕し、人間の尊厳及び個人の自律性を尊重するツールとして開発され使用され、かつ人間による適切な統制及び監視が可能な方法で機能することを意味する。技術的堅牢性及び安全性とは、AIシステムが、問題が生じた場合における堅牢性、及び第三者による不法な使用を可能にするようなAIシステムの使用又は性能を改変しようとする試みに対する耐性を許容し、意図しない損害を最小化する方法で開発され使用されることを意味する。プライバシー及びデータガバナンスとは、AIシステムが、品質及び完全性に関して高い基準を満たすデータを処理しつつ、プライバシー及びデータ保護に関する規則に従って開発され使用されることを意味する。透明性とは、AIシステムが、適切なトレーサビリティ及び説明可能性を可能にする方法で開発され使用され、人間がAIシステムと通信し又は相互作用していることを認識するようにし、並びにデプロイヤーに対して当該AIシステムの能力及び限界について、影響を受ける者に対してその権利について、適切に情報提供する方法で開発され使用されることを意味する。多様性、無差別及び公平性とは、AIシステムが、多様な行為者を包摂し、平等なアクセス、男女平等及び文化的多様性を促進する方法で開発され使用され、連合法又は国内法により禁止される差別的影響及び不公正な偏見を回避することを意味する。社会及び環境の福祉とは、AIシステムが、持続可能かつ環境に配慮した方法で、かつすべての人間に便益をもたらす方法で開発され使用され、個人、社会及び民主主義に対する長期的な影響を監視及び評価することを意味する。これらの原則の適用は、可能な場合には、AIモデルの設計及び使用に反映されるべきである。これらはいずれにせよ、本規則に基づく行動規範の起草の基礎として機能するべきである。産業界、学界、市民社会及び標準化機関を含むすべての利害関係者は、任意のベストプラクティス及び標準の策定のために、適宜これらの倫理原則を考慮に入れることが奨励される。
(28) Aside from the many beneficial uses of AI, it can also be misused and provide novel and powerful tools for manipulative, exploitative and social control practices. Such practices are particularly harmful and abusive and should be prohibited because they contradict Union values of respect for human dignity, freedom, equality, democracy and the rule of law and fundamental rights enshrined in the Charter, including the right to non-discrimination, to data protection and to privacy and the rights of the child.
(28) AIには多くの有益な用途がある一方で、それは悪用され、操作、搾取及び社会統制の慣行のための新規かつ強力な手段を提供することもあり得る。そのような慣行は特に有害かつ濫用的であり、人間の尊厳、自由、平等、民主主義及び法の支配、並びに無差別の権利、データ保護に対する権利、プライバシーに対する権利及び子どもの権利を含む憲章に定められた基本的権利という連合の価値観に反することから、禁止されるべきである。
(29) AI-enabled manipulative techniques can be used to persuade persons to engage in unwanted behaviours, or to deceive them by nudging them into decisions in a way that subverts and impairs their autonomy, decision-making and free choices. The placing on the market, the putting into service or the use of certain AI systems with the objective to or the effect of materially distorting human behaviour, whereby significant harms, in particular having sufficiently important adverse impacts on physical, psychological health or financial interests are likely to occur, are particularly dangerous and should therefore be prohibited. Such AI systems deploy subliminal components such as audio, image, video stimuli that persons cannot perceive, as those stimuli are beyond human perception, or other manipulative or deceptive techniques that subvert or impair person’s autonomy, decision-making or free choice in ways that people are not consciously aware of those techniques or, where they are aware of them, can still be deceived or are not able to control or resist them. This could be facilitated, for example, by machine-brain interfaces or virtual reality as they allow for a higher degree of control of what stimuli are presented to persons, insofar as they may materially distort their behaviour in a significantly harmful manner. In addition, AI systems may also otherwise exploit the vulnerabilities of a person or a specific group of persons due to their age, disability within the meaning of Directive (EU) 2019/882 of the European Parliament and of the Council ( 16), or a specific social or economic situation that is likely to make those persons more vulnerable to exploitation such as persons living in extreme poverty, ethnic or religious minorities. Such AI systems can be placed on the market, put into service or used with the objective to or the effect of materially distorting the behaviour of a person and in a manner that causes or is reasonably likely to cause significant harm to that or another person or groups of persons, including harms that may be accumulated over time and should therefore be prohibited. It may not be possible to assume that there is an
(29) AIを利用した操作的技術は、人々を望まない行動に従事させるよう説得し、又はその自律性、意思決定及び自由な選択を歪め損なう方法で人々を特定の決定へと誘導することにより人々を欺くために使用され得る。人間の行動を実質的に歪めることを目的とし又はその効果を有し、それにより特に身体的若しくは心理的健康又は経済的利益に対して十分に重大な悪影響を及ぼす重大な損害が生じる可能性が高い特定のAIシステムの市場への上市、稼働への提供又は使用は、特に危険であることから禁止されるべきである。そのようなAIシステムは、人が知覚できない(人間の知覚を超える)音声、画像、映像等の刺激を用いた潜在意識に働きかける要素、又はその他の、人が意識的に認識していない方法で、若しくは認識していても依然として欺かれ得る若しくはそれを制御若しくは抵抗できない方法で、人の自律性、意思決定若しくは自由な選択を歪め損なう操作的若しくは欺瞞的技術を展開する。これは、例えば、機械脳インターフェース又は仮想現実によって助長され得る。これらは、人々の行動を著しく有害な方法で実質的に歪め得る限りにおいて、人々に提示される刺激に対するより高度な統制を可能にするためである。さらに、AIシステムは、年齢、欧州議会及び理事会指令(EU)2019/882の意味における障害、又は極度の貧困の中で生活する者若しくは民族的若しくは宗教的少数派等、搾取に対してより脆弱にする可能性が高い特定の社会的若しくは経済的状況に起因する、個人又は特定の集団の脆弱性をその他の方法で悪用することもあり得る。そのようなAIシステムは、ある者の行動を実質的に歪めることを目的とし又はその効果を有し、かつ当該者若しくは他の者若しくは集団に対して重大な損害(経時的に蓄積し得る損害を含む)を引き起こし又は合理的に引き起こす可能性が高い方法で市場に上市され、稼働に供され、又は使用されることがあり得ることから、禁止されるべきである。
(30) Biometric categorisation systems that are based on natural persons’ biometric data, such as an individual person’s face or fingerprint, to deduce or infer an individuals’ political opinions, trade union membership, religious or philosophical beliefs, race, sex life or sexual orientation should be prohibited. That prohibition should not cover the lawful labelling, filtering or categorisation of biometric data sets acquired in line with Union or national law according to biometric data, such as the sorting of images according to hair colour or eye colour, which can for example be used in the area of law enforcement.
(30) 個人の顔や指紋等、自然人の生体データに基づき、個人の政治的意見、労働組合への加入、宗教的若しくは哲学的信条、人種、性生活又は性的指向を推知し若しくは推論する生体分類システムは、禁止されるべきである。この禁止は、連合法又は国内法に従って取得された生体データセットの、髪の色や目の色による画像の分類等、生体データによる適法なラベル付け、フィルタリング又は分類(例えば法執行の分野で使用され得るもの)を対象とするものではない。
(31) AI systems providing social scoring of natural persons by public or private actors may lead to discriminatory outcomes and the exclusion of certain groups. They may violate the right to dignity and non-discrimination and the values of equality and justice. Such AI systems evaluate or classify natural persons or groups thereof on the basis of multiple data points related to their social behaviour in multiple contexts or known, inferred or predicted personal or personality characteristics over certain periods of time. The social score obtained from such AI systems may lead to the detrimental or unfavourable treatment of natural persons or whole groups thereof in social contexts, which are unrelated to the context in which the data was originally generated or collected or to a detrimental treatment that is disproportionate or unjustified to the gravity of their social behaviour. AI systems entailing such unacceptable scoring practices and leading to such detrimental or unfavourable outcomes should therefore be prohibited. That prohibition should not affect lawful evaluation practices of natural persons that are carried out for a specific purpose in accordance with Union and national law.
(31) 公的又は私的主体による自然人の社会的スコアリングを行うAIシステムは、差別的な結果や特定の集団の排除につながるおそれがある。そのようなAIシステムは、尊厳及び非差別の権利並びに平等及び正義の価値を侵害する可能性がある。当該AIシステムは、複数の文脈における社会的行動に関連する複数のデータポイント、又は一定期間にわたる既知の、推測された若しくは予測された人格的特徴に基づき、自然人又はその集団を評価又は分類するものである。このようなAIシステムから得られる社会的スコアは、データが当初生成又は収集された文脈とは無関係な社会的文脈において、自然人又はその集団全体に対する不利益な又は不利な取扱いにつながり得るほか、その社会的行動の重大性に対して不均衡又は不当な不利益な取扱いにつながり得る。したがって、このような容認し難いスコアリングの慣行を伴い、かつ、このような不利益な又は不利な結果をもたらすAIシステムは、禁止されるべきである。この禁止は、連合法及び国内法に従い特定の目的のために行われる自然人の適法な評価の実務には影響を及ぼすべきではない。
(32) The use of AI systems for ‘real-time’ remote biometric identification of natural persons in publicly accessible spaces for the purpose of law enforcement is particularly intrusive to the rights and freedoms of the concerned persons, to the extent that it may affect the private life of a large part of the population, evoke a feeling of constant surveillance and indirectly dissuade the exercise of the freedom of assembly and other fundamental rights. Technical inaccuracies of AI systems intended for the remote biometric identification of natural persons can lead to biased results and entail discriminatory effects. Such possible biased results and discriminatory effects are particularly relevant with regard to age, ethnicity, race, sex or disabilities. In addition, the immediacy of the impact and the limited opportunities for further checks or corrections in relation to the use of such systems operating in real-time carry heightened risks for the rights and freedoms of the persons concerned in the context of, or impacted by, law enforcement activities.
(32) 法執行の目的で公にアクセス可能な空間において自然人を「リアルタイムで」遠隔生体識別するためにAIシステムを使用することは、住民の相当部分の私生活に影響を及ぼし、常時監視されているという感覚を喚起し、集会の自由その他の基本的権利の行使を間接的に抑制し得るという点で、関係する者の権利及び自由に対して特に侵害的である。自然人の遠隔生体識別を意図したAIシステムの技術的な不正確性は、偏った結果につながり、差別的な影響をもたらす可能性がある。このような偏った結果及び差別的な影響が生じ得る可能性は、年齢、民族的出自、人種、性別又は障害に関して特に重要である。さらに、リアルタイムで作動するこのようなシステムの使用に関しては、その影響の即時性及びその後の確認又は是正のための機会が限られていることから、法執行活動の文脈における、又はこれによって影響を受ける関係者の権利及び自由に対するリスクが一層高まる。
(33) The use of those systems for the purpose of law enforcement should therefore be prohibited, except in exhaustively listed and narrowly defined situations, where the use is strictly necessary to achieve a substantial public interest, the importance of which outweighs the risks. Those situations involve the search for certain victims of crime including missing persons; certain threats to the life or to the physical safety of natural persons or of a terrorist attack; and the localisation or identification of perpetrators or suspects of the criminal offences listed in an annex to this Regulation, where those criminal offences are punishable in the Member State concerned by a custodial sentence or a detention
(33) したがって、法執行の目的でのこれらのシステムの使用は、その使用が、リスクを上回る重要性を有する実質的な公共の利益を達成するために厳格に必要とされる、網羅的に列挙され狭く定義された状況を除き、禁止されるべきである。これらの状況には、行方不明者を含む犯罪の一定の被害者の捜索、自然人の生命若しくは身体の安全に対する一定の脅威若しくはテロ攻撃、並びに本規則の附属書に列挙された犯罪行為(当該犯罪行為が関係する加盟国において拘禁刑又は拘置の対象となるものに限る)の実行者若しくは容疑者の所在特定又は識別が含まれる。
(34) In order to ensure that those systems are used in a responsible and proportionate manner, it is also important to establish that, in each of those exhaustively listed and narrowly defined situations, certain elements should be taken into account, in particular as regards the nature of the situation giving rise to the request and the consequences of the use for the rights and freedoms of all persons concerned and the safeguards and conditions provided for with the use. In addition, the use of ‘real-time’ remote biometric identification systems in publicly accessible spaces for the purpose of law enforcement should be deployed only to confirm the specifically targeted individual’s identity and should be limited to what is strictly necessary concerning the period of time, as well as the geographic and personal scope, having regard in particular to the evidence or indications regarding the threats, the victims or perpetrator. The use of the real-time remote biometric identification system in publicly accessible spaces should be authorised only if the relevant law enforcement authority has completed a fundamental rights impact assessment and, unless provided otherwise in this Regulation, has registered the system in the database as set out in this Regulation. The reference database of persons should be appropriate for each use case in each of the situations mentioned above.
(34) これらのシステムが責任ある、かつ比例的な方法で使用されることを確保するためには、これらの網羅的に列挙され狭く定義された各状況において、とりわけ要請の原因となった状況の性質、当該使用が関係するすべての者の権利及び自由に及ぼす影響、並びに当該使用に際して定められる保護措置及び条件に関して、一定の要素が考慮されるべきであることを定めることも重要である。加えて、法執行の目的で公にアクセス可能な空間において「リアルタイムで」遠隔生体識別システムを使用することは、特定の対象とされた個人の身元を確認するためにのみ展開されるべきであり、脅威、被害者又は実行者に関する証拠又は兆候を特に考慮しつつ、期間並びに地理的及び人的範囲に関して厳格に必要な限度にとどめられるべきである。公にアクセス可能な空間におけるリアルタイム遠隔生体識別システムの使用は、関係する法執行当局が基本的権利影響評価を完了し、かつ、本規則に別段の定めがある場合を除き、本規則に定めるデータベースに当該システムを登録した場合に限り、許可されるべきである。人物の参照データベースは、前述の各状況における各使用事例に適したものであるべきである。
(35) Each use of a ‘real-time’ remote biometric identification system in publicly accessible spaces for the purpose of law enforcement should be subject to an express and specific authorisation by a judicial authority or by an independent administrative authority of a Member State whose decision is binding. Such authorisation should, in principle, be obtained prior to the use of the AI system with a view to identifying a person or persons. Exceptions to that rule should be allowed in duly justified situations on grounds of urgency, namely in situations where the need to use the systems concerned is such as to make it effectively and objectively impossible to obtain an authorisation before commencing the use of the AI system. In such situations of urgency, the use of the AI system should be restricted to the absolute minimum necessary and should be subject to appropriate safeguards and conditions, as determined in national law and specified in the context of each individual urgent use case by the law enforcement authority itself. In addition, the law enforcement authority should in such situations request such authorisation while providing the reasons for not having been able to request it earlier, without undue delay and at the latest within 24 hours. If such an authorisation is rejected, the use of real-time biometric identification systems linked to that authorisation should cease with immediate effect and all the data related to such use should be discarded and deleted. Such data includes
(35) 法執行の目的で公にアクセス可能な空間において「リアルタイムで」遠隔生体識別システムを使用する各事例は、加盟国の司法当局又はその決定が拘束力を有する独立の行政当局による明示的かつ具体的な許可の対象とされるべきである。このような許可は、原則として、一人又は複数の人物を識別することを目的としたAIシステムの使用に先立って取得されるべきである。この原則の例外は、緊急性を理由とする正当な事由がある状況、すなわち、当該システムを使用する必要性の性質上、AIシステムの使用開始前に許可を得ることが事実上かつ客観的に不可能となるような状況において認められるべきである。このような緊急の状況においては、AIシステムの使用は絶対的に必要最小限にとどめられるべきであり、国内法で定められ、かつ、法執行当局自身によって個別の緊急使用事例ごとに具体化される適切な保護措置及び条件の対象とされるべきである。さらに、法執行当局は、このような状況において、当該許可をより早く求めることができなかった理由を示しつつ、不当な遅滞なく、遅くとも24時間以内に当該許可を求めるべきである。当該許可が拒否された場合には、当該許可に関連するリアルタイム生体識別システムの使用は直ちに停止されるべきであり、当該使用に関するすべてのデータは廃棄され、削除されるべきである。
(36) In order to carry out their tasks in accordance with the requirements set out in this Regulation as well as in national rules, the relevant market surveillance authority and the national data protection authority should be notified of each use of the real-time biometric identification system. Market surveillance authorities and the national data protection authorities that have been notified should submit to the Commission an annual report on the use of real-time biometric identification systems.
(36) 本規則及び国内規則に定める要件に従ってその任務を遂行するためには、関係する市場監視当局及び国内データ保護当局に対し、リアルタイム生体識別システムの各使用について通知が行われるべきである。通知を受けた市場監視当局及び国内データ保護当局は、リアルタイム生体識別システムの使用に関する年次報告書を欧州委員会に提出すべきである。
(37) Furthermore, it is appropriate to provide, within the exhaustive framework set by this Regulation that such use in the territory of a Member State in accordance with this Regulation should only be possible where and in as far as the Member State concerned has decided to expressly provide for the possibility to authorise such use in its detailed rules of national law. Consequently, Member States remain free under this Regulation not to provide for such a possibility at all or to only provide for such a possibility in respect of some of the objectives capable of justifying authorised use identified in this Regulation. Such national rules should be notified to the Commission within 30 days of their adoption.
(37) さらに、本規則が定める網羅的な枠組みの範囲内において、加盟国の領域内でのこのような使用は、当該加盟国が国内法の詳細な規則において当該使用を許可する可能性を明示的に定めることを決定した場合に限り、かつその範囲内でのみ可能とされるべきであると定めることが適切である。したがって、加盟国は、本規則の下で、そのような可能性を全く定めないこと、又は本規則に特定された許可された使用を正当化し得る目的の一部についてのみそのような可能性を定めることを自由に選択できるものとする。このような国内規則は、その採択後30日以内に欧州委員会に通知されるべきである。
(38) The use of AI systems for real-time remote biometric identification of natural persons in publicly accessible spaces for the purpose of law enforcement necessarily involves the processing of biometric data. The rules of this Regulation that prohibit, subject to certain exceptions, such use, which are based on Article 16 TFEU, should apply as lex specialis in respect of the rules on the processing of biometric data contained in Article 10 of Directive (EU) 2016/680, thus regulating such use and the processing of biometric data involved in an exhaustive manner. Therefore, such use and processing should be possible only in as far as it is compatible with the framework set by this Regulation, without there being scope, outside that framework, for the competent authorities, where they act for purpose of law enforcement, to use such systems and process such data in connection thereto on the grounds listed in Article 10 of Directive (EU) 2016/680. In that context, this Regulation is not intended to provide the legal basis for the processing of personal data under Article 8 of Directive (EU) 2016/680. However, the use of real-time remote biometric identification systems in publicly accessible spaces for purposes other than law enforcement, including by competent authorities, should not be covered by the specific framework regarding such use for the purpose of law enforcement set by this Regulation. Such use for purposes other than law enforcement should therefore not be subject to the requirement of an authorisation under this Regulation and the applicable detailed rules of national law that may give effect to that authorisation.
(38) 法執行の目的で公にアクセス可能な空間において自然人をリアルタイムで遠隔生体識別するためにAIシステムを使用することは、必然的に生体データの処理を伴う。TFEU第16条を根拠とする、一定の例外を除きこのような使用を禁止する本規則の規則は、指令(EU)2016/680第10条に定める生体データの処理に関する規則に対する特別法として適用されるべきであり、これによりこのような使用及びこれに伴う生体データの処理を網羅的に規律するものである。したがって、このような使用及び処理は、本規則が定める枠組みと整合する範囲においてのみ可能とされるべきであり、権限ある当局が法執行の目的で活動する場合において、この枠組みの外で、指令(EU)2016/680第10条に列挙された事由に基づきこのようなシステムを使用し、これに関連するデータを処理する余地はないものとする。この文脈において、本規則は、指令(EU)2016/680第8条に基づく個人データの処理について法的根拠を提供することを意図するものではない。もっとも、権限ある当局によるものを含め、法執行以外の目的で公にアクセス可能な空間においてリアルタイム遠隔生体識別システムを使用することは、本規則が定める法執行目的での使用に関する特定の枠組みの対象とはされるべきではない。したがって、法執行以外の目的でのこのような使用は、本規則に基づく許可の要件、及びその許可を実施し得る国内法の適用される詳細な規則の対象とはされるべきではない。
(39) Any processing of biometric data and other personal data involved in the use of AI systems for biometric identification, other than in connection to the use of real-time remote biometric identification systems in publicly accessible spaces for the purpose of law enforcement as regulated by this Regulation, should continue to comply with all requirements resulting from Article 10 of Directive (EU) 2016/680. For purposes other than law enforcement, Article 9(1) of Regulation (EU) 2016/679 and Article 10(1) of Regulation (EU) 2018/1725 prohibit the processing of biometric data subject to limited exceptions as provided in those Articles. In the application of Article 9(1) of Regulation (EU) 2016/679, the use of remote biometric identification for purposes other than law enforcement has already been subject to prohibition decisions by national data protection authorities.
(39) 本規則が規律する、法執行の目的で公にアクセス可能な空間においてリアルタイム遠隔生体識別システムを使用する場合に関連するものを除き、生体識別のためのAIシステムの使用に伴う生体データその他の個人データの処理は、引き続き指令(EU)2016/680第10条から生じるすべての要件を遵守すべきである。法執行以外の目的については、規則(EU)2016/679第9条第1項及び規則(EU)2018/1725第10条第1項が、これらの条文に定める限定的な例外を除き、生体データの処理を禁止している。規則(EU)2016/679第9条第1項の適用に当たり、法執行以外の目的での遠隔生体識別の使用は、すでに国内データ保護当局による禁止決定の対象とされてきた。
(40) In accordance with Article 6a of Protocol No 21 on the position of the United Kingdom and Ireland in respect of the area of freedom, security and justice, as annexed to the TEU and to the TFEU, Ireland is not bound by the rules laid down in Article 5(1), first subparagraph, point (g), to the extent it applies to the use of biometric categorisation systems for activities in the field of police cooperation and judicial cooperation in criminal matters, Article 5(1), first subparagraph, point (d), to the extent it applies to the use of AI systems covered by that provision, Article 5(1), first subparagraph, point (h), Article 5(2) to (6) and Article 26(10) of this Regulation adopted on the basis of Article 16 TFEU which relate to the processing of personal data by the Member States when carrying out activities falling within the scope of Chapter 4 or Chapter 5 of Title V of Part Three of the TFEU, where Ireland is not bound by the rules governing the forms of judicial cooperation in criminal matters or police cooperation which require compliance with the provisions laid down on the basis of Article 16 TFEU.
(40) 自由、安全及び司法の地域に関する英国及びアイルランドの地位についてのTEU及びTFEUに附属する議定書第21号第6a条に従い、アイルランドは、刑事事件における警察協力及び司法協力の分野における活動のための生体分類システムの使用に適用される限りにおいて第5条第1項第1号(g)、当該規定が対象とするAIシステムの使用に適用される限りにおいて第5条第1項第1号(d)、第5条第1項第1号(h)、第5条第2項から第6項まで、並びにTFEU第16条を根拠として採択された本規則の第26条第10項(TFEU第3部第5編第4章又は第5章の範囲に含まれる活動を行う際の加盟国による個人データの処理に関連するもの)に定める規則には拘束されない。ただし、これは、アイルランドがTFEU第16条を根拠として定められた規定の遵守を要する刑事事件における司法協力又は警察協力の形態を規律する規則に拘束されない範囲に限られる。
(41) In accordance with Articles 2 and 2a of Protocol No 22 on the position of Denmark, annexed to the TEU and to the TFEU, Denmark is not bound by rules laid down in Article 5(1), first subparagraph, point (g), to the extent it applies to the use of biometric categorisation systems for activities in the field of police cooperation and judicial cooperation in criminal matters, Article 5(1), first subparagraph, point (d), to the extent it applies to the use of AI systems covered by that provision, Article 5(1), first subparagraph, point (h), (2) to (6) and Article 26(10) of this Regulation
(41) TEU及びTFEUに附属するデンマークの地位に関する議定書第22号第2条及び第2a条に従い、デンマークは、刑事事件における警察協力及び司法協力の分野における活動のための生体分類システムの使用に適用される限りにおいて第5条第1項第1号(g)、当該規定が対象とするAIシステムの使用に適用される限りにおいて第5条第1項第1号(d)、第5条第1項第1号(h)、第5条第2項から第6項まで、並びに本規則第26条第10項に定める規則には拘束されない。
(42) In line with the presumption of innocence, natural persons in the Union should always be judged on their actual behaviour. Natural persons should never be judged on AI-predicted behaviour based solely on their profiling, personality traits or characteristics, such as nationality, place of birth, place of residence, number of children, level of debt or type of car, without a reasonable suspicion of that person being involved in a criminal activity based on objective verifiable facts and without human assessment thereof. Therefore, risk assessments carried out with regard to natural persons in order to assess the likelihood of their offending or to predict the occurrence of an actual or potential criminal offence based solely on profiling them or on assessing their personality traits and characteristics should be prohibited. In any case, that prohibition does not refer to or touch upon risk analytics that are not based on the profiling of individuals or on the personality traits and characteristics of individuals, such as AI systems using risk analytics to assess the likelihood of financial fraud by undertakings on the basis of suspicious transactions or risk analytic tools to predict the likelihood of the localisation of narcotics or illicit goods by customs authorities, for example on the basis of known trafficking routes.
(42) 無罪推定の原則に沿い、連合内の自然人は、常にその実際の行動に基づいて判断されるべきである。自然人は、客観的に検証可能な事実に基づく当該人物が犯罪行為に関与しているという合理的な嫌疑がなく、かつ、これについての人的評価がないまま、専らそのプロファイリング、国籍、出生地、居住地、子の数、負債額又は自動車の種類等の人格的特性若しくは特徴のみに基づいてAIが予測した行動によって判断されることは決してあってはならない。したがって、自然人について、専らそのプロファイリング又は人格的特性及び特徴の評価のみに基づいて、その犯罪の可能性を評価し、又は実際の若しくは潜在的な犯罪の発生を予測するために行われるリスク評価は、禁止されるべきである。いずれにせよ、この禁止は、個人のプロファイリング又は個人の人格的特性及び特徴に基づかないリスク分析、例えば、企業による金融詐欺の可能性を不審な取引に基づいて評価するためにリスク分析を用いるAIシステムや、既知の密輸ルート等に基づき麻薬又は違法物品の所在を税関当局が予測するためのリスク分析ツールには言及するものでも、これに影響を及ぼすものでもない。
(43) The placing on the market, the putting into service for that specific purpose, or the use of AI systems that create or expand facial recognition databases through the untargeted scraping of facial images from the internet or CCTV footage, should be prohibited because that practice adds to the feeling of mass surveillance and can lead to gross violations of fundamental rights, including the right to privacy.
(43) インターネット又は監視カメラ映像からの無差別なスクレイピングにより顔認識データベースを作成又は拡張することを目的としたAIシステムの市場投入、当該特定目的のための運用開始、又はその使用は、そのような慣行が大量監視の感覚を助長し、プライバシーの権利を含む基本的権利の重大な侵害につながり得るため、禁止されるべきである。
(44) There are serious concerns about the scientific basis of AI systems aiming to identify or infer emotions, particularly as expression of emotions vary considerably across cultures and situations, and even within a single individual. Among the key shortcomings of such systems are the limited reliability, the lack of specificity and the limited generalisability. Therefore, AI systems identifying or inferring emotions or intentions of natural persons on the basis of their biometric data may lead to discriminatory outcomes and can be intrusive to the rights and freedoms of the concerned persons. Considering the imbalance of power in the context of work or education, combined with the intrusive nature of these systems, such systems could lead to detrimental or unfavourable treatment of certain natural persons or whole groups thereof. Therefore, the placing on the market, the putting into service, or the use of AI systems intended to be used to detect the emotional state of individuals in situations related to the workplace and education should be prohibited. That prohibition should not cover AI systems placed on the market strictly for medical or safety reasons, such as systems intended for therapeutical use.
(44) 感情の表現は文化や状況によって、さらには同一個人の内でも大きく異なることから、感情を識別又は推測することを目的とするAIシステムの科学的根拠については、深刻な懸念が存在する。このようなシステムの主要な欠陥としては、信頼性の限界、特異性の欠如及び一般化可能性の限界が挙げられる。したがって、生体データに基づき自然人の感情又は意図を識別又は推測するAIシステムは、差別的な結果につながるおそれがあり、関係する者の権利及び自由に対して侵害的なものとなり得る。職場又は教育の文脈における力関係の不均衡と、これらのシステムの侵害的な性質とが相まって、このようなシステムは、特定の自然人又はその集団全体に対する不利益な又は不利な取扱いにつながり得る。したがって、職場及び教育に関連する状況において個人の感情状態を検知するために使用されることを意図したAIシステムの市場投入、運用開始又は使用は、禁止されるべきである。この禁止は、治療目的で使用されることを意図したシステム等、専ら医療上又は安全上の理由により市場に投入されるAIシステムには適用されないものとする。
(45) Practices that are prohibited by Union law, including data protection law, non-discrimination law, consumer protection law, and competition law, should not be affected by this Regulation.
(45) データ保護法、非差別法、消費者保護法及び競争法を含む連合法により禁止される慣行は、本規則によって影響を受けるものではない。
(46) High-risk AI systems should only be placed on the Union market, put into service or used if they comply with certain mandatory requirements. Those requirements should ensure that high-risk AI systems available in the Union or whose output is otherwise used in the Union do not pose unacceptable risks to important Union public interests as recognised and protected by Union law. On the basis of the New Legislative Framework, as clarified in the Commission notice ‘The “Blue Guide” on the implementation of EU product rules 2022’ ( 20), the general rule is that more than one legal act of Union harmonisation legislation, such as Regulations (EU) 2017/745 ( 21) and (EU) 2017/746 ( 22) of the European Parliament and of the Council or Directive 2006/42/EC of the European Parliament and of the Council ( 23), may be applicable to one product, since the making available or putting into service can take
(46) ハイリスクAIシステムは、一定の義務的要件を遵守する場合に限り、連合市場において上市され、サービスに導入され、又は使用されるべきである。これらの要件は、連合域内で利用可能なハイリスクAIシステム、又はその出力が連合域内で別途使用されるハイリスクAIシステムが、連合法によって認められ、保護されている連合の重要な公益に対して許容し得ないリスクをもたらさないことを確保するべきである。ニュー・レジスラティブ・フレームワークに基づき、委員会通知「EU製品規則の実施に関する『ブルーガイド』2022年版」(20)において明確化されているとおり、一般則として、一つの製品に対して、欧州議会及び理事会規則(EU)2017/745(21)及び(EU)2017/746(22)、又は欧州議会及び理事会指令2006/42/EC(23)のような複数の連合調和法令が適用され得る。なぜなら、市場での利用可能化又はサービスへの導入は、
(47) AI systems could have an adverse impact on the health and safety of persons, in particular when such systems operate as safety components of products. Consistent with the objectives of Union harmonisation legislation to facilitate the free movement of products in the internal market and to ensure that only safe and otherwise compliant products find their way into the market, it is important that the safety risks that may be generated by a product as a whole due to its digital components, including AI systems, are duly prevented and mitigated. For instance, increasingly autonomous robots, whether in the context of manufacturing or personal assistance and care should be able to safely operate and performs their functions in complex environments. Similarly, in the health sector where the stakes for life and health are particularly high, increasingly sophisticated diagnostics systems and systems supporting human decisions should be reliable and accurate.
(47) AIシステムは、特にそのようなシステムが製品の安全部品として機能する場合、人の健康及び安全に悪影響を及ぼし得る。製品の自由な流通を域内市場において促進し、安全かつその他の点で適合する製品のみが市場に流通することを確保するという連合調和法令の目的に沿い、AIシステムを含むデジタル部品に起因して製品全体が生じさせ得る安全リスクが適切に予防及び軽減されることが重要である。例えば、製造の文脈であれ、個人の補助及びケアの文脈であれ、ますます自律的になるロボットは、複雑な環境において安全に稼働し、その機能を遂行することができるべきである。同様に、生命及び健康に関する利害関係が特に大きい保健医療分野においては、ますます高度化する診断システム及び人の意思決定を支援するシステムは、信頼性が高く正確であるべきである。
(48) The extent of the adverse impact caused by the AI system on the fundamental rights protected by the Charter is of particular relevance when classifying an AI system as high risk. Those rights include the right to human dignity, respect for private and family life, protection of personal data, freedom of expression and information, freedom of assembly and of association, the right to non-discrimination, the right to education, consumer protection, workers’ rights, the rights of persons with disabilities, gender equality, intellectual property rights, the right to an effective remedy and to a fair trial, the right of defence and the presumption of innocence, and the right to good administration. In addition to those rights, it is important to highlight the fact that children have specific rights as enshrined in Article 24 of the Charter and in the United Nations Convention on the Rights of the Child, further developed in the UNCRC General Comment No 25 as regards the digital environment, both of which require consideration of the children’s vulnerabilities and provision of such protection and care as necessary for their well-being. The fundamental right to a high level of environmental protection enshrined in the Charter and implemented in Union policies should also be considered when assessing the severity of the harm that an AI system can cause, including in relation to the health and safety of persons.
(48) AIシステムをハイリスクに分類するに当たっては、当該AIシステムが基本権憲章によって保護される基本権に及ぼす悪影響の程度が特に重要である。これらの権利には、人間の尊厳に対する権利、私生活及び家族生活の尊重、個人データの保護、表現及び情報の自由、集会及び結社の自由、無差別の権利、教育を受ける権利、消費者保護、労働者の権利、障害者の権利、男女の平等、知的財産権、実効的な救済及び公正な裁判を受ける権利、防御権及び無罪推定、並びに良い行政を受ける権利が含まれる。これらの権利に加え、児童が基本権憲章第24条及び国連児童の権利条約(デジタル環境に関する国連児童の権利委員会一般的意見第25号によってさらに発展させられたもの)に定められた特有の権利を有することを強調することが重要であり、これらはいずれも、児童の脆弱性を考慮し、その福祉のために必要な保護及びケアを提供することを求めるものである。基本権憲章に定められ、連合の政策において実施されている、高水準の環境保護を受ける基本権も、AIシステムが引き起こし得る損害(人の健康及び安全に関するものを含む)の重大性を評価するに当たって考慮されるべきである。
(49) As regards high-risk AI systems that are safety components of products or systems, or which are themselves products or systems falling within the scope of Regulation (EC) No 300/2008 of the European Parliament and of the Council ( 24), Regulation (EU) No 167/2013 of the European Parliament and of the Council (25), Regulation (EU) No 168/2013 of the European Parliament and of the Council ( 26), Directive 2014/90/EU of the European Parliament and of the Council ( 27), Directive (EU) 2016/797 of the European Parliament and of the Council (28), Regulation (EU) 2018/858 of the European Parliament and of the Council ( 29), Regulation (EU) 2018/1139 of the
(49) 製品若しくはシステムの安全部品であるハイリスクAIシステム、又はそれ自体が欧州議会及び理事会規則(EC)No 300/2008(24)、欧州議会及び理事会規則(EU)No 167/2013(25)、欧州議会及び理事会規則(EU)No 168/2013(26)、欧州議会及び理事会指令2014/90/EU(27)、欧州議会及び理事会指令(EU)2016/797(28)、欧州議会及び理事会規則(EU)2018/858(29)、欧州議会及び理事会規則(EU)2018/1139の適用範囲に含まれる製品若しくはシステムであるハイリスクAIシステムに関しては、
(50) As regards AI systems that are safety components of products, or which are themselves products, falling within the scope of certain Union harmonisation legislation listed in an annex to this Regulation, it is appropriate to classify them as high-risk under this Regulation if the product concerned undergoes the conformity assessment procedure with a third-party conformity assessment body pursuant to that relevant Union harmonisation legislation. In particular, such products are machinery, toys, lifts, equipment and protective systems intended for use in potentially explosive atmospheres, radio equipment, pressure equipment, recreational craft equipment, cableway installations, appliances burning gaseous fuels, medical devices, in vitro diagnostic medical devices, automotive and aviation.
(50) 製品の安全部品であるAIシステム、又はそれ自体が本規則の附属書に列挙された一定の連合調和法令の適用範囲に含まれる製品であるAIシステムに関しては、当該関連製品が当該連合調和法令に基づき第三者適合性評価機関による適合性評価手続に付される場合には、本規則の下でハイリスクに分類することが適切である。特に、そのような製品には、機械類、玩具、エレベーター、潜在的爆発性雰囲気での使用を意図した機器及び保護システム、無線機器、圧力機器、レジャー用船舶機器、索道施設、ガス燃焼機器、医療機器、体外診断用医療機器、並びに自動車及び航空関連製品が該当する。
(51) The classification of an AI system as high-risk pursuant to this Regulation should not necessarily mean that the product whose safety component is the AI system, or the AI system itself as a product, is considered to be high-risk under the criteria established in the relevant Union harmonisation legislation that applies to the product. This is, in particular, the case for Regulations (EU) 2017/745 and (EU) 2017/746, where a third-party conformity assessment is provided for medium-risk and high-risk products.
(51) AIシステムを本規則に基づきハイリスクに分類することは、必ずしも、当該AIシステムが安全部品である製品、又は当該AIシステム自体が製品として、当該製品に適用される関連連合調和法令に定める基準の下でハイリスクとみなされることを意味するものではない。これは特に、規則(EU)2017/745及び(EU)2017/746の場合に当てはまり、これらの規則においては、中リスク及びハイリスクの製品について第三者適合性評価が定められている。
(52) As regards stand-alone AI systems, namely high-risk AI systems other than those that are safety components of products, or that are themselves products, it is appropriate to classify them as high-risk if, in light of their intended purpose, they pose a high risk of harm to the health and safety or the fundamental rights of persons, taking into account both the severity of the possible harm and its probability of occurrence and they are used in a number of specifically pre-defined areas specified in this Regulation. The identification of those systems is based on the same methodology and criteria envisaged also for any future amendments of the list of high-risk AI systems that the Commission should be empowered to adopt, via delegated acts, to take into account the rapid pace of technological development, as well as the potential changes in the use of AI systems.
(52) スタンドアロンAIシステム、すなわち製品の安全部品ではなく、又はそれ自体が製品でもないハイリスクAIシステムに関しては、その意図された目的に照らし、生じ得る損害の重大性及びその発生可能性の双方を考慮した上で、人の健康及び安全又は基本権に対する損害の高いリスクをもたらすものであり、かつ本規則に定める特定の事前に定められた分野の数において使用されるものである場合には、ハイリスクに分類することが適切である。これらのシステムの特定は、技術発展の急速な進展及びAIシステムの使用における潜在的な変化を考慮するために委員会が委任行為を通じて採択する権限を有するべきハイリスクAIシステムの一覧の将来の改正について想定されるものと同一の方法論及び基準に基づくものである。
(53) It is also important to clarify that there may be specific cases in which AI systems referred to in pre-defined areas specified in this Regulation do not lead to a significant risk of harm to the legal interests protected under those areas because they do not materially influence the decision-making or do not harm those interests substantially. For the purposes of this Regulation, an AI system that does not materially influence the outcome of decision-making should be understood to be an AI system that does not have an impact on the substance, and thereby the outcome, of decision-making, whether human or automated. An AI system that does not materially influence the outcome of decision-making could include situations in which one or more of the following conditions are fulfilled. The first such condition should be that the AI system is intended to perform a narrow procedural task, such as an AI system that transforms unstructured data into structured data, an AI system that classifies incoming documents into categories or an AI system that is used to detect duplicates among a large number of applications. Those tasks are of such narrow and limited nature that they pose only limited risks which are not increased through the use of an AI system in a context that is listed as a high-risk use in an annex to this Regulation. The second condition should be
(53) また、本規則に定める事前に定められた分野で言及されるAIシステムが、意思決定に実質的な影響を及ぼさない、又はこれらの分野において保護される法的利益に実質的な損害を与えないために、これらの分野において保護される法的利益に対する重大な損害のリスクにつながらない特定の場合があり得ることを明確にすることも重要である。本規則の目的上、意思決定の結果に実質的な影響を及ぼさないAIシステムとは、人間によるものであるか自動化されたものであるかを問わず、意思決定の実質、ひいてはその結果に影響を及ぼさないAIシステムとして理解されるべきである。意思決定の結果に実質的な影響を及ぼさないAIシステムには、以下の条件のうち一つ又は複数が満たされる状況が含まれ得る。第一の条件は、当該AIシステムが、非構造化データを構造化データに変換するAIシステム、受信文書をカテゴリーに分類するAIシステム、又は多数の申請の中から重複を検出するために使用されるAIシステムのような、狭い手続的タスクを遂行することを意図したものであることとするべきである。これらのタスクは、その性質が狭く限定的であるため、限定的なリスクのみをもたらし、そのリスクは、本規則の附属書においてハイリスク使用として列挙された文脈でAIシステムを使用することによって増大するものではない。第二の条件は、
(54) As biometric data constitutes a special category of personal data, it is appropriate to classify as high-risk several critical-use cases of biometric systems, insofar as their use is permitted under relevant Union and national law. Technical inaccuracies of AI systems intended for the remote biometric identification of natural persons can lead to biased results and entail discriminatory effects. The risk of such biased results and discriminatory effects is particularly relevant with regard to age, ethnicity, race, sex or disabilities. Remote biometric identification systems should therefore be classified as high-risk in view of the risks that they pose. Such a classification excludes AI systems intended to be used for biometric verification, including authentication, the sole purpose of which is to confirm that a specific natural person is who that person claims to be and to confirm the identity of a natural person for the sole purpose of having access to a service, unlocking a device or having secure access to premises. In addition, AI systems intended to be used for biometric categorisation according to sensitive attributes or characteristics protected under Article 9(1) of Regulation (EU) 2016/679 on the basis of biometric data, in so far as these are not prohibited under this Regulation, and emotion recognition systems that are not prohibited under this Regulation, should be classified as high-risk. Biometric systems which are intended to be used solely for the purpose of enabling cybersecurity and personal data protection measures should not be considered to be high-risk AI systems.
(54) 生体データが個人データの特別なカテゴリーを構成することから、生体認証システムのいくつかの重要な使用事例については、その使用が関連する連合法及び国内法の下で許容される限りにおいて、ハイリスクに分類することが適切である。自然人の遠隔生体識別を意図したAIシステムの技術的な不正確性は、偏った結果につながり、差別的効果を伴い得る。そのような偏った結果及び差別的効果のリスクは、年齢、民族性、人種、性別又は障害に関して特に重要である。したがって、遠隔生体識別システムは、それがもたらすリスクに鑑み、ハイリスクに分類されるべきである。このような分類には、特定の自然人が本人であると主張する当人であることのみを確認すること、及びサービスへのアクセス、機器のロック解除、又は施設への安全なアクセスのみを目的として自然人の身元を確認することを唯一の目的とする、生体検証(本人認証を含む)に使用されることを意図したAIシステムは含まれない。さらに、生体データに基づき、規則(EU)2016/679第9条第1項の下で保護される機微な属性又は特性による生体分類に使用されることを意図したAIシステム(本規則の下で禁止されていない限りにおいて)、及び本規則の下で禁止されていない感情認識システムは、ハイリスクに分類されるべきである。もっぱらサイバーセキュリティ及び個人データ保護措置を可能にする目的のためにのみ使用されることを意図した生体認証システムは、ハイリスクAIシステムとみなされるべきではない。
(55) As regards the management and operation of critical infrastructure, it is appropriate to classify as high-risk the AI systems intended to be used as safety components in the management and operation of critical digital infrastructure as listed in point (8) of the Annex to Directive (EU) 2022/2557, road traffic and the supply of water, gas, heating and electricity, since their failure or malfunctioning may put at risk the life and health of persons at large scale and lead to appreciable disruptions in the ordinary conduct of social and economic activities. Safety components of critical infrastructure, including critical digital infrastructure, are systems used to directly protect the physical integrity of critical infrastructure or the health and safety of persons and property but which are not necessary in order for the
(55) 重要インフラの管理及び運用に関しては、指令(EU)2022/2557附属書第8号に列挙された重要デジタルインフラ、道路交通並びに水、ガス、暖房及び電力の供給における管理及び運用のための安全部品として使用されることを意図したAIシステムをハイリスクに分類することが適切である。なぜなら、これらの故障又は誤動作は、大規模に人の生命及び健康を危険にさらし、社会的及び経済的活動の通常の遂行における著しい混乱を招き得るからである。重要デジタルインフラを含む重要インフラの安全部品とは、重要インフラの物理的完全性又は人及び財産の健康及び安全を直接保護するために使用されるシステムであるが、そのために必要なものではないシステムをいい、
(56) The deployment of AI systems in education is important to promote high-quality digital education and training and to allow all learners and teachers to acquire and share the necessary digital skills and competences, including media literacy, and critical thinking, to take an active part in the economy, society, and in democratic processes. However, AI systems used in education or vocational training, in particular for determining access or admission, for assigning persons to educational and vocational training institutions or programmes at all levels, for evaluating learning outcomes of persons, for assessing the appropriate level of education for an individual and materially influencing the level of education and training that individuals will receive or will be able to access or for monitoring and detecting prohibited behaviour of students during tests should be classified as high-risk AI systems, since they may determine the educational and professional course of a person’s life and therefore may affect that person’s ability to secure a livelihood. When improperly designed and used, such systems may be particularly intrusive and may violate the right to education and training as well as the right not to be discriminated against and perpetuate historical patterns of discrimination, for example against women, certain age groups, persons with disabilities, or persons of certain racial or ethnic origins or sexual orientation.
(56) 教育分野におけるAIシステムの導入は、質の高いデジタル教育及び訓練を促進し、すべての学習者及び教員が、経済、社会及び民主的プロセスに積極的に参加するために必要なデジタル・スキル及び能力(メディア・リテラシー及び批判的思考を含む)を習得し、共有できるようにするために重要である。しかしながら、教育又は職業訓練において使用されるAIシステム、特に、アクセス若しくは入学を決定するため、あらゆる段階の教育機関若しくは職業訓練機関若しくはプログラムに人を割り当てるため、人の学習成果を評価するため、個人にとって適切な教育水準を評価し、当該個人が受ける又はアクセスすることができる教育及び訓練の水準に実質的な影響を及ぼすため、又は試験中の学生の禁止行為を監視及び検出するために使用されるAIシステムは、人の教育的及び職業的な人生の進路を決定し得るものであり、それゆえその人の生計を確保する能力に影響を及ぼし得ることから、ハイリスクAIシステムに分類されるべきである。不適切に設計及び使用された場合、そのようなシステムは特に侵襲的なものとなり得るとともに、教育及び訓練を受ける権利並びに差別されない権利を侵害し、例えば女性、特定の年齢層、障害者、又は特定の人種若しくは民族的出自若しくは性的指向の者に対する歴史的な差別パターンを永続化させ得る。
(57) AI systems used in employment, workers management and access to self-employment, in particular for the recruitment and selection of persons, for making decisions affecting terms of the work-related relationship, promotion and termination of work-related contractual relationships, for allocating tasks on the basis of individual behaviour, personal traits or characteristics and for monitoring or evaluation of persons in work-related contractual relationships, should also be classified as high-risk, since those systems may have an appreciable impact on future career prospects, livelihoods of those persons and workers’ rights. Relevant work-related contractual relationships should, in a meaningful manner, involve employees and persons providing services through platforms as referred to in the Commission Work Programme 2021. Throughout the recruitment process and in the evaluation, promotion, or retention of persons in work-related contractual relationships, such systems may perpetuate historical patterns of discrimination, for example against women, certain age groups, persons with disabilities, or persons of certain racial or ethnic origins or sexual orientation. AI systems used to monitor the performance and behaviour of such persons may also undermine their fundamental rights to data protection and privacy.
(57) 雇用、労働者の管理及び自営業へのアクセスにおいて使用されるAIシステム、特に、人の採用及び選考のため、労働関係の条件に影響する決定を行うため、労働契約関係の昇進及び終了のため、個人の行動、個人的特性又は特徴に基づいて業務を割り当てるため、並びに労働契約関係にある人を監視又は評価するために使用されるAIシステムについても、これらのシステムが当該人の将来のキャリア展望、生計及び労働者の権利に著しい影響を及ぼし得ることから、ハイリスクに分類されるべきである。関連する労働契約関係には、委員会2021年作業計画において言及されているプラットフォームを通じてサービスを提供する被用者及び者が、実質的な意味で含まれるべきである。採用プロセス全体を通じて、また労働契約関係にある人の評価、昇進又は維持において、そのようなシステムは、例えば女性、特定の年齢層、障害者、又は特定の人種若しくは民族的出自若しくは性的指向の者に対する歴史的な差別パターンを永続化させ得る。そのような人の業績及び行動を監視するために使用されるAIシステムは、データ保護及びプライバシーに関する当該人の基本権を損なうおそれもある。
(58) Another area in which the use of AI systems deserves special consideration is the access to and enjoyment of certain essential private and public services and benefits necessary for people to fully participate in society or to improve one’s standard of living. In particular, natural persons applying for or receiving essential public assistance benefits and services from public authorities namely healthcare services, social security benefits, social services providing protection in cases such as maternity, illness, industrial accidents, dependency or old age and loss of employment and social and housing assistance, are typically dependent on those benefits and services and in a vulnerable position in relation to the responsible authorities. If AI systems are used for determining whether such benefits and services should be granted, denied, reduced, revoked or reclaimed by authorities, including whether beneficiaries are legitimately entitled to such benefits or services, those systems may have a significant impact on persons’ livelihood and may infringe their fundamental rights, such as the right to social protection, non-discrimination, human dignity or an effective remedy and should therefore be classified as high-risk. Nonetheless, this Regulation should not hamper the development and use of innovative approaches in the public administration, which would stand to benefit from a wider use of compliant and safe AI systems, provided that those systems do not entail a high risk to legal and natural persons. In addition, AI systems used to evaluate the credit score or creditworthiness of natural persons should be classified as high-risk AI systems, since they determine those persons’ access to financial resources or essential services such as housing, electricity, and telecommunication services. AI systems used for those purposes may lead to discrimination between persons or groups and may perpetuate historical patterns of discrimination, such as that based on racial or ethnic origins, gender, disabilities, age or sexual orientation, or may create new forms of discriminatory impacts. However, AI systems provided for by Union law for the purpose of detecting fraud in the offering of financial services and for prudential purposes to calculate credit institutions’ and insurance undertakings’ capital requirements should not be considered to be high-risk under this Regulation. Moreover, AI systems intended
(58) AIシステムの使用が特別の考慮に値するもう一つの分野は、人が社会に十分に参加し、又は生活水準を向上させるために必要な、一定の不可欠な民間及び公共のサービス並びに給付へのアクセス及びその享受である。特に、公的機関から保健医療サービス、社会保障給付、出産、疾病、労働災害、要介護若しくは老齢及び失業のような場合における保護を提供する社会サービス、並びに社会的及び住宅支援といった不可欠な公的扶助給付及びサービスを申請し又は受給する自然人は、通常、これらの給付及びサービスに依存しており、所管機関との関係において脆弱な立場にある。AIシステムが、受給者が当該給付又はサービスを正当に受ける権利を有するか否かを含め、当局によるこれらの給付及びサービスの付与、拒否、削減、取消し又は返還請求の決定に使用される場合、当該システムは人の生計に重大な影響を及ぼし得るとともに、社会的保護、無差別、人間の尊厳又は実効的な救済を受ける権利のような基本権を侵害し得ることから、ハイリスクに分類されるべきである。とはいえ、本規則は、適合性を有し安全なAIシステムのより広範な使用から利益を得ることになる公共行政における革新的な取組みの開発及び使用を、それらのシステムが法人及び自然人に対して高いリスクを伴わない限り、妨げるべきではない。さらに、自然人の信用スコア又は信用力を評価するために使用されるAIシステムは、これらの人の金融資源又は住宅、電力及び電気通信サービスのような不可欠なサービスへのアクセスを決定することから、ハイリスクAIシステムに分類されるべきである。これらの目的のために使用されるAIシステムは、人又は集団間の差別につながり、人種若しくは民族的出自、性別、障害、年齢又は性的指向に基づくもののような歴史的な差別パターンを永続化させ、又は新たな形態の差別的影響を生じさせ得る。しかしながら、金融サービスの提供における不正を検出する目的、及び信用機関及び保険事業者の自己資本要件を算定するプルーデンシャル目的のために連合法により定められたAIシステムは、本規則の下でハイリスクとみなされるべきではない。さらに、意図された
(59) Given their role and responsibility, actions by law enforcement authorities involving certain uses of AI systems are characterised by a significant degree of power imbalance and may lead to surveillance, arrest or deprivation of a natural person’s liberty as well as other adverse impacts on fundamental rights guaranteed in the Charter. In particular, if the AI system is not trained with high-quality data, does not meet adequate requirements in terms of its performance, its accuracy or robustness, or is not properly designed and tested before being put on the market or otherwise put into service, it may single out people in a discriminatory or otherwise incorrect or unjust manner. Furthermore, the exercise of important procedural fundamental rights, such as the right to an effective remedy and to a fair trial as well as the right of defence and the presumption of innocence, could be hampered, in particular, where such AI systems are not sufficiently transparent, explainable and documented. It is therefore appropriate to classify as high-risk, insofar as their use is permitted under relevant Union and national law, a number of AI systems intended to be used in the law enforcement context where accuracy, reliability and transparency is particularly important to avoid adverse impacts, retain public trust and ensure accountability and effective redress. In view of the nature of the activities and the risks relating thereto, those high-risk AI systems should include in particular AI systems intended to be used by or on behalf of law enforcement authorities or by Union institutions, bodies, offices, or agencies in support of law enforcement authorities for assessing the risk of a natural person to become a victim of criminal offences, as polygraphs and similar tools, for the evaluation of the reliability of evidence in in the course of investigation or prosecution of criminal offences, and, insofar as not prohibited under this Regulation, for assessing the risk of a natural person offending or reoffending not solely on the basis of the profiling of natural persons or the assessment of personality traits and characteristics or the past criminal behaviour of natural persons or groups, for profiling in the course of detection, investigation or prosecution of criminal offences. AI systems specifically intended to be used for administrative proceedings by tax and customs authorities as well as by financial intelligence units carrying out administrative tasks analysing information pursuant to Union anti-money laundering law should not be classified as high-risk AI systems used by law enforcement authorities for the purpose of prevention, detection, investigation and prosecution of criminal offences. The use of AI tools by law enforcement and other relevant authorities should not become a factor of inequality, or exclusion. The impact of the use of AI tools on the defence rights of suspects should not be ignored, in particular the difficulty in obtaining meaningful information on the functioning of those systems and the resulting difficulty in challenging their results in court, in particular by natural persons under investigation.
(59) 法執行当局の役割及び責任に鑑み、一定のAIシステムの使用を伴う法執行当局の行為は、著しい程度の力の不均衡を特徴とし、監視、逮捕又は自然人の自由の剥奪、並びに基本権憲章に保障された基本権に対するその他の悪影響につながり得る。特に、AIシステムが高品質のデータで訓練されておらず、その性能、正確性又は堅牢性に関して十分な要件を満たしていない場合、又は上市若しくはその他の方法でサービスに導入される前に適切に設計及び試験されていない場合、当該システムは、差別的な又はその他の点で不正確若しくは不当な方法で人を選別し得る。さらに、実効的な救済及び公正な裁判を受ける権利並びに防御権及び無罪推定のような重要な手続的基本権の行使が、特にそのようなAIシステムが十分に透明性を有し、説明可能で、かつ文書化されていない場合に、妨げられるおそれがある。したがって、悪影響を回避し、公衆の信頼を維持し、説明責任及び実効的な救済を確保するために正確性、信頼性及び透明性が特に重要となる法執行の文脈で使用されることを意図した多数のAIシステムを、関連する連合法及び国内法の下でその使用が許容される限りにおいて、ハイリスクに分類することが適切である。その活動の性質及びこれに関連するリスクに鑑み、これらのハイリスクAIシステムには、特に、自然人が犯罪の被害者となるリスクを評価するために(ポリグラフ及び類似のツールとして)、刑事事件の捜査又は訴追の過程における証拠の信頼性の評価のために、並びに、本規則の下で禁止されていない限りにおいて、専ら自然人のプロファイリング又は人格特性及び特徴の評価若しくは自然人若しくは集団の過去の犯罪行動のみに基づかない、自然人の犯罪若しくは再犯のリスクの評価のために、及び犯罪の検知、捜査又は訴追の過程におけるプロファイリングのために、法執行当局によって若しくはこれに代わって、又は法執行当局を支援する連合の機関、団体、事務所若しくは機関によって使用されることを意図したAIシステムが含まれるべきである。税関当局及び税務当局、並びに連合のマネーロンダリング対策法に基づき情報を分析する行政上の任務を遂行する金融情報機関による行政手続のために特に使用されることを意図したAIシステムは、犯罪の予防、検知、捜査及び訴追の目的のために法執行当局が使用するハイリスクAIシステムには分類されるべきではない。法執行その他の関連当局によるAIツールの使用は、不平等又は排除の要因となるべきではない。AIツールの使用が被疑者の防御権に及ぼす影響、特に、これらのシステムの機能に関する意味のある情報を入手することの困難性、及びそれに伴い裁判所において(特に捜査対象の自然人によって)その結果に異議を申し立てることの困難性は、看過されるべきではない。
(60) AI systems used in migration, asylum and border control management affect persons who are often in particularly vulnerable position and who are dependent on the outcome of the actions of the competent public authorities. The accuracy, non-discriminatory nature and transparency of the AI systems used in those contexts are therefore particularly important to guarantee respect for the fundamental rights of the affected persons, in particular their rights to free movement, non-discrimination, protection of private life and personal data, international protection and good administration. It is therefore appropriate to classify as high-risk, insofar as their use is permitted under relevant Union and national law, AI systems intended to be used by or on behalf of competent public authorities or by Union institutions, bodies, offices or agencies charged with tasks in the fields of migration, asylum and border control management as polygraphs and similar tools, for assessing certain risks posed by natural persons entering the territory of a Member State or applying for visa or asylum, for assisting competent public authorities for the examination, including related assessment of the reliability of evidence, of applications for asylum, visa and residence permits and associated complaints with regard to the objective to establish the eligibility of the natural persons applying for a status, for the purpose of detecting, recognising or identifying natural persons in the context of migration, asylum and border control management, with the exception of verification of travel documents. AI systems in the area of migration, asylum and border control management covered by this Regulation should comply with the relevant procedural requirements set by the Regulation (EC) No 810/2009 of the European Parliament and
(60) 移民、庇護及び国境管理において使用されるAIシステムは、しばしば特に脆弱な立場にあり、所管公的機関の行為の結果に依存する人に影響を及ぼす。したがって、これらの文脈で使用されるAIシステムの正確性、無差別性及び透明性は、影響を受ける人の基本権、特に移動の自由、無差別、私生活及び個人データの保護、国際保護並びに良い行政を受ける権利の尊重を保証するために、特に重要である。したがって、移民、庇護及び国境管理の分野における任務を課された所管公的機関によって若しくはこれに代わって、又は連合の機関、団体、事務所若しくは機関によって、(ポリグラフ及び類似のツールとして)加盟国の領域に入国し又はビザ若しくは庇護を申請する自然人によってもたらされる一定のリスクを評価するために、庇護、ビザ及び在留許可の申請並びに関連する不服申立て(証拠の信頼性に関する関連評価を含む)を、当該地位を申請する自然人の適格性を確立するという目的に関して審査することについて所管公的機関を支援するために、移民、庇護及び国境管理の文脈において自然人を検知、認識又は識別する目的のために(旅行書類の検証を除く)使用されることを意図したAIシステムを、関連する連合法及び国内法の下でその使用が許容される限りにおいて、ハイリスクに分類することが適切である。本規則が対象とする移民、庇護及び国境管理の分野におけるAIシステムは、欧州議会及び理事会規則(EC)No 810/2009に定められた関連する手続的要件を遵守するべきである。
(61) Certain AI systems intended for the administration of justice and democratic processes should be classified as high-risk, considering their potentially significant impact on democracy, the rule of law, individual freedoms as well as the right to an effective remedy and to a fair trial. In particular, to address the risks of potential biases, errors and opacity, it is appropriate to qualify as high-risk AI systems intended to be used by a judicial authority or on its behalf to assist judicial authorities in researching and interpreting facts and the law and in applying the law to a concrete set of facts. AI systems intended to be used by alternative dispute resolution bodies for those purposes should also be considered to be high-risk when the outcomes of the alternative dispute resolution proceedings produce legal effects for the parties. The use of AI tools can support the decision-making power of judges or judicial independence, but should not replace it: the final decision-making must remain a human-driven activity. The classification of AI systems as high-risk should not, however, extend to AI systems intended for purely ancillary administrative activities that do not affect the actual administration of justice in individual cases, such as anonymisation or pseudonymisation of judicial decisions, documents or data, communication between personnel, administrative tasks.
(61) 司法の運営及び民主的手続を目的とする一定のAIシステムは、民主主義、法の支配、個人の自由並びに効果的な救済及び公正な裁判を受ける権利に対して重大な影響を及ぼし得ることに鑑み、ハイリスクに分類されるべきである。特に、偏り、誤り及び不透明性の潜在的リスクに対処するため、司法当局により又はその代理として、事実及び法の調査・解釈並びに具体的な事実関係への法の適用について司法当局を支援するために使用されることを意図したAIシステムは、ハイリスクAIシステムとして位置付けることが適切である。裁判外紛争解決機関がこれらの目的のために使用することを意図したAIシステムについても、当該裁判外紛争解決手続の結果が当事者に対して法的効果を生じさせる場合には、ハイリスクとみなされるべきである。AIツールの利用は、裁判官の意思決定権限又は司法の独立性を支援し得るが、これに代替すべきではない。最終的な意思決定は、人間主導の活動であり続けなければならない。もっとも、ハイリスクAIシステムとしての分類は、判決、文書若しくはデータの匿名化若しくは仮名化、職員間の連絡、事務作業等、個別事案における司法の実際の運営に影響を及ぼさない純粋に付随的な事務活動を目的とするAIシステムにまで及ぶべきではない。
(62) Without prejudice to the rules provided for in Regulation (EU) 2024/900 of the European Parliament and of the Council ( 34), and in order to address the risks of undue external interference with the right to vote enshrined in Article 39 of the Charter, and of adverse effects on democracy and the rule of law, AI systems intended to be used to influence the outcome of an election or referendum or the voting behaviour of natural persons in the exercise of their vote in elections or referenda should be classified as high-risk AI systems with the exception of AI systems whose output natural persons are not directly exposed to, such as tools used to organise, optimise and structure political campaigns from an administrative and logistical point of view.
(62) 欧州議会及び理事会規則(EU) 2024/900(34)に定める規則を害することなく、また、憲章第39条に定める選挙権に対する不当な外部干渉のリスク並びに民主主義及び法の支配に対する悪影響のリスクに対処するため、選挙若しくは国民投票の結果又は自然人が選挙若しくは国民投票において投票権を行使する際の投票行動に影響を与えるために使用されることを意図したAIシステムは、ハイリスクAIシステムに分類されるべきである。ただし、政治キャンペーンを事務及びロジスティクスの観点から組織し、最適化し、構成するために用いられるツールなど、自然人がその出力に直接さらされないAIシステムはこの限りでない。
(63) The fact that an AI system is classified as a high-risk AI system under this Regulation should not be interpreted as indicating that the use of the system is lawful under other acts of Union law or under national law compatible with Union law, such as on the protection of personal data, on the use of polygraphs and similar tools or other systems to detect the emotional state of natural persons. Any such use should continue to occur solely in accordance with the applicable requirements resulting from the Charter and from the applicable acts of secondary Union law and national law. This Regulation should not be understood as providing for the legal ground for processing of personal data, including special categories of personal data, where relevant, unless it is specifically otherwise provided for in this Regulation.
(63) あるAIシステムが本規則の下でハイリスクAIシステムに分類されるという事実は、当該システムの使用が、個人データの保護、ポリグラフその他自然人の感情状態を検知するための類似のツール若しくはその他のシステムの使用等に関する、連合法上の他の法令又は連合法に適合する国内法の下で適法であることを示すものと解釈されるべきではない。かかる使用は、引き続き、憲章及び適用ある連合の二次法並びに国内法から生じる適用要件にのみ従って行われるべきである。本規則は、特段の定めがある場合を除き、特別な種類の個人データを含む個人データの取扱いのための法的根拠を提供するものと解されるべきではない。
(64) To mitigate the risks from high-risk AI systems placed on the market or put into service and to ensure a high level of trustworthiness, certain mandatory requirements should apply to high-risk AI systems, taking into account the intended purpose and the context of use of the AI system and according to the risk-management system to be established by the provider. The measures adopted by the providers to comply with the mandatory requirements of this Regulation should take into account the generally acknowledged state of the art on AI, be proportionate and effective to meet the objectives of this Regulation. Based on the New Legislative Framework, as clarified in Commission notice ‘The “Blue Guide” on the implementation of EU product rules 2022’, the general rule is that more than one legal act of Union harmonisation legislation may be applicable to one product, since the making available or putting into service can take place only when the product complies with all applicable Union harmonisation legislation. The hazards of AI systems covered by the requirements of this Regulation concern different aspects than the existing Union harmonisation legislation and therefore the requirements of this Regulation would complement the existing body of the Union harmonisation legislation. For example, machinery or medical devices products incorporating an AI system might present risks not addressed by the essential health and safety
(64) 市場に投入され又は使用に供されるハイリスクAIシステムに由来するリスクを軽減し、高水準の信頼性を確保するため、AIシステムの意図された目的及び使用の状況を考慮し、提供者が構築すべきリスク管理システムに従って、一定の義務的要件がハイリスクAIシステムに適用されるべきである。提供者が本規則の義務的要件を遵守するために講じる措置は、AIに関する一般に認められた最新の技術水準を考慮し、本規則の目的を達成するために均衡が取れ、かつ実効的なものであるべきである。委員会通達「EU製品規則の実施に関する『ブルーガイド』2022年版」において明確化されているとおり、ニュー・レジスラティブ・フレームワークに基づき、一の製品には複数の連合調和立法が適用され得るというのが一般原則である。これは、当該製品がすべての適用ある連合調和立法に適合する場合にのみ、市場への提供又は使用への供用が行われ得るためである。本規則の要件が対象とするAIシステムの危険性は、既存の連合調和立法とは異なる側面に関わるものであり、したがって本規則の要件は既存の連合調和立法の体系を補完するものとなる。例えば、AIシステムを組み込んだ機械又は医療機器製品は、既存の必須の健康及び安全
(65) The risk-management system should consist of a continuous, iterative process that is planned and run throughout the entire lifecycle of a high-risk AI system. That process should be aimed at identifying and mitigating the relevant risks of AI systems on health, safety and fundamental rights. The risk-management system should be regularly reviewed and updated to ensure its continuing effectiveness, as well as justification and documentation of any significant decisions and actions taken subject to this Regulation. This process should ensure that the provider identifies risks or adverse impacts and implements mitigation measures for the known and reasonably foreseeable risks of AI systems to the health, safety and fundamental rights in light of their intended purpose and reasonably foreseeable misuse, including the possible risks arising from the interaction between the AI system and the environment within which it operates. The risk-management system should adopt the most appropriate risk-management measures in light of the state of the art in AI. When identifying the most appropriate risk-management measures, the provider should document and explain the choices made and, when relevant, involve experts and external stakeholders. In identifying the reasonably foreseeable misuse of high-risk AI systems, the provider should cover uses of AI systems which, while not directly covered by the intended purpose and provided for in the instruction for use may nevertheless be reasonably expected to result from readily predictable human behaviour in the context of the specific characteristics and use of a particular AI system. Any known or foreseeable circumstances related to the use of the high-risk AI system in accordance with its intended purpose or under conditions of reasonably foreseeable misuse, which may lead to risks to the health and safety or fundamental rights should be included in the instructions for use that are provided by the provider. This is to ensure that the deployer is aware and takes them into account when using the high-risk AI system. Identifying and implementing risk mitigation measures for foreseeable misuse under this Regulation should not require specific additional training for the high-risk AI system by the provider to address foreseeable misuse. The providers however are encouraged to consider such additional training measures to mitigate reasonable foreseeable misuses as necessary and appropriate.
(65) リスク管理システムは、ハイリスクAIシステムのライフサイクル全体を通じて計画され、実施される、継続的かつ反復的な過程から成るべきである。当該過程は、AIシステムの健康、安全及び基本的権利に対する関連リスクを特定し、軽減することを目的とすべきである。リスク管理システムは、その継続的な実効性を確保するため、また本規則に基づき講じられる重要な決定及び措置の正当化及び文書化のため、定期的に見直され、更新されるべきである。この過程は、提供者が、AIシステムの意図された目的及び合理的に予見可能な誤用に照らして、健康、安全及び基本的権利に対する既知かつ合理的に予見可能なリスク(AIシステムとその運用環境との相互作用から生じ得るリスクを含む)を特定し、軽減措置を実施することを確保するものでなければならない。リスク管理システムは、AIに関する最新の技術水準に照らして最も適切なリスク管理措置を採用すべきである。最も適切なリスク管理措置を特定するに当たり、提供者は、行った選択を文書化し、説明すべきであり、必要に応じて専門家及び外部の利害関係者を関与させるべきである。ハイリスクAIシステムの合理的に予見可能な誤用を特定するに当たり、提供者は、意図された目的によって直接規定され、使用説明書に定められているものではないものの、特定のAIシステムの具体的特性及び使用状況に照らして容易に予測可能な人間の行動から合理的に生じ得ると考えられるAIシステムの使用を対象とすべきである。意図された目的に従った、又は合理的に予見可能な誤用の条件下でのハイリスクAIシステムの使用に関連し、健康及び安全又は基本的権利に対するリスクをもたらし得る既知又は予見可能な状況は、提供者が提供する使用説明書に含まれるべきである。これは、実施者がこれらの事項を認識し、ハイリスクAIシステムを使用する際に考慮に入れることを確保するためである。本規則の下で予見可能な誤用に対するリスク軽減措置を特定し、実施することは、提供者に対し、予見可能な誤用に対処するためのハイリスクAIシステムの特別な追加の訓練を要求するものであってはならない。もっとも、提供者は、必要かつ適切な範囲で、合理的に予見可能な誤用を軽減するため、かかる追加の訓練措置を検討することが奨励される。
(66) Requirements should apply to high-risk AI systems as regards risk management, the quality and relevance of data sets used, technical documentation and record-keeping, transparency and the provision of information to deployers, human oversight, and robustness, accuracy and cybersecurity. Those requirements are necessary to effectively mitigate the risks for health, safety and fundamental rights. As no other less trade restrictive measures are reasonably available those requirements are not unjustified restrictions to trade.
(66) リスク管理、使用されるデータセットの品質及び関連性、技術文書化及び記録保持、透明性及び実施者への情報提供、人的監督、並びに堅牢性、正確性及びサイバーセキュリティに関する要件が、ハイリスクAIシステムに適用されるべきである。これらの要件は、健康、安全及び基本的権利に対するリスクを実効的に軽減するために必要である。他に合理的に利用可能な貿易制限の少ない措置が存在しない以上、これらの要件は不当な貿易制限とはならない。
(67) High-quality data and access to high-quality data plays a vital role in providing structure and in ensuring the performance of many AI systems, especially when techniques involving the training of models are used, with a view to ensure that the high-risk AI system performs as intended and safely and it does not become a source of discrimination prohibited by Union law. High-quality data sets for training, validation and testing require the implementation of appropriate data governance and management practices. Data sets for training, validation and testing, including the labels, should be relevant, sufficiently representative, and to the best extent possible free of errors and complete in view of the intended purpose of the system. In order to facilitate compliance with Union data protection law, such as Regulation (EU) 2016/679, data governance and management practices should include, in the case of personal data, transparency about the original purpose of the data collection. The data sets should also have the appropriate statistical properties, including as regards the persons or groups of persons in relation to whom the high-risk AI system is intended to be used, with specific attention to the mitigation of possible biases in the data sets, that are likely to affect the health and safety of persons, have a negative impact on fundamental rights or lead to discrimination prohibited under Union law, especially where data outputs influence inputs for future operations
(67) 高品質なデータ及び高品質なデータへのアクセスは、特にモデルの訓練を伴う技術が用いられる場合において、多くのAIシステムに構造を与え、その性能を確保する上で重要な役割を果たすものであり、これはハイリスクAIシステムが意図されたとおりかつ安全に機能し、連合法上禁止される差別の源とならないようにするためのものである。訓練、検証及びテストのための高品質なデータセットには、適切なデータガバナンス及び管理の実践の実施が必要である。訓練、検証及びテスト用のデータセット(ラベルを含む)は、当該システムの意図された目的に照らして関連性があり、十分に代表性を有し、可能な限り誤りがなく、完全なものであるべきである。規則(EU) 2016/679等の連合データ保護法の遵守を促進するため、データガバナンス及び管理の実践には、個人データの場合には、当該データ収集の当初の目的に関する透明性が含まれるべきである。データセットはまた、ハイリスクAIシステムの使用対象となる者又は人の集団に関する事項を含め、適切な統計的性質を有するべきであり、人の健康及び安全に影響を及ぼし、基本的権利に負の影響を与え、又は連合法上禁止される差別につながる可能性のあるデータセット中の偏りの軽減に特に注意を払うべきである。とりわけ、データの出力が将来の運用のための入力に影響を与える場合には、この点に留意すべきである。
(68) For the development and assessment of high-risk AI systems, certain actors, such as providers, notified bodies and other relevant entities, such as European Digital Innovation Hubs, testing experimentation facilities and researchers, should be able to access and use high-quality data sets within the fields of activities of those actors which are related to this Regulation. European common data spaces established by the Commission and the facilitation of data sharing between businesses and with government in the public interest will be instrumental to provide trustful, accountable and non-discriminatory access to high-quality data for the training, validation and testing of AI systems. For example, in health, the European health data space will facilitate non-discriminatory access to health data and the training of AI algorithms on those data sets, in a privacy-preserving, secure, timely, transparent and trustworthy manner, and with an appropriate institutional governance. Relevant competent authorities, including sectoral ones, providing or supporting the access to data may also support the provision of high-quality data for the training, validation and testing of AI systems.
(68) ハイリスクAIシステムの開発及び評価のため、提供者、届出機関、並びに欧州デジタル・イノベーション・ハブ、試験実験施設及び研究者等その他の関連主体は、本規則に関連するこれらの主体の活動分野において、高品質なデータセットにアクセスし、これを使用できるようにすべきである。委員会が構築する欧州共通データ空間、及び公共の利益のための事業者間並びに政府との間のデータ共有の促進は、AIシステムの訓練、検証及びテストのための高品質なデータへの信頼性があり、説明責任を伴い、かつ非差別的なアクセスを提供する上で重要な役割を果たす。例えば、保健分野においては、欧州保健データ空間が、プライバシーを保護し、安全で、適時、透明かつ信頼性のある方法により、また適切な制度的ガバナンスの下で、保健データへの非差別的なアクセス及びこれらのデータセットに基づくAIアルゴリズムの訓練を促進する。データへのアクセスを提供し又は支援する関連する所管当局(分野別の当局を含む)も、AIシステムの訓練、検証及びテストのための高品質なデータの提供を支援することができる。
(69) The right to privacy and to protection of personal data must be guaranteed throughout the entire lifecycle of the AI system. In this regard, the principles of data minimisation and data protection by design and by default, as set out in Union data protection law, are applicable when personal data are processed. Measures taken by providers to ensure compliance with those principles may include not only anonymisation and encryption, but also the use of technology that permits algorithms to be brought to the data and allows training of AI systems without the transmission between parties or copying of the raw or structured data themselves, without prejudice to the requirements on data governance provided for in this Regulation.
(69) プライバシー及び個人データ保護の権利は、AIシステムのライフサイクル全体を通じて保障されなければならない。この点において、連合データ保護法に定めるデータ最小化並びにデザイン及びデフォルトによるデータ保護の原則は、個人データが取り扱われる場合に適用される。提供者がこれらの原則の遵守を確保するために講じる措置には、匿名化及び暗号化のみならず、アルゴリズムをデータの方へ持ち込み、当事者間での生データ又は構造化データそのものの送信若しくは複製を伴うことなくAIシステムの訓練を可能とする技術の使用も含まれ得る。ただし、これは本規則に定めるデータガバナンスに関する要件を害するものではない。
(70) In order to protect the right of others from the discrimination that might result from the bias in AI systems, the providers should, exceptionally, to the extent that it is strictly necessary for the purpose of ensuring bias detection and correction in relation to the high-risk AI systems, subject to appropriate safeguards for the fundamental rights and freedoms of natural persons and following the application of all applicable conditions laid down under this Regulation in addition to the conditions laid down in Regulations (EU) 2016/679 and (EU) 2018/1725 and Directive (EU) 2016/680, be able to process also special categories of personal data, as a matter of substantial public interest within the meaning of Article 9(2), point (g) of Regulation (EU) 2016/679 and Article 10(2), point (g) of Regulation (EU) 2018/1725.
(70) AIシステムにおける偏りから生じ得る他者の差別からの権利を保護するため、提供者は、例外的に、ハイリスクAIシステムに関する偏りの検出及び是正を確保する目的のために厳密に必要な範囲において、自然人の基本的権利及び自由のための適切な保護措置を条件とし、かつ規則(EU) 2016/679及び規則(EU) 2018/1725並びに指令(EU) 2016/680に定める条件に加えて本規則に定めるすべての適用ある条件を適用した上で、規則(EU) 2016/679第9条2項(g)及び規則(EU) 2018/1725第10条2項(g)にいう重大な公共の利益に係る事項として、特別な種類の個人データについても取り扱うことができるようにすべきである。
(71) Having comprehensible information on how high-risk AI systems have been developed and how they perform throughout their lifetime is essential to enable traceability of those systems, verify compliance with the requirements under this Regulation, as well as monitoring of their operations and post market monitoring. This requires keeping records and the availability of technical documentation, containing information which is necessary to assess the compliance of the AI system with the relevant requirements and facilitate post market monitoring. Such information should include the general characteristics, capabilities and limitations of the system, algorithms, data, training, testing and validation processes used as well as documentation on the relevant risk-management system and drawn in a clear and comprehensive form. The technical documentation should be kept up to date, appropriately throughout the lifetime of the AI system. Furthermore, high-risk AI systems should technically allow for the automatic recording of events, by means of logs, over the duration of the lifetime of the system.
(71) ハイリスクAIシステムがどのように開発され、そのライフサイクルを通じてどのように機能するかについて理解可能な情報を有することは、これらのシステムのトレーサビリティを可能にし、本規則上の要件の遵守を検証し、並びにその運用及び市場投入後の監視を行う上で不可欠である。これには、記録の保持及び、AIシステムが関連要件に適合していることを評価し、市場投入後の監視を促進するために必要な情報を含む技術文書の利用可能性が必要である。かかる情報には、システムの一般的特性、能力及び限界、使用されたアルゴリズム、データ、訓練、テスト及び検証の過程、並びに関連するリスク管理システムに関する文書化を含め、明確かつ包括的な形式で作成されたものが含まれるべきである。技術文書は、AIシステムのライフサイクルを通じて、適宜、最新の状態に保たれるべきである。さらに、ハイリスクAIシステムは、そのライフサイクルの期間を通じて、ログによる事象の自動記録を技術的に可能とすべきである。
(72) To address concerns related to opacity and complexity of certain AI systems and help deployers to fulfil their obligations under this Regulation, transparency should be required for high-risk AI systems before they are placed on the market or put it into service. High-risk AI systems should be designed in a manner to enable deployers to understand how the AI system works, evaluate its functionality, and comprehend its strengths and limitations. High-risk AI systems should be accompanied by appropriate information in the form of instructions of use. Such information should include the characteristics, capabilities and limitations of performance of the AI system. Those would cover information on possible known and foreseeable circumstances related to the use of the high-risk AI system, including deployer action that may influence system behaviour and performance, under which the AI system can lead to risks to health, safety, and fundamental rights, on the changes that have been pre-determined and assessed for conformity by the provider and on the relevant human oversight measures, including the measures to facilitate the interpretation of the outputs of the AI system by the deployers. Transparency, including the accompanying instructions for use, should assist deployers in the use of the system and support informed decision making by them. Deployers should, inter alia, be in a better position to make the correct choice of the system that they intend to use in light of the obligations applicable to them, be educated about the intended and precluded uses, and use the AI system correctly and as appropriate. In order to enhance legibility and accessibility of the information included in the instructions of use, where appropriate, illustrative examples, for instance on the limitations and on the intended and precluded uses of the AI system, should be included. Providers should ensure that all documentation, including the instructions for use, contains meaningful, comprehensive, accessible and understandable information, taking into account the needs and foreseeable knowledge of the target deployers. Instructions for use should be made available in a language which can be easily understood by target deployers, as determined by the Member State concerned.
(72) 一定のAIシステムの不透明性及び複雑性に関連する懸念に対処し、実施者が本規則上の義務を果たすことを支援するため、ハイリスクAIシステムが市場に投入され又は使用に供される前に、透明性が要求されるべきである。ハイリスクAIシステムは、実施者がそのAIシステムの機能の仕方を理解し、その機能性を評価し、その長所及び限界を把握できるように設計されるべきである。ハイリスクAIシステムには、使用説明書の形式による適切な情報が付随すべきである。かかる情報には、AIシステムの性能の特性、能力及び限界が含まれるべきである。これには、システムの挙動及び性能に影響を及ぼし得る実施者の行為を含め、ハイリスクAIシステムの使用に関連する既知及び予見可能な状況であってAIシステムが健康、安全及び基本的権利に対するリスクをもたらし得るもの、提供者によりあらかじめ定められ適合性評価が行われた変更、並びに実施者によるAIシステムの出力の解釈を促進するための措置を含む関連する人的監督措置に関する情報が含まれる。使用説明書を含む透明性は、実施者によるシステムの使用を支援し、実施者による十分な情報に基づく意思決定を支援すべきである。実施者は、とりわけ、自らに適用される義務に照らして使用しようとするシステムの正しい選択を行うことができる立場にあり、意図された使用及び禁止された使用について教育を受け、AIシステムを正しく適切に使用できるようにすべきである。使用説明書に含まれる情報の可読性及びアクセス可能性を高めるため、必要に応じて、AIシステムの限界並びに意図された使用及び禁止された使用に関する例示等、具体的な例が含まれるべきである。提供者は、想定される実施者のニーズ及び予見可能な知識水準を考慮し、使用説明書を含むすべての文書が、意味のある、包括的で、アクセス可能かつ理解可能な情報を含むことを確保すべきである。使用説明書は、関係する加盟国が定めるところにより、想定される実施者が容易に理解できる言語で提供されるべきである。
(73) High-risk AI systems should be designed and developed in such a way that natural persons can oversee their functioning, ensure that they are used as intended and that their impacts are addressed over the system’s lifecycle. To that end, appropriate human oversight measures should be identified by the provider of the system before its placing on the market or putting into service. In particular, where appropriate, such measures should guarantee that the system is subject to in-built operational constraints that cannot be overridden by the system itself and is responsive to the human operator, and that the natural persons to whom human oversight has been assigned have the necessary competence, training and authority to carry out that role. It is also essential, as appropriate, to ensure that high-risk AI systems include mechanisms to guide and inform a natural person to whom human oversight has been assigned to make informed decisions if, when and how to intervene in order to avoid negative consequences or risks, or stop the system if it does not perform as intended. Considering the significant consequences for persons in the case of an incorrect match by certain biometric identification systems, it is appropriate to provide for an enhanced human oversight requirement for those systems so that no action or decision may be taken by the deployer on the basis of the identification resulting from the system unless this has been separately verified and confirmed by at least two natural persons. Those persons could be from one or more entities and include the person operating or using the system. This requirement should not pose unnecessary burden or delays and it could be sufficient that the separate verifications by the different persons are automatically recorded in the logs generated by the system. Given the specificities of the areas of law enforcement, migration, border control and asylum, this requirement should not apply where Union or national law considers the application of that requirement to be disproportionate.
(73) ハイリスクAIシステムは、自然人がその機能を監督し、意図されたとおりに使用されることを確保し、システムのライフサイクルを通じてその影響に対処できるように設計され、開発されるべきである。このため、適切な人的監督措置は、システムが市場に投入され又は使用に供される前に、当該システムの提供者によって特定されるべきである。特に、必要な場合には、かかる措置は、システムがそれ自体によって無効化され得ない組み込みの運用上の制約に服し、人間の操作者に対して応答的であること、及び人的監督を割り当てられた自然人が当該役割を果たすために必要な能力、訓練及び権限を有していることを保証すべきである。また、必要に応じて、ハイリスクAIシステムに、否定的な結果又はリスクを回避するためにいつ、どのように介入するかについて情報に基づく決定を行うよう、又はシステムが意図されたとおりに機能しない場合にこれを停止するよう、人的監督を割り当てられた自然人を導き、情報提供する仕組みが含まれることを確保することも不可欠である。一定の生体認証識別システムによる誤った照合が人に及ぼす重大な結果に鑑み、少なくとも二人の自然人による別個の検証及び確認が行われない限り、システムによる識別結果に基づいて実施者がいかなる行為又は決定も行うことができないよう、これらのシステムについて強化された人的監督要件を定めることが適切である。これらの者は、一又は複数の主体に属していてもよく、システムを操作し又は使用する者を含んでもよい。この要件は、不必要な負担又は遅延をもたらすべきではなく、異なる者による別個の検証がシステムによって生成されるログに自動的に記録されることで足りる場合がある。法執行、移民、国境管理及び庇護の分野の特殊性に鑑み、連合法又は国内法が当該要件の適用を均衡を欠くものと認める場合には、この要件は適用されるべきではない。
(74) High-risk AI systems should perform consistently throughout their lifecycle and meet an appropriate level of accuracy, robustness and cybersecurity, in light of their intended purpose and in accordance with the generally acknowledged state of the art. The Commission and relevant organisations and stakeholders are encouraged to take due consideration of the mitigation of risks and the negative impacts of the AI system. The expected level of performance metrics should be declared in the accompanying instructions of use. Providers are urged to communicate that information to deployers in a clear and easily understandable way, free of misunderstandings or misleading statements. Union law on legal metrology, including Directives 2014/31/EU ( 35) and 2014/32/EU (36) of the European Parliament and of the Council, aims to ensure the accuracy of measurements and to help the transparency and fairness of commercial transactions. In that context, in cooperation with relevant stakeholders and organisation, such as metrology and benchmarking authorities, the Commission should encourage, as appropriate, the development of benchmarks and measurement methodologies for AI systems. In doing so, the Commission should take note and collaborate with international partners working on metrology and relevant measurement indicators relating to AI.
(74) ハイリスクAIシステムは、そのライフサイクルを通じて一貫して機能し、その意図された目的に照らし、かつ一般に認められた最新の技術水準に従って、適切な水準の正確性、堅牢性及びサイバーセキュリティを満たすべきである。委員会並びに関連する組織及び利害関係者は、AIシステムのリスク及び負の影響の軽減について十分な考慮を払うことが奨励される。期待される性能指標の水準は、付随する使用説明書において宣言されるべきである。提供者は、誤解又は誤解を招く記載のない、明確かつ容易に理解可能な方法で、当該情報を実施者に伝えることが強く求められる。欧州議会及び理事会指令2014/31/EU(35)及び2014/32/EU(36)を含む法定計量に関する連合法は、測定の正確性を確保し、商取引の透明性及び公正性を助長することを目的とする。この文脈において、計量及びベンチマーク当局等の関連する利害関係者及び組織と協力し、委員会は、必要に応じて、AIシステムに関するベンチマーク及び測定方法論の開発を促進すべきである。その際、委員会は、AIに関する計量及び関連する測定指標に取り組む国際的な連携先に留意し、これと協力すべきである。
(75) Technical robustness is a key requirement for high-risk AI systems. They should be resilient in relation to harmful or otherwise undesirable behaviour that may result from limitations within the systems or the environment in which the systems operate (e.g. errors, faults, inconsistencies, unexpected situations). Therefore, technical and organisational measures should be taken to ensure robustness of high-risk AI systems, for example by designing and developing appropriate technical solutions to prevent or minimise harmful or otherwise undesirable behaviour. Those technical solution may include for instance mechanisms enabling the system to safely interrupt its operation (fail-safe plans) in the presence of certain anomalies or when operation takes place outside certain predetermined boundaries. Failure to protect against these risks could lead to safety impacts or negatively affect the fundamental rights, for example due to erroneous decisions or wrong or biased outputs generated by the AI system.
(75) 技術的堅牢性は、ハイリスクAIシステムにとって重要な要件である。これらのシステムは、システム内の限界又はシステムが運用される環境に起因して生じ得る有害な行動その他望ましくない行動(例えば、誤り、故障、不整合、予期しない状況)に対して、耐性を有するべきである。したがって、ハイリスクAIシステムの堅牢性を確保するため、例えば、有害な行動その他望ましくない行動を防止し又は最小化するための適切な技術的解決策を設計し、開発することにより、技術的及び組織的な措置が講じられるべきである。かかる技術的解決策には、例えば、一定の異常が存在する場合又はあらかじめ定められた一定の境界の外で運用が行われる場合に、システムがその運用を安全に中断できるようにする仕組み(フェイルセーフ計画)が含まれ得る。これらのリスクからの保護を怠ることは、例えば、AIシステムによって生成される誤った決定又は誤った若しくは偏った出力により、安全に対する影響をもたらし、又は基本的権利に負の影響を及ぼす可能性がある。
(76) Cybersecurity plays a crucial role in ensuring that AI systems are resilient against attempts to alter their use, behaviour, performance or compromise their security properties by malicious third parties exploiting the system’s vulnerabilities. Cyberattacks against AI systems can leverage AI specific assets, such as training data sets (e.g. data poisoning) or trained models (e.g. adversarial attacks or membership inference), or exploit vulnerabilities in the AI system’s digital assets or the underlying ICT infrastructure. To ensure a level of cybersecurity appropriate to the risks, suitable measures, such as security controls, should therefore be taken by the providers of high-risk AI systems, also taking into account as appropriate the underlying ICT infrastructure.
(76) サイバーセキュリティは、AIシステムが、システムの脆弱性を悪用する悪意ある第三者によるその利用、挙動若しくは性能の改変の試み又はセキュリティ特性の侵害の試みに対して強靱であることを確保する上で、重要な役割を果たす。AIシステムに対するサイバー攻撃は、訓練用データセット(例えばデータポイズニング)や学習済みモデル(例えば敵対的攻撃やメンバーシップ推論)といったAI特有の資産を利用し、又はAIシステムのデジタル資産若しくはその基盤となるICTインフラの脆弱性を悪用することがある。したがって、リスクに見合った水準のサイバーセキュリティを確保するため、ハイリスクAIシステムの提供者は、必要に応じて基盤となるICTインフラも考慮しつつ、セキュリティ管理策等の適切な措置を講じるべきである。
(77) Without prejudice to the requirements related to robustness and accuracy set out in this Regulation, high-risk AI systems which fall within the scope of a regulation of the European Parliament and of the Council on horizontal cybersecurity requirements for products with digital elements, in accordance with that regulation may demonstrate compliance with the cybersecurity requirements of this Regulation by fulfilling the essential cybersecurity requirements set out in that regulation. When high-risk AI systems fulfil the essential requirements of a regulation of the European Parliament and of the Council on horizontal cybersecurity requirements for products with digital elements, they should be deemed compliant with the cybersecurity requirements set out in this Regulation in so far as the achievement of those requirements is demonstrated in the EU declaration of conformity or parts thereof issued under that regulation. To that end, the assessment of the cybersecurity risks, associated to a product with digital elements classified as high-risk AI system according to this Regulation, carried out under a regulation of the European Parliament and of the Council on horizontal cybersecurity requirements for products with digital elements, should consider risks to the cyber resilience of an AI system as regards attempts by unauthorised third parties to alter its use, behaviour or performance, including AI specific vulnerabilities such as data poisoning or adversarial attacks, as well as, as relevant, risks to fundamental rights as required by this Regulation.
(77) 本規則で定める堅牢性及び正確性に関する要件を損なうことなく、デジタル要素を有する製品に対する水平的なサイバーセキュリティ要件に関する欧州議会及び理事会規則の適用範囲に含まれるハイリスクAIシステムは、当該規則に定める必須のサイバーセキュリティ要件を満たすことにより、当該規則に従って本規則のサイバーセキュリティ要件への適合を証明することができる。ハイリスクAIシステムが、デジタル要素を有する製品に対する水平的なサイバーセキュリティ要件に関する欧州議会及び理事会規則の必須要件を満たす場合、当該規則に基づき発行されるEU適合宣言書又はその一部において当該要件の達成が証明されている限りにおいて、当該システムは本規則に定めるサイバーセキュリティ要件に適合しているものとみなされるべきである。そのため、本規則に基づきハイリスクAIシステムに分類されるデジタル要素を有する製品に係るサイバーセキュリティリスクの評価であって、デジタル要素を有する製品に対する水平的なサイバーセキュリティ要件に関する欧州議会及び理事会規則に基づき実施されるものは、データポイズニングや敵対的攻撃といったAI特有の脆弱性を含め、権限を有しない第三者がAIシステムの利用、挙動又は性能を改変しようとする試みに対するサイバーレジリエンスに係るリスク、並びに関連する限りにおいて本規則が求める基本権に対するリスクを考慮すべきである。
(78) The conformity assessment procedure provided by this Regulation should apply in relation to the essential cybersecurity requirements of a product with digital elements covered by a regulation of the European Parliament and of the Council on horizontal cybersecurity requirements for products with digital elements and classified as a high-risk AI system under this Regulation. However, this rule should not result in reducing the necessary level of assurance for critical products with digital elements covered by a regulation of the European Parliament and of the Council on horizontal cybersecurity requirements for products with digital elements. Therefore, by way of derogation from this rule, high-risk AI systems that fall within the scope of this Regulation and are also qualified as important and critical products with digital elements pursuant to a regulation of the European Parliament and of the Council on horizontal cybersecurity requirements for products with digital elements and to which the conformity assessment procedure based on internal control set out in an annex to this Regulation applies, are subject to the conformity assessment provisions of a regulation of the European Parliament and of the Council on horizontal cybersecurity requirements for products with digital elements insofar as the essential cybersecurity requirements of that regulation are concerned. In this case, for all the other aspects covered by this Regulation the respective provisions on conformity assessment based on internal control set out in an annex to this Regulation should apply. Building on the knowledge and expertise of ENISA on the cybersecurity policy and tasks assigned to ENISA under the Regulation (EU) 2019/881 of the European Parliament and of the Council ( 37), the Commission should cooperate with ENISA on issues related to cybersecurity of AI systems.
(78) 本規則が定める適合性評価手続は、デジタル要素を有する製品に対する水平的なサイバーセキュリティ要件に関する欧州議会及び理事会規則の適用対象であり、かつ本規則に基づきハイリスクAIシステムに分類されるデジタル要素を有する製品の必須サイバーセキュリティ要件との関係において適用されるべきである。もっとも、この規則は、デジタル要素を有する製品に対する水平的なサイバーセキュリティ要件に関する欧州議会及び理事会規則の対象となる重要なデジタル要素を有する製品について、必要とされる保証水準を低下させる結果をもたらすべきではない。したがって、この原則の例外として、本規則の適用範囲に含まれると同時に、デジタル要素を有する製品に対する水平的なサイバーセキュリティ要件に関する欧州議会及び理事会規則に従って重要又は極めて重要なデジタル要素を有する製品としても位置付けられ、かつ本規則の附属書に定める内部管理に基づく適合性評価手続が適用されるハイリスクAIシステムについては、当該規則の必須サイバーセキュリティ要件に関する限り、デジタル要素を有する製品に対する水平的なサイバーセキュリティ要件に関する欧州議会及び理事会規則の適合性評価に関する規定が適用される。この場合、本規則が対象とするその他の全ての事項については、本規則の附属書に定める内部管理に基づく適合性評価に関する各規定がそれぞれ適用されるべきである。欧州議会及び理事会規則(EU)2019/881(37)に基づきENISAに付与されたサイバーセキュリティ政策及び任務に関するENISAの知見及び専門性を踏まえ、委員会はAIシステムのサイバーセキュリティに関する事項についてENISAと協力すべきである。
(79) It is appropriate that a specific natural or legal person, defined as the provider, takes responsibility for the placing on the market or the putting into service of a high-risk AI system, regardless of whether that natural or legal person is the person who designed or developed the system.
(79) 提供者として定義される特定の自然人又は法人が、当該人がそのシステムを設計又は開発した者であるか否かにかかわらず、ハイリスクAIシステムの市場投入又はサービス提供の開始について責任を負うことが適切である。
(80) As signatories to the United Nations Convention on the Rights of Persons with Disabilities, the Union and the Member States are legally obliged to protect persons with disabilities from discrimination and promote their equality, to ensure that persons with disabilities have access, on an equal basis with others, to information and communications technologies and systems, and to ensure respect for privacy for persons with disabilities. Given the growing importance and use of AI systems, the application of universal design principles to all new technologies and services should ensure full and equal access for everyone potentially affected by or using AI technologies, including persons with disabilities, in a way that takes full account of their inherent dignity and diversity. It is therefore essential that providers ensure full compliance with accessibility requirements, including Directive (EU) 2016/2102 of the European Parliament and of the Council ( 38) and Directive (EU) 2019/882. Providers should ensure compliance with these requirements by design. Therefore, the necessary measures should be integrated as much as possible into the design of the high-risk AI system.
(80) 障害者の権利に関する国際連合条約の締約者として、連合及び加盟国は、障害者を差別から保護し、その平等を促進し、障害者が他の者と同等の条件で情報通信技術及び情報通信システムにアクセスできることを確保し、並びに障害者のプライバシーの尊重を確保する法的義務を負っている。AIシステムの重要性及び利用が高まっていることに鑑み、全ての新技術及びサービスへのユニバーサルデザインの原則の適用は、障害者を含め、AI技術の影響を受ける可能性のある者又はこれを利用する全ての者に対し、その固有の尊厳及び多様性を十分に考慮した形で、完全かつ平等なアクセスを確保するべきである。したがって、提供者が欧州議会及び理事会指令(EU)2016/2102(38)及び指令(EU)2019/882を含むアクセシビリティ要件への完全な遵守を確保することが不可欠である。提供者は、設計段階からこれらの要件への適合を確保すべきである。そのため、必要な措置は可能な限りハイリスクAIシステムの設計に組み込まれるべきである。
(81) The provider should establish a sound quality management system, ensure the accomplishment of the required conformity assessment procedure, draw up the relevant documentation and establish a robust post-market monitoring system. Providers of high-risk AI systems that are subject to obligations regarding quality management systems under relevant sectoral Union law should have the possibility to include the elements of the quality management system provided for in this Regulation as part of the existing quality management system provided for in that other sectoral Union law. The complementarity between this Regulation and existing sectoral Union law should also be taken into account in future standardisation activities or guidance adopted by the Commission. Public authorities which put into service high-risk AI systems for their own use may adopt and implement the rules for the quality management system as part of the quality management system adopted at a national or regional level, as appropriate, taking into account the specificities of the sector and the competences and organisation of the public authority concerned.
(81) 提供者は、健全な品質管理システムを確立し、求められる適合性評価手続の遂行を確保し、関連する文書を作成し、堅牢な市販後監視システムを確立すべきである。関連する分野別の連合法に基づき品質管理システムに関する義務を負うハイリスクAIシステムの提供者は、本規則が定める品質管理システムの要素を、当該他の分野別連合法が定める既存の品質管理システムの一部として組み込むことができるようにすべきである。本規則と既存の分野別連合法との間の補完性は、委員会が採択する将来の標準化活動又はガイダンスにおいても考慮されるべきである。自らの利用のためにハイリスクAIシステムのサービス提供を開始する公的機関は、関連する分野の特性並びに当該公的機関の権限及び組織を考慮しつつ、必要に応じて、国内又は地域レベルで採択された品質管理システムの一部として品質管理システムに関する規則を採択し、実施することができる。
(82) To enable enforcement of this Regulation and create a level playing field for operators, and, taking into account the different forms of making available of digital products, it is important to ensure that, under all circumstances, a person established in the Union can provide authorities with all the necessary information on the compliance of an AI system. Therefore, prior to making their AI systems available in the Union, providers established in third countries should, by written mandate, appoint an authorised representative established in the Union. This authorised representative plays a pivotal role in ensuring the compliance of the high-risk AI systems placed on the market or put into service in the Union by those providers who are not established in the Union and in serving as their contact person established in the Union.
(82) 本規則の執行を可能にし、事業者間の公平な競争条件を創出するとともに、デジタル製品の提供の多様な形態を考慮すると、いかなる状況においても、連合内に設立された者が、AIシステムの適合性に関する必要な全ての情報を当局に提供できることを確保することが重要である。したがって、第三国に設立された提供者は、連合内でAIシステムを利用可能にする前に、書面による委任により、連合内に設立された認定代理人を選任すべきである。この認定代理人は、連合内に設立されていない提供者によって連合内で市場投入され又はサービス提供が開始されるハイリスクAIシステムの適合性を確保する上で、また、連合内に設立された当該提供者の連絡先として機能する上で、中心的な役割を果たす。
(83) In light of the nature and complexity of the value chain for AI systems and in line with the New Legislative Framework, it is essential to ensure legal certainty and facilitate the compliance with this Regulation. Therefore, it is necessary to clarify the role and the specific obligations of relevant operators along that value chain, such as importers and distributors who may contribute to the development of AI systems. In certain situations those operators could act in more than one role at the same time and should therefore fulfil cumulatively all relevant obligations associated with those roles. For example, an operator could act as a distributor and an importer at the same time.
(83) AIシステムのバリューチェーンの性質及び複雑性に鑑み、また新立法枠組みに沿って、法的確実性を確保し、本規則への遵守を促進することが不可欠である。したがって、AIシステムの開発に寄与し得る輸入者及び流通業者等、当該バリューチェーンに沿った関連事業者の役割及び具体的な義務を明確化する必要がある。特定の状況においては、これらの事業者が同時に複数の役割を担うことがあり、その場合には、これらの役割に伴う全ての関連義務を累積的に履行すべきである。例えば、ある事業者が流通業者であると同時に輸入者としても行為することがある。
(84) To ensure legal certainty, it is necessary to clarify that, under certain specific conditions, any distributor, importer, deployer or other third-party should be considered to be a provider of a high-risk AI system and therefore assume all the relevant obligations. This would be the case if that party puts its name or trademark on a high-risk AI system already placed on the market or put into service, without prejudice to contractual arrangements stipulating that the obligations are allocated otherwise. This would also be the case if that party makes a substantial modification to a high-risk AI system that has already been placed on the market or has already been put into service in a way that it remains a high-risk AI system in accordance with this Regulation, or if it modifies the intended purpose of an AI system, including a general-purpose AI system, which has not been classified as high-risk and has already been placed on the market or put into service, in a way that the AI system becomes a high-risk AI system in accordance with this Regulation. Those provisions should apply without prejudice to more specific provisions established in certain Union harmonisation legislation based on the New Legislative Framework, together with which this
(84) 法的確実性を確保するため、特定の条件の下では、流通業者、輸入者、デプロイヤー又はその他の第三者が、ハイリスクAIシステムの提供者とみなされ、したがって関連する全ての義務を負うこととなる旨を明確化する必要がある。これは、当該当事者が、既に市場投入され又はサービス提供が開始されたハイリスクAIシステムに自己の名称又は商標を付す場合に該当し、義務の配分を別段の方法で定める契約上の取決めを妨げるものではない。また、これは、当該当事者が、既に市場投入され又はサービス提供が開始されたハイリスクAIシステムに実質的な改変を加え、それが本規則に従いなおハイリスクAIシステムであり続ける場合、又は、汎用目的AIシステムを含め、ハイリスクに分類されておらず既に市場投入され若しくはサービス提供が開始されたAIシステムの意図された目的を改変し、当該AIシステムが本規則に従ってハイリスクAIシステムとなる場合にも該当する。これらの規定は、新立法枠組みに基づく特定の連合調和法令において定められるより具体的な規定を妨げることなく適用されるべきであり、本規則はこれと
(85) General-purpose AI systems may be used as high-risk AI systems by themselves or be components of other high-risk AI systems. Therefore, due to their particular nature and in order to ensure a fair sharing of responsibilities along the AI value chain, the providers of such systems should, irrespective of whether they may be used as high-risk AI systems as such by other providers or as components of high-risk AI systems and unless provided otherwise under this Regulation, closely cooperate with the providers of the relevant high-risk AI systems to enable their compliance with the relevant obligations under this Regulation and with the competent authorities established under this Regulation.
(85) 汎用目的AIシステムは、それ自体がハイリスクAIシステムとして利用されることもあれば、他のハイリスクAIシステムの構成要素となることもある。したがって、その特有の性質に鑑み、また、AIのバリューチェーン全体にわたる責任の公平な分担を確保するため、当該システムの提供者は、自らのシステムが他の提供者によりそれ自体としてハイリスクAIシステムとして利用され得るか、又はハイリスクAIシステムの構成要素として利用され得るかを問わず、かつ本規則に別段の定めがある場合を除き、関連するハイリスクAIシステムの提供者と緊密に協力し、本規則に基づく関連義務の遵守及び本規則に基づき設置される所管当局への対応を可能にすべきである。
(86) Where, under the conditions laid down in this Regulation, the provider that initially placed the AI system on the market or put it into service should no longer be considered to be the provider for the purposes of this Regulation, and when that provider has not expressly excluded the change of the AI system into a high-risk AI system, the former provider should nonetheless closely cooperate and make available the necessary information and provide the reasonably expected technical access and other assistance that are required for the fulfilment of the obligations set out in this Regulation, in particular regarding the compliance with the conformity assessment of high-risk AI systems.
(86) 本規則に定める条件の下で、当初AIシステムを市場投入し又はサービス提供を開始した提供者が、本規則の適用上もはや提供者とみなされるべきでなくなる場合であって、当該提供者がAIシステムのハイリスクAIシステムへの変化を明示的に排除していないときは、当該元の提供者は、それでもなお緊密に協力し、必要な情報を利用可能にし、また、本規則、特にハイリスクAIシステムの適合性評価への適合に関する義務の履行のために求められる合理的に期待される技術的アクセスその他の支援を提供すべきである。
(87) In addition, where a high-risk AI system that is a safety component of a product which falls within the scope of Union harmonisation legislation based on the New Legislative Framework is not placed on the market or put into service independently from the product, the product manufacturer defined in that legislation should comply with the obligations of the provider established in this Regulation and should, in particular, ensure that the AI system embedded in the final product complies with the requirements of this Regulation.
(87) さらに、新立法枠組みに基づく連合調和法令の適用範囲に含まれる製品の安全構成部品であるハイリスクAIシステムが、当該製品とは独立して市場投入され又はサービス提供が開始されない場合には、当該法令が定義する製品製造業者が、本規則に定める提供者の義務を遵守すべきであり、特に、最終製品に組み込まれたAIシステムが本規則の要件に適合していることを確保すべきである。
(88) Along the AI value chain multiple parties often supply AI systems, tools and services but also components or processes that are incorporated by the provider into the AI system with various objectives, including the model training, model retraining, model testing and evaluation, integration into software, or other aspects of model development. Those parties have an important role to play in the value chain towards the provider of the high-risk AI system into which their AI systems, tools, services, components or processes are integrated, and should provide by written agreement this provider with the necessary information, capabilities, technical access and other assistance based on the generally acknowledged state of the art, in order to enable the provider to fully comply with the obligations set out in this Regulation, without compromising their own intellectual property rights or trade secrets.
(88) AIのバリューチェーンに沿って、多くの当事者が、モデルの訓練、モデルの再訓練、モデルの試験及び評価、ソフトウェアへの統合その他のモデル開発の側面を含む様々な目的のために、提供者がAIシステムに組み込む構成要素若しくは工程のみならず、AIシステム、ツール及びサービスをしばしば供給している。これらの当事者は、自らのAIシステム、ツール、サービス、構成要素又は工程が組み込まれるハイリスクAIシステムの提供者に対するバリューチェーン上重要な役割を担っており、当該提供者が本規則に定める義務を完全に遵守できるようにするため、自らの知的財産権又は営業秘密を損なうことなく、一般に認められた最新の技術水準に基づき、必要な情報、能力、技術的アクセスその他の支援を書面による合意により当該提供者に提供すべきである。
(89) Third parties making accessible to the public tools, services, processes, or AI components other than general-purpose AI models, should not be mandated to comply with requirements targeting the responsibilities along the AI value chain, in particular towards the provider that has used or integrated them, when those tools, services, processes, or AI components are made accessible under a free and open-source licence. Developers of free and open-source tools, services, processes, or AI components other than general-purpose AI models should be encouraged to implement widely adopted documentation practices, such as model cards and data sheets, as a way to accelerate information sharing along the AI value chain, allowing the promotion of trustworthy AI systems in the Union.
(89) 汎用目的AIモデル以外のツール、サービス、工程又はAI構成要素を公衆に利用可能にする第三者は、これらのツール、サービス、工程又はAI構成要素が自由かつオープンソースのライセンスの下で利用可能にされている場合には、AIのバリューチェーンに沿った責任、特にこれらを利用又は統合した提供者に対する責任を対象とする要件の遵守を義務付けられるべきではない。汎用目的AIモデル以外の自由かつオープンソースのツール、サービス、工程又はAI構成要素の開発者は、AIのバリューチェーンに沿った情報共有を促進し、連合における信頼できるAIシステムの普及を可能にする手段として、モデルカードやデータシートといった広く採用されている文書化の実務を実施するよう奨励されるべきである。
(90) The Commission could develop and recommend voluntary model contractual terms between providers of high-risk AI systems and third parties that supply tools, services, components or processes that are used or integrated in high-risk AI systems, to facilitate the cooperation along the value chain. When developing voluntary model contractual terms, the Commission should also take into account possible contractual requirements applicable in specific sectors or business cases.
(90) 委員会は、バリューチェーンに沿った協力を促進するため、ハイリスクAIシステムの提供者と、ハイリスクAIシステムにおいて利用され又は統合されるツール、サービス、構成要素若しくは工程を供給する第三者との間の任意のモデル契約条項を策定し、勧告することができる。任意のモデル契約条項を策定するに当たり、委員会は、特定の分野又は取引事例に適用され得る契約上の要件についても考慮すべきである。
(91) Given the nature of AI systems and the risks to safety and fundamental rights possibly associated with their use, including as regards the need to ensure proper monitoring of the performance of an AI system in a real-life setting, it is appropriate to set specific responsibilities for deployers. Deployers should in particular take appropriate technical and organisational measures to ensure they use high-risk AI systems in accordance with the instructions of use and certain other obligations should be provided for with regard to monitoring of the functioning of the AI systems and with regard to record-keeping, as appropriate. Furthermore, deployers should ensure that the persons assigned to implement the instructions for use and human oversight as set out in this Regulation have the necessary
(91) AIシステムの性質及びその利用に伴い生じ得る安全及び基本的権利に対するリスク(実環境におけるAIシステムの性能の適切な監視を確保する必要性に関するものを含む。)に鑑み、デプロイヤーに対して特定の責任を定めることが適切である。デプロイヤーは特に、高リスクAIシステムを使用指示に従って使用することを確保するための適切な技術的及び組織的措置を講ずるべきであり、また、必要に応じて、AIシステムの機能の監視及び記録の保持に関するその他の一定の義務を定めるべきである。さらに、デプロイヤーは、本規則に定める使用指示及び人間による監視を実施する任務を割り当てられた者が、必要な
(92) This Regulation is without prejudice to obligations for employers to inform or to inform and consult workers or their representatives under Union or national law and practice, including Directive 2002/14/EC of the European Parliament and of the Council ( 39), on decisions to put into service or use AI systems. It remains necessary to ensure information of workers and their representatives on the planned deployment of high-risk AI systems at the workplace where the conditions for those information or information and consultation obligations in other legal instruments are not fulfilled. Moreover, such information right is ancillary and necessary to the objective of protecting fundamental rights that underlies this Regulation. Therefore, an information requirement to that effect should be laid down in this Regulation, without affecting any existing rights of workers.
(92) 本規則は、AIシステムを導入し又は使用する旨の決定に関し、連合法若しくは加盟国の法令及び慣行(欧州議会及び理事会の指令2002/14/EC(注39)を含む。)に基づき使用者が労働者又はその代表者に対して情報提供を行い、若しくは情報提供及び協議を行う義務に影響を及ぼすものではない。他の法令におけるこれらの情報提供義務又は情報提供及び協議義務の要件が満たされない場合には、職場における高リスクAIシステムの導入計画について労働者及びその代表者に情報を提供することを確保する必要が引き続き存在する。さらに、かかる情報提供の権利は、本規則の基礎をなす基本的権利の保護という目的に付随し、かつ、その達成のために必要なものである。したがって、労働者の既存の権利に影響を及ぼすことなく、その旨の情報提供義務を本規則において定めるべきである。
(93) Whilst risks related to AI systems can result from the way such systems are designed, risks can as well stem from how such AI systems are used. Deployers of high-risk AI system therefore play a critical role in ensuring that fundamental rights are protected, complementing the obligations of the provider when developing the AI system. Deployers are best placed to understand how the high-risk AI system will be used concretely and can therefore identify potential significant risks that were not foreseen in the development phase, due to a more precise knowledge of the context of use, the persons or groups of persons likely to be affected, including vulnerable groups. Deployers of high-risk AI systems listed in an annex to this Regulation also play a critical role in informing natural persons and should, when they make decisions or assist in making decisions related to natural persons, where applicable, inform the natural persons that they are subject to the use of the high-risk AI system. This information should include the intended purpose and the type of decisions it makes. The deployer should also inform the natural persons about their right to an explanation provided under this Regulation. With regard to high-risk AI systems used for law enforcement purposes, that obligation should be implemented in accordance with Article 13 of Directive (EU) 2016/680.
(93) AIシステムに関連するリスクは、当該システムの設計方法に起因して生ずることもあれば、当該AIシステムの使用方法に起因して生ずることもある。したがって、高リスクAIシステムのデプロイヤーは、AIシステムを開発する際のプロバイダーの義務を補完しつつ、基本的権利の保護を確保する上で重要な役割を果たす。デプロイヤーは、高リスクAIシステムが具体的にどのように使用されるかを最もよく理解し得る立場にあり、使用の状況、影響を受ける可能性のある自然人若しくは自然人の集団(脆弱な集団を含む。)についてより正確な知識を有することから、開発段階では予見されなかった潜在的な重大リスクを特定することができる。本規則の附属書に掲げる高リスクAIシステムのデプロイヤーはまた、自然人への情報提供において重要な役割を果たし、自然人に関する決定を行い、又は決定の補助を行う場合には、該当するときは、当該自然人が高リスクAIシステムの使用の対象となっていることを当該自然人に通知すべきである。この情報には、当該システムの意図された目的及びそれが行う決定の種類を含めるべきである。デプロイヤーはまた、本規則に基づき提供される説明を受ける権利についても自然人に情報提供すべきである。法執行目的で使用される高リスクAIシステムに関しては、当該義務は指令(EU)2016/680第13条に従って履行されるべきである。
(94) Any processing of biometric data involved in the use of AI systems for biometric identification for the purpose of law enforcement needs to comply with Article 10 of Directive (EU) 2016/680, that allows such processing only where strictly necessary, subject to appropriate safeguards for the rights and freedoms of the data subject, and where authorised by Union or Member State law. Such use, when authorised, also needs to respect the principles laid down in Article 4 (1) of Directive (EU) 2016/680 including lawfulness, fairness and transparency, purpose limitation, accuracy and storage limitation.
(94) 法執行目的の生体識別のためのAIシステムの使用に伴う生体データの処理は、指令(EU)2016/680第10条を遵守する必要があり、同条は、データ主体の権利及び自由に対する適切な保護措置を条件として、厳格に必要な場合であって連合法又は加盟国法により認められる場合に限り、かかる処理を認めている。認められた場合であっても、かかる使用は、指令(EU)2016/680第4条第1項に定める原則(適法性、公正性及び透明性、目的の限定、正確性並びに保存期間の制限を含む。)を尊重する必要がある。
(95) Without prejudice to applicable Union law, in particular Regulation (EU) 2016/679 and Directive (EU) 2016/680, considering the intrusive nature of post-remote biometric identification systems, the use of post-remote biometric identification systems should be subject to safeguards. Post-remote biometric identification systems should always be used in a way that is proportionate, legitimate and strictly necessary, and thus targeted, in terms of the individuals to be identified, the location, temporal scope and based on a closed data set of legally acquired video footage. In any case, post-remote biometric identification systems should not be used in the framework of law enforcement to lead to indiscriminate surveillance. The conditions for post-remote biometric identification should in any case not provide a basis to circumvent the conditions of the prohibition and strict exceptions for real time remote biometric identification.
(95) 適用のある連合法、特に規則(EU)2016/679及び指令(EU)2016/680を害することなく、事後的リモート生体識別システムの侵襲的な性質に鑑み、その使用は保護措置に服すべきである。事後的リモート生体識別システムは、常に、識別対象となる個人、場所及び時間的範囲の点で均衡が取れ、正当かつ厳格に必要な態様で、すなわち対象を限定した態様で、かつ適法に取得された映像の閉じたデータセットに基づいて使用されるべきである。いかなる場合であっても、事後的リモート生体識別システムは、法執行の枠組みにおいて無差別的な監視をもたらすような形で使用されるべきではない。事後的リモート生体識別のための条件は、いかなる場合であっても、リアルタイムのリモート生体識別に係る禁止及び厳格な例外の要件を回避する根拠となるものであってはならない。
(96) In order to efficiently ensure that fundamental rights are protected, deployers of high-risk AI systems that are bodies governed by public law, or private entities providing public services and deployers of certain high-risk AI systems listed in an annex to this Regulation, such as banking or insurance entities, should carry out a fundamental rights impact assessment prior to putting it into use. Services important for individuals that are of public nature may also be provided by private entities. Private entities providing such public services are linked to tasks in the public interest such as in the areas of education, healthcare, social services, housing, administration of justice. The aim of the fundamental rights impact assessment is for the deployer to identify the specific risks to the rights of individuals or groups of individuals likely to be affected, identify measures to be taken in the case of a materialisation of those risks. The impact assessment should be performed prior to deploying the high-risk AI system, and should be updated
(96) 基本的権利の保護を効果的に確保するため、公法上の団体である高リスクAIシステムのデプロイヤー若しくは公共サービスを提供する民間主体、及び銀行若しくは保険の主体等、本規則の附属書に掲げる一定の高リスクAIシステムのデプロイヤーは、当該システムを使用に供する前に基本的権利影響評価を実施すべきである。個人にとって重要な公共的性質を有するサービスは、民間主体によっても提供され得る。かかる公共サービスを提供する民間主体は、教育、医療、社会サービス、住宅、司法運営等の公益に係る任務に関連している。基本的権利影響評価の目的は、デプロイヤーが、影響を受ける可能性のある個人又は個人の集団の権利に対する具体的なリスクを特定し、当該リスクが顕在化した場合に講ずべき措置を特定することにある。当該影響評価は、高リスクAIシステムを導入する前に実施すべきであり、また更新されるべきである
(97) The notion of general-purpose AI models should be clearly defined and set apart from the notion of AI systems to enable legal certainty. The definition should be based on the key functional characteristics of a general-purpose AI model, in particular the generality and the capability to competently perform a wide range of distinct tasks. These models are typically trained on large amounts of data, through various methods, such as self-supervised, unsupervised or reinforcement learning. General-purpose AI models may be placed on the market in various ways, including through libraries, application programming interfaces (APIs), as direct download, or as physical copy. These models may be further modified or fine-tuned into new models. Although AI models are essential components of AI systems, they do not constitute AI systems on their own. AI models require the addition of further components, such as for example a user interface, to become AI systems. AI models are typically integrated into and form part of AI systems. This Regulation provides specific rules for general-purpose AI models and for general-purpose AI models that pose systemic risks, which should apply also when these models are integrated or form part of an AI system. It should be understood that the obligations for the providers of general-purpose AI models should apply once the general-purpose AI models are placed on the market. When the provider of a general-purpose AI model integrates an own model into its own AI system that is made available on the market or put into service, that model should be considered to be placed on the market and, therefore, the obligations in this Regulation for models should continue to apply in addition to those for AI systems. The obligations laid down for models should in any case not apply when an own model is used for purely internal processes that are not essential for providing a product or a service to third parties and the rights of natural persons are not affected. Considering their potential significantly negative effects, the general-purpose AI models with systemic risk should always be subject to the relevant obligations under this Regulation. The definition should not cover AI models used before their placing on the market for the sole purpose of research, development and prototyping activities. This is without prejudice to the obligation to comply with this Regulation when, following such activities, a model is placed on the market.
(97) 法的安定性を確保するため、汎用目的AIモデルの概念は明確に定義され、AIシステムの概念と区別されるべきである。当該定義は、汎用目的AIモデルの主要な機能的特性、特に汎用性及び広範な種類の異なる作業を適切に遂行する能力に基づくべきである。これらのモデルは、通常、自己教師あり学習、教師なし学習又は強化学習等の様々な手法により、大量のデータを用いて学習される。汎用目的AIモデルは、ライブラリ、アプリケーション・プログラミング・インターフェース(API)、直接ダウンロード又は物理的な複製物等、様々な方法で市場に上市され得る。これらのモデルは、さらに改変され又は微調整されて新たなモデルとなることがある。AIモデルはAIシステムの不可欠な構成要素であるが、それ自体でAIシステムを構成するものではない。AIモデルがAIシステムとなるためには、例えばユーザーインターフェース等の更なる構成要素の追加が必要である。AIモデルは通常、AIシステムに組み込まれ、その一部を構成する。本規則は、汎用目的AIモデル及びシステミックリスクを有する汎用目的AIモデルに関する特別の規則を定めており、これらの規則は、当該モデルがAIシステムに組み込まれ又はその一部を構成する場合にも適用されるべきである。汎用目的AIモデルのプロバイダーの義務は、当該汎用目的AIモデルが市場に上市された時点から適用されると理解すべきである。汎用目的AIモデルのプロバイダーが自らのモデルを市場において利用可能とされ又は使用に供される自らのAIシステムに組み込む場合には、当該モデルは市場に上市されたものとみなされ、したがって、モデルに関する本規則上の義務は、AIシステムに関する義務に加えて引き続き適用されるべきである。モデルについて定められた義務は、いかなる場合であっても、自らのモデルが第三者に対する製品若しくはサービスの提供に不可欠でない専ら内部の処理のために使用され、かつ自然人の権利に影響を及ぼさない場合には、適用されるべきではない。システミックリスクを有する汎用目的AIモデルについては、その潜在的な重大な悪影響に鑑み、常に本規則に基づく関連義務に服すべきである。当該定義は、専ら研究、開発及び試作活動を目的として市場への上市前に使用されるAIモデルを対象とすべきではない。これは、かかる活動の後にモデルが市場に上市される場合に本規則を遵守する義務を害するものではない。
(98) Whereas the generality of a model could, inter alia, also be determined by a number of parameters, models with at least a billion of parameters and trained with a large amount of data using self-supervision at scale should be considered to display significant generality and to competently perform a wide range of distinctive tasks.
(98) モデルの汎用性は、とりわけパラメータの数によっても決定され得ることに鑑み、少なくとも10億のパラメータを有し、大規模な自己教師あり学習を用いて大量のデータで学習されたモデルは、著しい汎用性を有し、広範な種類の異なる作業を適切に遂行するものと考えられるべきである。
(99) Large generative AI models are a typical example for a general-purpose AI model, given that they allow for flexible generation of content, such as in the form of text, audio, images or video, that can readily accommodate a wide range of distinctive tasks.
(99) 大規模生成AIモデルは、テキスト、音声、画像又は動画等の形式でのコンテンツの柔軟な生成を可能にし、それにより広範な種類の異なる作業に容易に対応できることから、汎用目的AIモデルの典型例である。
(100) When a general-purpose AI model is integrated into or forms part of an AI system, this system should be considered to be general-purpose AI system when, due to this integration, this system has the capability to serve a variety of purposes. A general-purpose AI system can be used directly, or it may be integrated into other AI systems.
(100) 汎用目的AIモデルがAIシステムに組み込まれ又はその一部を構成する場合において、当該組込みの結果として当該システムが多様な目的に資する能力を有するに至ったときは、当該システムは汎用目的AIシステムとみなされるべきである。汎用目的AIシステムは、直接使用されることもあれば、他のAIシステムに組み込まれることもある。
(101) Providers of general-purpose AI models have a particular role and responsibility along the AI value chain, as the models they provide may form the basis for a range of downstream systems, often provided by downstream providers that necessitate a good understanding of the models and their capabilities, both to enable the integration of such models into their products, and to fulfil their obligations under this or other regulations. Therefore, proportionate transparency measures should be laid down, including the drawing up and keeping up to date of documentation, and the provision of information on the general-purpose AI model for its usage by the downstream providers. Technical documentation should be prepared and kept up to date by the general-purpose AI model provider for the purpose of making it available, upon request, to the AI Office and the national competent authorities. The minimal set of elements to be included in such documentation should be set out in specific annexes to this Regulation. The Commission should be empowered to amend those annexes by means of delegated acts in light of evolving technological developments.
(101) 汎用目的AIモデルのプロバイダーが提供するモデルは、多くの場合、下流のプロバイダーが提供する広範な下流システムの基礎を成し得るものであるため、当該下流のプロバイダーが自らの製品への当該モデルの組込みを可能にし、かつ本規則若しくは他の規則に基づく義務を履行するためには、当該モデル及びその能力について十分な理解を有していることが必要となる。したがって、AI価値連鎖において汎用目的AIモデルのプロバイダーは特別な役割及び責任を担う。それゆえ、文書の作成及び最新の状態への更新、並びに下流のプロバイダーによる使用のための汎用目的AIモデルに関する情報の提供を含む、均衡の取れた透明性確保のための措置を定めるべきである。技術文書は、AI局及び加盟国の管轄当局からの要請に応じて提供できるようにする目的で、汎用目的AIモデルのプロバイダーが作成し、最新の状態に保つべきである。かかる文書に含めるべき最小限の要素は、本規則の特定の附属書に定めるべきである。欧州委員会は、技術の進展に照らして、委任行為によりこれらの附属書を改正する権限を付与されるべきである。
(102) Software and data, including models, released under a free and open-source licence that allows them to be openly shared and where users can freely access, use, modify and redistribute them or modified versions thereof, can contribute to research and innovation in the market and can provide significant growth opportunities for the Union economy. General-purpose AI models released under free and open-source licences should be considered to ensure high levels of transparency and openness if their parameters, including the weights, the information on the model architecture, and the information on model usage are made publicly available. The licence should be considered to be free and open-source also when it allows users to run, copy, distribute, study, change and improve software and data, including models under the condition that the original provider of the model is credited, the identical or comparable terms of distribution are respected.
(102) 自由かつオープンソースのライセンスの下で公開され、利用者が自由にアクセスし、使用し、改変し、かつ再配布することができるソフトウェア及びデータ(モデルを含む。)又はその改変版は、市場における研究及びイノベーションに貢献し、連合経済に重要な成長の機会をもたらし得る。汎用目的AIモデルであって、そのパラメータ(重みを含む。)、モデルのアーキテクチャに関する情報及びモデルの使用に関する情報が公に利用可能とされているものは、自由かつオープンソースのライセンスの下で公開された場合、高水準の透明性及び開放性を確保するものとみなされるべきである。当該ライセンスは、モデルの原プロバイダーが表示されること及び同一又は同等の配布条件が遵守されることを条件として、利用者がソフトウェア及びデータ(モデルを含む。)を実行し、複製し、頒布し、研究し、変更し、及び改良することを認める場合にも、自由かつオープンソースのものとみなされるべきである。
(103) Free and open-source AI components covers the software and data, including models and general-purpose AI models, tools, services or processes of an AI system. Free and open-source AI components can be provided through different channels, including their development on open repositories. For the purposes of this Regulation, AI components that are provided against a price or otherwise monetised, including through the provision of technical support or other services, including through a software platform, related to the AI component, or the use of personal data for reasons other than exclusively for improving the security, compatibility or interoperability of the software, with the exception of transactions between microenterprises, should not benefit from the exceptions provided to free and open-source AI components. The fact of making AI components available through open repositories should not, in itself, constitute a monetisation.
(103) 自由かつオープンソースのAI構成要素とは、AIシステムのソフトウェア及びデータ(モデル及び汎用目的AIモデルを含む。)、ツール、サービス又はプロセスをいう。自由かつオープンソースのAI構成要素は、オープンなリポジトリにおける開発を含め、様々な経路を通じて提供され得る。本規則の適用上、対価を得て提供され、又は当該AI構成要素に関連する技術的支援若しくはソフトウェアプラットフォームを通じたものを含む他のサービスの提供を通じてその他の方法で収益化されるAI構成要素、又はソフトウェアのセキュリティ、互換性若しくは相互運用性の向上のみを目的としない個人データの利用が行われるAI構成要素(零細企業間の取引を除く。)は、自由かつオープンソースのAI構成要素に対して定められた例外の適用を受けるべきではない。AI構成要素をオープンなリポジトリを通じて利用可能とすること自体は、収益化に該当しないものとすべきである。
(104) The providers of general-purpose AI models that are released under a free and open-source licence, and whose parameters, including the weights, the information on the model architecture, and the information on model usage, are made publicly available should be subject to exceptions as regards the transparency-related requirements imposed on general-purpose AI models, unless they can be considered to present a systemic risk, in which case the circumstance that the model is transparent and accompanied by an open-source license should not be considered to be a sufficient reason to exclude compliance with the obligations under this Regulation. In any case, given that the release of general-purpose AI models under free and open-source licence does not necessarily reveal substantial information on the data set used for the training or fine-tuning of the model and on how compliance of copyright law was thereby ensured, the exception provided for general-purpose AI models from compliance with the transparency-related requirements should not concern the obligation to produce a summary about the content used for model training and the obligation to put in place a policy to comply with Union copyright law, in particular to identify and comply with the reservation of rights pursuant to Article 4(3) of Directive (EU) 2019/790 of the European Parliament and of the Council ( 40).
(104) 自由かつオープンソースのライセンスの下で公開され、そのパラメータ(重みを含む。)、モデルのアーキテクチャに関する情報及びモデルの使用に関する情報が公に利用可能とされている汎用目的AIモデルのプロバイダーは、システミックリスクを有すると考えられる場合を除き、汎用目的AIモデルに課される透明性関連の要件について例外の適用を受けるべきである。システミックリスクを有すると考えられる場合には、当該モデルが透明であり、かつオープンソースのライセンスを伴うという事情は、本規則に基づく義務の遵守を除外する十分な理由とみなされるべきではない。いずれにせよ、汎用目的AIモデルを自由かつオープンソースのライセンスの下で公開することは、当該モデルの学習又は微調整に使用されたデータセット及びこれにより著作権法の遵守がどのように確保されたかに関する実質的な情報を必ずしも明らかにするものではないことから、透明性関連の要件の遵守について汎用目的AIモデルに認められる例外は、モデルの学習に使用されたコンテンツに関する概要を作成する義務、並びに連合著作権法(特に欧州議会及び理事会の指令(EU)2019/790(注40)第4条第3項に基づく権利留保を特定し及び遵守すること)を遵守するための方針を策定する義務には及ぶべきではない。
(105) General-purpose AI models, in particular large generative AI models, capable of generating text, images, and other content, present unique innovation opportunities but also challenges to artists, authors, and other creators and the way their creative content is created, distributed, used and consumed. The development and training of such models require access to vast amounts of text, images, videos and other data. Text and data mining techniques may be used extensively in this context for the retrieval and analysis of such content, which may be protected by copyright and related rights. Any use of copyright protected content requires the authorisation of the rightsholder concerned unless relevant copyright exceptions and limitations apply. Directive (EU) 2019/790 introduced exceptions and limitations allowing reproductions and extractions of works or other subject matter, for the purpose of text and data
(105) テキスト、画像その他のコンテンツを生成することができる汎用目的AIモデル、特に大規模生成AIモデルは、独自のイノベーションの機会をもたらす一方で、芸術家、著作者その他の創作者、及びその創作的コンテンツが創作され、頒布され、使用され、消費される方法に対して課題ももたらす。かかるモデルの開発及び学習には、大量のテキスト、画像、動画その他のデータへのアクセスが必要となる。この文脈においては、著作権及び関連する権利により保護され得るこれらのコンテンツの取得及び分析のために、テキスト及びデータマイニング技術が広範に用いられることがある。著作権により保護されたコンテンツの使用は、関連する著作権の例外及び制限が適用される場合を除き、当該権利者の許諾を必要とする。指令(EU)2019/790は、テキスト及びデータ
(106) Providers that place general-purpose AI models on the Union market should ensure compliance with the relevant obligations in this Regulation. To that end, providers of general-purpose AI models should put in place a policy to comply with Union law on copyright and related rights, in particular to identify and comply with the reservation of rights expressed by rightsholders pursuant to Article 4(3) of Directive (EU) 2019/790. Any provider placing a general-purpose AI model on the Union market should comply with this obligation, regardless of the jurisdiction in which the copyright-relevant acts underpinning the training of those general-purpose AI models take place. This is necessary to ensure a level playing field among providers of general-purpose AI models where no provider should be able to gain a competitive advantage in the Union market by applying lower copyright standards than those provided in the Union.
(106) 汎用AIモデルをユニオン市場に上市する提供者は、本規則における関連義務の遵守を確保すべきである。そのために、汎用AIモデルの提供者は、著作権及び関連する権利に関するユニオン法を遵守するための方針を整備すべきであり、特に、指令(EU)2019/790第4条第3項に基づき権利者が表明した権利留保を特定し、これを遵守すべきである。汎用AIモデルをユニオン市場に上市する提供者は、当該汎用AIモデルの学習の基礎となる著作権関連行為がどの法域で行われるかにかかわらず、この義務を遵守すべきである。これは、汎用AIモデルの提供者間で公平な競争条件を確保するために必要であり、いかなる提供者も、ユニオンで定められた基準よりも低い著作権基準を適用することによってユニオン市場において競争上の優位を得ることができないようにすべきである。
(107) In order to increase transparency on the data that is used in the pre-training and training of general-purpose AI models, including text and data protected by copyright law, it is adequate that providers of such models draw up and make publicly available a sufficiently detailed summary of the content used for training the general-purpose AI model. While taking into due account the need to protect trade secrets and confidential business information, this summary should be generally comprehensive in its scope instead of technically detailed to facilitate parties with legitimate interests, including copyright holders, to exercise and enforce their rights under Union law, for example by listing the main data collections or sets that went into training the model, such as large private or public databases or data archives, and by providing a narrative explanation about other data sources used. It is appropriate for the AI Office to provide a template for the summary, which should be simple, effective, and allow the provider to provide the required summary in narrative form.
(107) 汎用AIモデルの事前学習及び学習に用いられるデータ(著作権法により保護されるテキスト及びデータを含む。)に関する透明性を高めるため、当該モデルの提供者が、当該汎用AIモデルの学習に用いた内容について十分に詳細な要約を作成し、これを公に入手可能とすることが適切である。営業秘密及び秘密の営業情報を保護する必要性に十分配慮しつつ、この要約は、技術的に詳細なものであるよりも、その範囲において全般的に包括的なものであるべきであり、これにより、著作権者を含む正当な利益を有する当事者が、ユニオン法上の権利を行使し及び執行することを容易にすべきである。例えば、大規模な私的又は公的なデータベース若しくはデータアーカイブなど、モデルの学習に用いられた主要なデータ収集物又はデータセットを列挙し、その他の使用データソースについて物語的な説明を提供することが考えられる。AI室が、要約のためのテンプレートを提供することが適切であり、当該テンプレートは、簡潔かつ実効的であり、提供者が求められる要約を物語形式で提供できるものであるべきである。
(108) With regard to the obligations imposed on providers of general-purpose AI models to put in place a policy to comply with Union copyright law and make publicly available a summary of the content used for the training, the AI Office should monitor whether the provider has fulfilled those obligations without verifying or proceeding to a work-by-work assessment of the training data in terms of copyright compliance. This Regulation does not affect the enforcement of copyright rules as provided for under Union law.
(108) 汎用AIモデルの提供者に課される、ユニオンの著作権法を遵守するための方針を整備し、学習に用いた内容の要約を公に入手可能とする義務に関し、AI室は、当該提供者がこれらの義務を履行しているか否かを監視すべきであるが、著作権遵守の観点から学習データを著作物ごとに検証又は評価することはしないものとする。本規則は、ユニオン法に定める著作権規則の執行に影響を及ぼすものではない。
(109) Compliance with the obligations applicable to the providers of general-purpose AI models should be commensurate and proportionate to the type of model provider, excluding the need for compliance for persons who develop or use models for non-professional or scientific research purposes, who should nevertheless be encouraged to voluntarily comply with these requirements. Without prejudice to Union copyright law, compliance with those obligations should take due account of the size of the provider and allow simplified ways of compliance for SMEs, including start-ups, that should not represent an excessive cost and not discourage the use of such models. In the case of a modification or fine-tuning of a model, the obligations for providers of general-purpose AI models should be limited to that modification or fine-tuning, for example by complementing the already existing technical documentation with information on the modifications, including new training data sources, as a means to comply with the value chain obligations provided in this Regulation.
(109) 汎用AIモデルの提供者に適用される義務の遵守は、モデル提供者の種類に応じて均衡がとれ、かつ比例的なものであるべきであり、非専門的又は学術研究目的でモデルを開発又は使用する者については遵守の必要性を除外すべきであるが、これらの者についても、これらの要件を任意に遵守することが奨励されるべきである。ユニオンの著作権法を害することなく、これらの義務の遵守に当たっては、提供者の規模に十分配慮すべきであり、新興企業を含む中小企業に対しては、過度の費用とならず、かつ、当該モデルの利用を阻害しないような、簡素化された遵守方法を認めるべきである。モデルの修正又は微調整の場合には、汎用AIモデルの提供者に係る義務は、当該修正又は微調整に限定されるべきであり、例えば、本規則に定めるバリューチェーン上の義務を遵守する手段として、既存の技術文書に、新たな学習データソースを含む修正に関する情報を補足することによって行うことができる。
(110) General-purpose AI models could pose systemic risks which include, but are not limited to, any actual or reasonably foreseeable negative effects in relation to major accidents, disruptions of critical sectors and serious consequences to public health and safety; any actual or reasonably foreseeable negative effects on democratic processes, public and economic security; the dissemination of illegal, false, or discriminatory content. Systemic risks should be understood to increase with model capabilities and model reach, can arise along the entire lifecycle of the model, and are influenced by conditions of misuse, model reliability, model fairness and model security, the level of autonomy of
(110) 汎用AIモデルは、これに限定されないが、重大事故、重要な部門の機能停止、及び公衆衛生・安全への深刻な影響に関連する、実際の又は合理的に予見可能な負の影響、民主的プロセス、公共及び経済の安全に対する実際の又は合理的に予見可能な負の影響、並びに違法な、虚偽の又は差別的な内容の拡散を含む、システミックリスクをもたらし得る。システミックリスクは、モデルの能力及びモデルの到達範囲の増大に伴って増大するものと理解されるべきであり、モデルのライフサイクル全体を通じて生じ得るものであり、また、誤用の状況、モデルの信頼性、モデルの公平性及びモデルのセキュリティ、自律性の水準によって影響を受ける。
(111) It is appropriate to establish a methodology for the classification of general-purpose AI models as general-purpose AI model with systemic risks. Since systemic risks result from particularly high capabilities, a general-purpose AI model should be considered to present systemic risks if it has high-impact capabilities, evaluated on the basis of appropriate technical tools and methodologies, or significant impact on the internal market due to its reach. High-impact capabilities in general-purpose AI models means capabilities that match or exceed the capabilities recorded in the most advanced general-purpose AI models. The full range of capabilities in a model could be better understood after its placing on the market or when deployers interact with the model. According to the state of the art at the time of entry into force of this Regulation, the cumulative amount of computation used for the training of the general-purpose AI model measured in floating point operations is one of the relevant approximations for model capabilities. The cumulative amount of computation used for training includes the computation used across the activities and methods that are intended to enhance the capabilities of the model prior to deployment, such as pre-training, synthetic data generation and fine-tuning. Therefore, an initial threshold of floating point operations should be set, which, if met by a general-purpose AI model, leads to a presumption that the model is a general-purpose AI model with systemic risks. This threshold should be adjusted over time to reflect technological and industrial changes, such as algorithmic improvements or increased hardware efficiency, and should be supplemented with benchmarks and indicators for model capability. To inform this, the AI Office should engage with the scientific community, industry, civil society and other experts. Thresholds, as well as tools and benchmarks for the assessment of high-impact capabilities, should be strong predictors of generality, its capabilities and associated systemic risk of general-purpose AI models, and could take into account the way the model will be placed on the market or the number of users it may affect. To complement this system, there should be a possibility for the Commission to take individual decisions designating a general-purpose AI model as a general-purpose AI model with systemic risk if it is found that such model has capabilities or an impact equivalent to those captured by the set threshold. That decision should be taken on the basis of an overall assessment of the criteria for the designation of a general-purpose AI model with systemic risk set out in an annex to this Regulation, such as quality or size of the training data set, number of business and end users, its input and output modalities, its level of autonomy and scalability, or the tools it has access to. Upon a reasoned request of a provider whose model has been designated as a general-purpose AI model with systemic risk, the Commission should take the request into account and may decide to reassess whether the general-purpose AI model can still be considered to present systemic risks.
(111) システミックリスクを伴う汎用AIモデルとしての分類のための方法論を確立することが適切である。システミックリスクは特に高い能力に起因することから、汎用AIモデルは、適切な技術的手段及び方法論に基づいて評価した場合に高いインパクトを有する能力を備えているとき、又はその到達範囲により域内市場に重大な影響を及ぼすときは、システミックリスクを呈するものとみなされるべきである。汎用AIモデルにおける高いインパクトを有する能力とは、最も先進的な汎用AIモデルにおいて記録された能力に匹敵し又はこれを上回る能力を意味する。モデルの能力の全容は、その上市後、又は導入者がモデルと対話する際に、より良く理解され得る。本規則の発効時点における技術水準に照らせば、浮動小数点演算で測定される、汎用AIモデルの学習に用いられた累積計算量は、モデルの能力に関する関連する近似指標の一つである。学習に用いられた累積計算量には、事前学習、合成データの生成及び微調整など、展開前にモデルの能力を高めることを目的とした活動及び方法にわたって用いられた計算が含まれる。したがって、浮動小数点演算の初期閾値を設定すべきであり、汎用AIモデルがこれを満たす場合には、当該モデルがシステミックリスクを伴う汎用AIモデルであるとの推定につながるものとする。この閾値は、アルゴリズムの改善やハードウェア効率の向上など、技術的及び産業的な変化を反映するよう随時調整されるべきであり、モデルの能力に関するベンチマーク及び指標によって補完されるべきである。これに資するため、AI室は、科学界、産業界、市民社会その他の専門家と関与すべきである。高いインパクトを有する能力を評価するための閾値並びに手段及びベンチマークは、汎用AIモデルの汎用性、その能力及び関連するシステミックリスクの強力な予測因子であるべきであり、モデルが市場に投入される方法又はそれが影響を及ぼし得る利用者数を考慮に入れることができる。この仕組みを補完するため、委員会は、あるモデルが、設定された閾値によって捕捉される能力又は影響と同等の能力又は影響を有すると認められる場合に、当該汎用AIモデルをシステミックリスクを伴う汎用AIモデルに指定する個別の決定を行うことができるものとすべきである。その決定は、学習データセットの質若しくは規模、事業利用者及びエンドユーザーの数、その入出力モダリティ、その自律性及び拡張性の水準、又はそれがアクセスできる手段など、本規則の附属書に定めるシステミックリスクを伴う汎用AIモデルの指定基準についての全体的な評価に基づいて行われるべきである。自らのモデルがシステミックリスクを伴う汎用AIモデルに指定された提供者からの理由を付した請求があった場合には、委員会はその請求を考慮に入れるべきであり、当該汎用AIモデルが依然としてシステミックリスクを呈すると考えられるか否かを再評価することを決定することができる。
(112) It is also necessary to clarify a procedure for the classification of a general-purpose AI model with systemic risks. A general-purpose AI model that meets the applicable threshold for high-impact capabilities should be presumed to be a general-purpose AI models with systemic risk. The provider should notify the AI Office at the latest two weeks after the requirements are met or it becomes known that a general-purpose AI model will meet the requirements that lead to the presumption. This is especially relevant in relation to the threshold of floating point operations because training of general-purpose AI models takes considerable planning which includes the upfront allocation of compute resources and, therefore, providers of general-purpose AI models are able to know if their model would meet the threshold before the training is completed. In the context of that notification, the provider should be able to demonstrate that, because of its specific characteristics, a general-purpose AI model exceptionally does not present systemic risks, and that it thus should not be classified as a general-purpose AI model with systemic risks. That information is valuable for the AI Office to anticipate the placing on the market of general-purpose AI models with systemic risks and the providers can start to engage with the AI Office early on. That information is especially
(112) また、システミックリスクを伴う汎用AIモデルの分類のための手続を明確にすることも必要である。高いインパクトを有する能力について適用される閾値を満たす汎用AIモデルは、システミックリスクを伴う汎用AIモデルであると推定されるべきである。提供者は、当該要件が満たされてから、又は汎用AIモデルが当該推定につながる要件を満たすことが判明してから、遅くとも2週間以内にAI室に通知すべきである。これは、浮動小数点演算の閾値に関して特に重要である。なぜなら、汎用AIモデルの学習には、計算資源の事前の割当てを含む相当な計画が必要であり、したがって、汎用AIモデルの提供者は、学習が完了する前に、自らのモデルが当該閾値を満たすこととなるか否かを知ることができるからである。当該通知に関連して、提供者は、その特有の特性により、当該汎用AIモデルが例外的にシステミックリスクを呈さず、したがってシステミックリスクを伴う汎用AIモデルとして分類されるべきではないことを示すことができるべきである。この情報は、AI室がシステミックリスクを伴う汎用AIモデルの上市を予測し、提供者が早期にAI室との関与を開始できるようにする上で有用である。この情報は、特に
(113) If the Commission becomes aware of the fact that a general-purpose AI model meets the requirements to classify as a general-purpose AI model with systemic risk, which previously had either not been known or of which the relevant provider has failed to notify the Commission, the Commission should be empowered to designate it so. A system of qualified alerts should ensure that the AI Office is made aware by the scientific panel of general-purpose AI models that should possibly be classified as general-purpose AI models with systemic risk, in addition to the monitoring activities of the AI Office.
(113) 委員会が、従前知られておらず、又は関係提供者が委員会に通知しなかった、ある汎用AIモデルがシステミックリスクを伴う汎用AIモデルとして分類される要件を満たしている事実を認識するに至った場合には、委員会はこれをそのように指定する権限を有すべきである。AI室による監視活動に加え、科学パネルからAI室に対し、システミックリスクを伴う汎用AIモデルに分類されるべき可能性のある汎用AIモデルについて注意喚起がなされる、資格を有する者による警告の仕組みが確保されるべきである。
(114) The providers of general-purpose AI models presenting systemic risks should be subject, in addition to the obligations provided for providers of general-purpose AI models, to obligations aimed at identifying and mitigating those risks and ensuring an adequate level of cybersecurity protection, regardless of whether it is provided as a standalone model or embedded in an AI system or a product. To achieve those objectives, this Regulation should require providers to perform the necessary model evaluations, in particular prior to its first placing on the market, including conducting and documenting adversarial testing of models, also, as appropriate, through internal or independent external testing. In addition, providers of general-purpose AI models with systemic risks should continuously assess and mitigate systemic risks, including for example by putting in place risk-management policies, such as accountability and governance processes, implementing post-market monitoring, taking appropriate measures along the entire model’s lifecycle and cooperating with relevant actors along the AI value chain.
(114) システミックリスクを呈する汎用AIモデルの提供者は、汎用AIモデルの提供者に定められた義務に加えて、当該リスクを特定し軽減し、かつ、当該モデルが単体で提供されるかAIシステム若しくは製品に組み込まれて提供されるかを問わず、十分な水準のサイバーセキュリティ保護を確保することを目的とした義務を負うべきである。これらの目的を達成するため、本規則は、提供者に対し、特にその最初の上市に先立って、必要なモデル評価を実施することを義務付けるべきであり、これには、必要に応じて社内又は独立した外部の試験を通じて、モデルの敵対的試験を実施し文書化することを含む。さらに、システミックリスクを伴う汎用AIモデルの提供者は、例えば、説明責任及びガバナンスの手続などのリスク管理方針を整備し、上市後監視を実施し、モデルのライフサイクル全体を通じて適切な措置を講じ、AIバリューチェーンに沿った関連する関係者と協力することなどにより、システミックリスクを継続的に評価し軽減すべきである。
(115) Providers of general-purpose AI models with systemic risks should assess and mitigate possible systemic risks. If, despite efforts to identify and prevent risks related to a general-purpose AI model that may present systemic risks, the development or use of the model causes a serious incident, the general-purpose AI model provider should without undue delay keep track of the incident and report any relevant information and possible corrective measures to the Commission and national competent authorities. Furthermore, providers should ensure an adequate level of cybersecurity protection for the model and its physical infrastructure, if appropriate, along the entire model lifecycle. Cybersecurity protection related to systemic risks associated with malicious use or attacks should duly consider accidental model leakage, unauthorised releases, circumvention of safety measures, and defence against cyberattacks, unauthorised access or model theft. That protection could be facilitated by securing model weights, algorithms, servers, and data sets, such as through operational security measures for information security, specific cybersecurity policies, adequate technical and established solutions, and cyber and physical access controls, appropriate to the relevant circumstances and the risks involved.
(115) システミックリスクを伴う汎用AIモデルの提供者は、生じ得るシステミックリスクを評価し軽減すべきである。システミックリスクを呈し得る汎用AIモデルに関連するリスクを特定し防止するための取組みにもかかわらず、当該モデルの開発又は使用が重大インシデントを引き起こした場合には、当該汎用AIモデルの提供者は、不当な遅滞なく当該インシデントを記録し、関連する情報及び可能な是正措置を委員会及び所管の国内当局に報告すべきである。さらに、提供者は、適切な場合には、モデルのライフサイクル全体を通じて、モデル及びその物理的インフラストラクチャについて十分な水準のサイバーセキュリティ保護を確保すべきである。悪意ある使用又は攻撃に関連するシステミックリスクに係るサイバーセキュリティ保護においては、モデルの偶発的な漏えい、権限のない公開、安全対策の回避、並びにサイバー攻撃、権限のないアクセス又はモデルの窃取に対する防御に、十分配慮すべきである。この保護は、関連する状況及び関係するリスクに応じた、情報セキュリティのための運用上のセキュリティ対策、具体的なサイバーセキュリティ方針、十分な技術的及び確立された解決策、並びにサイバー及び物理的なアクセス制御などを通じて、モデルの重み、アルゴリズム、サーバー及びデータセットを保護することにより促進され得る。
(116) The AI Office should encourage and facilitate the drawing up, review and adaptation of codes of practice, taking into account international approaches. All providers of general-purpose AI models could be invited to participate. To ensure that the codes of practice reflect the state of the art and duly take into account a diverse set of perspectives, the AI Office should collaborate with relevant national competent authorities, and could, where appropriate, consult with civil society organisations and other relevant stakeholders and experts, including the Scientific Panel, for the drawing up of such codes. Codes of practice should cover obligations for providers of general-purpose AI models and of general-purpose AI models presenting systemic risks. In addition, as regards systemic risks, codes of practice should help to establish a risk taxonomy of the type and nature of the systemic risks at Union level, including their sources. Codes of practice should also be focused on specific risk assessment and mitigation measures.
(116) AI室は、国際的な取組みを考慮に入れつつ、実務規範の策定、見直し及び適応を奨励し、かつ促進すべきである。すべての汎用AIモデルの提供者が参加を招請され得る。実務規範が最新の技術水準を反映し、多様な視点を十分に考慮したものとなることを確保するため、AI室は、関係する所管の国内当局と協力すべきであり、適切な場合には、当該実務規範の策定に当たり、科学パネルを含む市民社会組織その他の関係する利害関係者及び専門家と協議することができる。実務規範は、汎用AIモデルの提供者及びシステミックリスクを呈する汎用AIモデルの提供者に係る義務を対象とすべきである。さらに、システミックリスクに関しては、実務規範は、その発生源を含め、ユニオンレベルにおけるシステミックリスクの種類及び性質に関するリスク分類の確立に資するべきである。実務規範はまた、具体的なリスク評価及び軽減措置に重点を置くべきである。
(117) The codes of practice should represent a central tool for the proper compliance with the obligations provided for under this Regulation for providers of general-purpose AI models. Providers should be able to rely on codes of practice to demonstrate compliance with the obligations. By means of implementing acts, the Commission may decide to approve a code of practice and give it a general validity within the Union, or, alternatively, to provide common rules for the implementation of the relevant obligations, if, by the time this Regulation becomes applicable, a code of practice cannot be finalised or is not deemed adequate by the AI Office. Once a harmonised standard is
(117) 実務規範は、汎用AIモデルの提供者について本規則に定める義務の適正な遵守のための中心的な手段となるべきである。提供者は、義務の遵守を示すために実務規範に依拠できるようにすべきである。委員会は、実施法により、実務規範を承認しこれにユニオン全域における一般的な効力を与えることを決定することができ、又は、本規則の適用開始までに実務規範が完成しない場合若しくはAI室によって十分でないと判断された場合には、これに代えて、関連する義務の実施のための共通の規則を定めることができる。調和規格が
(118) This Regulation regulates AI systems and AI models by imposing certain requirements and obligations for relevant market actors that are placing them on the market, putting into service or use in the Union, thereby complementing obligations for providers of intermediary services that embed such systems or models into their services regulated by Regulation (EU) 2022/2065. To the extent that such systems or models are embedded into designated very large online platforms or very large online search engines, they are subject to the risk-management framework provided for in Regulation (EU) 2022/2065. Consequently, the corresponding obligations of this Regulation should be presumed to be fulfilled, unless significant systemic risks not covered by Regulation (EU) 2022/2065 emerge and are identified in such models. Within this framework, providers of very large online platforms and very large online search engines are obliged to assess potential systemic risks stemming from the design, functioning and use of their services, including how the design of algorithmic systems used in the service may contribute to such risks, as well as systemic risks stemming from potential misuses. Those providers are also obliged to take appropriate mitigating measures in observance of fundamental rights.
(118) 本規則は、ユニオンにおいてAIシステム及びAIモデルを上市し、業務供用し又は使用する関連する市場関係者に対して一定の要件及び義務を課すことにより、AIシステム及びAIモデルを規制するものであり、これにより、規則(EU)2022/2065によって規律される、当該システム又はモデルを自らのサービスに組み込む仲介サービスの提供者に係る義務を補完するものである。当該システム又はモデルが指定された超大規模オンラインプラットフォーム又は超大規模オンライン検索エンジンに組み込まれる限りにおいて、これらは規則(EU)2022/2065に定めるリスク管理の枠組みの対象となる。したがって、規則(EU)2022/2065によってカバーされない重大なシステミックリスクが当該モデルにおいて生じ、特定されない限り、本規則の対応する義務は履行されたものと推定されるべきである。この枠組みの下で、超大規模オンラインプラットフォーム及び超大規模オンライン検索エンジンの提供者は、そのサービスにおいて使用されるアルゴリズムシステムの設計がどのようにこれらのリスクに寄与し得るかを含め、自らのサービスの設計、機能及び使用に起因する潜在的なシステミックリスク、並びに潜在的な誤用に起因するシステミックリスクを評価する義務を負う。これらの提供者はまた、基本的な権利を尊重しつつ、適切な軽減措置を講じる義務を負う。
(119) Considering the quick pace of innovation and the technological evolution of digital services in scope of different instruments of Union law in particular having in mind the usage and the perception of their recipients, the AI systems subject to this Regulation may be provided as intermediary services or parts thereof within the meaning of Regulation (EU) 2022/2065, which should be interpreted in a technology-neutral manner. For example, AI systems may be used to provide online search engines, in particular, to the extent that an AI system such as an online chatbot performs searches of, in principle, all websites, then incorporates the results into its existing knowledge and uses the updated knowledge to generate a single output that combines different sources of information.
(119) ユニオン法の異なる法令の適用範囲にあるデジタルサービスの技術革新及び技術的発展の速いペース、特にその受領者による利用及び受け止め方を踏まえると、本規則の対象となるAIシステムは、規則(EU)2022/2065の意味における仲介サービス又はその一部として提供され得るものであり、当該規則は技術中立的な方法で解釈されるべきである。例えば、AIシステムは、オンライン検索エンジンを提供するために使用され得る。特に、オンラインチャットボットなどのAIシステムが、原則としてすべてのウェブサイトの検索を行い、次いでその結果を既存の知識に組み込み、更新された知識を用いて、異なる情報源を組み合わせた単一の出力を生成する限りにおいて、そのように言える。
(120) Furthermore, obligations placed on providers and deployers of certain AI systems in this Regulation to enable the detection and disclosure that the outputs of those systems are artificially generated or manipulated are particularly relevant to facilitate the effective implementation of Regulation (EU) 2022/2065. This applies in particular as regards the obligations of providers of very large online platforms or very large online search engines to identify and mitigate systemic risks that may arise from the dissemination of content that has been artificially generated or manipulated, in particular risk of the actual or foreseeable negative effects on democratic processes, civic discourse and electoral processes, including through disinformation.
(120) さらに、本規則において特定のAIシステムの提供者及び導入者に課される、当該システムの出力が人工的に生成され又は操作されたものであることの検知及び開示を可能にするための義務は、規則(EU)2022/2065の実効的な実施を促進する上で特に重要である。これは、特に、超大規模オンラインプラットフォーム又は超大規模オンライン検索エンジンの提供者が、人工的に生成され又は操作された内容の拡散から生じ得るシステミックリスク、とりわけ、偽情報を通じたものを含む、民主的プロセス、市民的言論及び選挙プロセスへの実際の又は予見可能な負の影響のリスクを特定し軽減する義務に関して当てはまる。
(121) Standardisation should play a key role to provide technical solutions to providers to ensure compliance with this Regulation, in line with the state of the art, to promote innovation as well as competitiveness and growth in the single market. Compliance with harmonised standards as defined in Article 2, point (1)(c), of Regulation (EU) No 1025/2012 of the European Parliament and of the Council ( 41), which are normally expected to reflect the state of the art, should be a means for providers to demonstrate conformity with the requirements of this Regulation. A balanced representation of interests involving all relevant stakeholders in the development of standards, in particular SMEs, consumer organisations and environmental and social stakeholders in accordance with Articles 5 and 6 of Regulation (EU) No 1025/2012 should therefore be encouraged. In order to facilitate compliance, the standardisation requests should be issued by the Commission without undue delay. When preparing the standardisation request, the Commission should consult the advisory forum and the Board in order to collect relevant expertise. However, in the absence of relevant references to harmonised standards, the Commission should be able to establish, via implementing acts, and after consultation of the advisory forum, common specifications for certain requirements under this Regulation. The common specification should be an exceptional fall back solution to facilitate the provider’s obligation to comply with the requirements of this Regulation, when the standardisation request has not been accepted by any of the European standardisation organisations, or when the relevant harmonised standards insufficiently address fundamental rights concerns, or when the harmonised standards do not comply with the request, or when there are delays in the adoption of an appropriate harmonised standard. Where such a delay in the adoption of a harmonised standard is due to the technical complexity of that standard, this should
(121) 標準化は、提供者に対し、技術水準に即した本規則への適合を確保するための技術的解決策を提供し、単一市場における技術革新並びに競争力及び成長を促進する上で、重要な役割を果たすべきである。欧州議会及び理事会の規則(EU)No 1025/2012第2条第1項(c)に定義される整合規格であって、通常、技術水準を反映していると期待されるものへの適合は、提供者が本規則の要件への適合性を証明するための手段となるべきである。したがって、規則(EU)No 1025/2012第5条及び第6条に従い、中小企業、消費者団体並びに環境及び社会に関する利害関係者を含む、規格策定に関与するすべての関連する利害関係者の利益の均衡の取れた代表が奨励されるべきである。適合を容易にするため、標準化要請は欧州委員会により不当な遅滞なく発せられるべきである。標準化要請を準備するに当たり、欧州委員会は、関連する専門知識を収集するため、諮問フォーラム及び理事会(ボード)と協議すべきである。もっとも、関連する整合規格への参照が存在しない場合には、欧州委員会は、諮問フォーラムとの協議の後、実施法令により、本規則に基づく一定の要件について共通仕様を定めることができるべきである。共通仕様は、標準化要請がいずれの欧州標準化機関によっても受諾されなかった場合、関連する整合規格が基本権に関する懸念に十分に対応していない場合、整合規格が当該要請に適合しない場合、又は適切な整合規格の採択に遅延がある場合において、提供者が本規則の要件を遵守する義務を果たすことを容易にするための、例外的な代替手段であるべきである。当該整合規格の採択の遅延が当該規格の技術的複雑性に起因する場合には、これは
(122) It is appropriate that, without prejudice to the use of harmonised standards and common specifications, providers of a high-risk AI system that has been trained and tested on data reflecting the specific geographical, behavioural, contextual or functional setting within which the AI system is intended to be used, should be presumed to comply with the relevant measure provided for under the requirement on data governance set out in this Regulation. Without prejudice to the requirements related to robustness and accuracy set out in this Regulation, in accordance with Article 54(3) of Regulation (EU) 2019/881, high-risk AI systems that have been certified or for which a statement of conformity has been issued under a cybersecurity scheme pursuant to that Regulation and the references of which have been published in the Official Journal of the European Union should be presumed to comply with the cybersecurity requirement of this Regulation in so far as the cybersecurity certificate or statement of conformity or parts thereof cover the cybersecurity requirement of this Regulation. This remains without prejudice to the voluntary nature of that cybersecurity scheme.
(122) 整合規格及び共通仕様の利用を妨げることなく、意図された用途において使用されることが想定される特定の地理的、行動的、状況的又は機能的な設定を反映したデータにより訓練及び試験が行われたハイリスクAIシステムの提供者は、本規則に定めるデータガバナンスに関する要件の下で定められた関連措置に適合しているものと推定されるべきであることが適切である。本規則に定める頑健性及び精度に関する要件を妨げることなく、規則(EU) 2019/881第54条第3項に従い、当該規則に基づくサイバーセキュリティ制度の下で認証を受け、若しくは適合性表明が発行され、かつその参照が欧州連合官報に公表されたハイリスクAIシステムは、当該サイバーセキュリティ証明書若しくは適合性表明又はその一部が本規則のサイバーセキュリティ要件を対象とする限りにおいて、本規則のサイバーセキュリティ要件に適合しているものと推定されるべきである。これは、当該サイバーセキュリティ制度の任意的な性質を妨げるものではない。
(123) In order to ensure a high level of trustworthiness of high-risk AI systems, those systems should be subject to a conformity assessment prior to their placing on the market or putting into service.
(123) ハイリスクAIシステムの高い水準の信頼性を確保するため、これらのシステムは、市場への上市又は運用開始に先立ち、適合性評価に付されるべきである。
(124) It is appropriate that, in order to minimise the burden on operators and avoid any possible duplication, for high-risk AI systems related to products which are covered by existing Union harmonisation legislation based on the New Legislative Framework, the compliance of those AI systems with the requirements of this Regulation should be assessed as part of the conformity assessment already provided for in that law. The applicability of the requirements of this Regulation should thus not affect the specific logic, methodology or general structure of conformity assessment under the relevant Union harmonisation legislation.
(124) 運用者の負担を最小化し、あり得べき重複を回避するため、新立法枠組みに基づく既存の連合調和法令の対象となる製品に関連するハイリスクAIシステムについては、本規則の要件への当該AIシステムの適合性は、当該法令にすでに定められている適合性評価の一部として評価されるべきであることが適切である。したがって、本規則の要件の適用可能性は、関連する連合調和法令に基づく適合性評価の特定の論理、方法論又は一般的な構造に影響を及ぼすべきではない。
(125) Given the complexity of high-risk AI systems and the risks that are associated with them, it is important to develop an adequate conformity assessment procedure for high-risk AI systems involving notified bodies, so-called third party conformity assessment. However, given the current experience of professional pre-market certifiers in the field of product safety and the different nature of risks involved, it is appropriate to limit, at least in an initial phase of application of this Regulation, the scope of application of third-party conformity assessment for high-risk AI systems other than those related to products. Therefore, the conformity assessment of such systems should be carried out as a general rule by the provider under its own responsibility, with the only exception of AI systems intended to be used for biometrics.
(125) ハイリスクAIシステムの複雑性及びそれに関連するリスクに鑑み、いわゆる第三者適合性評価である、届出機関が関与する適切な適合性評価手続を、ハイリスクAIシステムについて策定することが重要である。もっとも、製品安全分野における専門的な上市前認証機関の現在の経験及び関係するリスクの性質の相違に鑑みれば、少なくとも本規則の適用の当初の段階においては、製品に関連するもの以外のハイリスクAIシステムについて、第三者適合性評価の適用範囲を限定することが適切である。したがって、これらのシステムの適合性評価は、原則として、バイオメトリクスに使用されることが意図されるAIシステムのみを例外として、提供者が自らの責任の下で実施すべきである。
(126) In order to carry out third-party conformity assessments when so required, notified bodies should be notified under this Regulation by the national competent authorities, provided that they comply with a set of requirements, in particular on independence, competence, absence of conflicts of interests and suitable cybersecurity requirements. Notification of those bodies should be sent by national competent authorities to the Commission and the other Member States by means of the electronic notification tool developed and managed by the Commission pursuant to Article R23 of Annex I to Decision No 768/2008/EC.
(126) 必要とされる場合に第三者適合性評価を実施するため、届出機関は、独立性、能力、利益相反の不存在及び適切なサイバーセキュリティ要件を含む一連の要件を満たすことを条件として、国内所管当局により本規則に基づき通知されるべきである。これらの機関の通知は、決定768/2008/EC附属書I第R23条に従い欧州委員会が開発及び管理する電子通知ツールにより、国内所管当局から欧州委員会及び他の加盟国に送付されるべきである。
(127) In line with Union commitments under the World Trade Organization Agreement on Technical Barriers to Trade, it is adequate to facilitate the mutual recognition of conformity assessment results produced by competent conformity assessment bodies, independent of the territory in which they are established, provided that those conformity assessment bodies established under the law of a third country meet the applicable requirements of this Regulation and the Union has concluded an agreement to that extent. In this context, the Commission should actively explore possible international instruments for that purpose and in particular pursue the conclusion of mutual recognition agreements with third countries.
(127) 貿易の技術的障害に関する世界貿易機関協定の下での連合の約束に沿って、所管の適合性評価機関がその設立された領域にかかわらず作成した適合性評価結果の相互承認を容易にすることが適切である。ただし、第三国の法令に基づき設立された当該適合性評価機関が本規則の適用ある要件を満たし、かつ、連合がその旨の協定を締結していることを条件とする。この文脈において、欧州委員会は、当該目的のための可能な国際的枠組みを積極的に検討し、特に第三国との相互承認協定の締結を追求すべきである。
(128) In line with the commonly established notion of substantial modification for products regulated by Union harmonisation legislation, it is appropriate that whenever a change occurs which may affect the compliance of a high-risk AI system with this Regulation (e.g. change of operating system or software architecture), or when the intended purpose of the system changes, that AI system should be considered to be a new AI system which should undergo a new conformity assessment. However, changes occurring to the algorithm and the performance of AI systems which continue to ‘learn’ after being placed on the market or put into service, namely automatically adapting how functions are carried out, should not constitute a substantial modification, provided that those changes have been pre-determined by the provider and assessed at the moment of the conformity assessment.
(128) 連合調和法令の対象となる製品について一般に確立された実質的変更の概念に沿って、本規則へのハイリスクAIシステムの適合性に影響を及ぼし得る変更(例えば、オペレーティングシステム又はソフトウェアアーキテクチャの変更)が生じた場合、又は当該システムの意図された目的が変更された場合には、当該AIシステムは新たなAIシステムとみなされ、新たな適合性評価に付されるべきであることが適切である。もっとも、市場への上市又は運用開始の後も「学習」を継続するAIシステムのアルゴリズム及び性能に生じる変更、すなわち機能の遂行方法を自動的に適応させることは、当該変更が提供者によりあらかじめ定められ、かつ適合性評価の時点で評価されていた場合には、実質的変更を構成すべきではない。
(129) High-risk AI systems should bear the CE marking to indicate their conformity with this Regulation so that they can move freely within the internal market. For high-risk AI systems embedded in a product, a physical CE marking should be affixed, and may be complemented by a digital CE marking. For high-risk AI systems only provided digitally, a digital CE marking should be used. Member States should not create unjustified obstacles to the placing on the market or the putting into service of high-risk AI systems that comply with the requirements laid down in this Regulation and bear the CE marking.
(129) ハイリスクAIシステムは、域内市場において自由に流通できるよう、本規則への適合性を示すためのCEマークを付すべきである。製品に組み込まれたハイリスクAIシステムについては、物理的なCEマークを貼付すべきであり、これはデジタルCEマークにより補完することができる。デジタル方式のみで提供されるハイリスクAIシステムについては、デジタルCEマークが用いられるべきである。加盟国は、本規則に定める要件に適合し、CEマークを付したハイリスクAIシステムの市場への上市又は運用開始に対して、不当な障害を設けるべきではない。
(130) Under certain conditions, rapid availability of innovative technologies may be crucial for health and safety of persons, the protection of the environment and climate change and for society as a whole. It is thus appropriate that under exceptional reasons of public security or protection of life and health of natural persons, environmental protection and the protection of key industrial and infrastructural assets, market surveillance authorities could authorise the placing on the market or the putting into service of AI systems which have not undergone a conformity assessment. In duly justified situations, as provided for in this Regulation, law enforcement authorities or civil protection authorities may put a specific high-risk AI system into service without the authorisation of the market surveillance authority, provided that such authorisation is requested during or after the use without undue delay.
(130) 一定の条件の下では、革新的な技術の迅速な利用可能性は、人の健康及び安全、環境の保護並びに気候変動、並びに社会全体にとって極めて重要であり得る。したがって、公共の安全、自然人の生命及び健康の保護、環境の保護並びに重要な産業及びインフラ資産の保護に関する例外的な理由の下では、市場監視当局は、適合性評価を受けていないAIシステムの市場への上市又は運用開始を許可することができるべきであることが適切である。本規則に定める正当に理由づけられた状況においては、法執行当局又は民間防護当局は、当該許可が使用中又は使用後に不当な遅滞なく申請されることを条件として、市場監視当局の許可を得ることなく、特定のハイリスクAIシステムを運用開始することができる。
(131) In order to facilitate the work of the Commission and the Member States in the AI field as well as to increase the transparency towards the public, providers of high-risk AI systems other than those related to products falling within the scope of relevant existing Union harmonisation legislation, as well as providers who consider that an AI system listed in the high-risk use cases in an annex to this Regulation is not high-risk on the basis of a derogation, should be required to register themselves and information about their AI system in an EU database, to be established and managed by the Commission. Before using an AI system listed in the high-risk use cases in an annex to this Regulation, deployers of high-risk AI systems that are public authorities, agencies or bodies, should register themselves in such database and select the system that they envisage to use. Other deployers should be entitled to do so voluntarily. This section of the EU database should be publicly accessible, free of charge, the information should be easily navigable, understandable and machine-readable. The EU database should also be user-friendly, for example by providing search functionalities, including through keywords, allowing the general public to find relevant information to be submitted upon the registration of high-risk AI systems and on the use case of high-risk AI systems, set out in an annex to this Regulation, to which the high-risk AI systems correspond. Any substantial modification of high-risk AI systems should also be registered in the EU database. For high-risk AI systems in the area of law enforcement, migration, asylum and border control management, the registration obligations should be fulfilled in a secure non-public section of the EU database. Access to the secure non-public section should be strictly limited to the Commission as well as to market surveillance authorities with regard to their national section of that database. High-risk AI systems in the area of critical infrastructure should only be registered at national level. The Commission should be the controller of the EU database, in accordance with Regulation (EU) 2018/1725. In order to ensure the full functionality of the EU database, when deployed, the procedure for setting the database should include the development of functional specifications by the Commission and an independent audit report. The Commission should take into account cybersecurity risks when carrying out its tasks as data controller on the EU database. In order to maximise the availability and use of the EU database by the public, the EU database, including the information made available through it, should comply with requirements under the Directive (EU) 2019/882.
(131) AI分野における欧州委員会及び加盟国の作業を容易にし、また公衆に対する透明性を高めるため、関連する既存の連合調和法令の適用範囲に含まれる製品に関連するもの以外のハイリスクAIシステムの提供者、並びに本規則の附属書に掲げるハイリスクの使用事例に列挙されたAIシステムが適用除外に基づきハイリスクに該当しないと考える提供者は、自らを登録し、かつ自らのAIシステムに関する情報を、欧州委員会が設立及び管理するEUデータベースに登録することが求められるべきである。本規則の附属書に掲げるハイリスクの使用事例に列挙されたAIシステムを使用する前に、公的機関、行政機関又は団体であるハイリスクAIシステムの配備者は、当該データベースに自らを登録し、使用を予定するシステムを選択すべきである。その他の配備者は、任意にこれを行うことができるべきである。EUデータベースのこの部分は、公衆がアクセス可能であり、無償であり、情報は容易に閲覧でき、理解可能であり、かつ機械可読であるべきである。EUデータベースはまた、例えばキーワードを含む検索機能を提供することなどにより、利用者に優しいものであるべきであり、これにより一般公衆が、ハイリスクAIシステムの登録に際して提出されるべき関連情報及び当該ハイリスクAIシステムが該当する、本規則の附属書に定めるハイリスクAIシステムの使用事例に関する情報を見つけることができるようにすべきである。ハイリスクAIシステムのあらゆる実質的変更もまた、EUデータベースに登録されるべきである。法執行、移民、庇護及び国境管理の分野におけるハイリスクAIシステムについては、登録義務は、EUデータベースの安全な非公開部分において履行されるべきである。当該安全な非公開部分へのアクセスは、欧州委員会並びに市場監視当局(自国の当該データベース部分に関して)に厳格に限定されるべきである。重要インフラの分野におけるハイリスクAIシステムは、国内レベルでのみ登録されるべきである。欧州委員会は、規則(EU) 2018/1725に従い、EUデータベースの管理者であるべきである。EUデータベースの完全な機能性を確保するため、その導入に当たり、データベースの設定手続には、欧州委員会による機能仕様の策定及び独立監査報告書の作成が含まれるべきである。欧州委員会は、EUデータベースのデータ管理者としての任務を遂行するに当たり、サイバーセキュリティのリスクを考慮すべきである。公衆によるEUデータベースの利用可能性及び利用を最大化するため、EUデータベース(それを通じて提供される情報を含む)は、指令(EU) 2019/882に基づく要件に適合すべきである。
(132) Certain AI systems intended to interact with natural persons or to generate content may pose specific risks of impersonation or deception irrespective of whether they qualify as high-risk or not. In certain circumstances, the use of these systems should therefore be subject to specific transparency obligations without prejudice to the requirements and obligations for high-risk AI systems and subject to targeted exceptions to take into account the special need of law enforcement. In particular, natural persons should be notified that they are interacting with an AI system, unless this is obvious from the point of view of a natural person who is reasonably well-informed, observant and circumspect taking into account the circumstances and the context of use. When implementing that obligation, the characteristics of natural persons belonging to vulnerable groups due to their age or disability should be taken into account to the extent the AI system is intended to interact with those groups as well. Moreover, natural persons should be notified when they are exposed to AI systems that, by processing their biometric data, can identify or infer the emotions or intentions of those persons or assign them to specific categories. Such specific categories can relate to aspects such as sex, age, hair colour, eye colour, tattoos, personal traits, ethnic origin, personal preferences and interests. Such information and notifications should be provided in accessible formats for persons with disabilities.
(132) 自然人と対話することを意図し、又はコンテンツを生成することを意図する一定のAIシステムは、それがハイリスクに該当するか否かにかかわらず、なりすまし又は欺罔の特有のリスクをもたらし得る。したがって、一定の状況においては、これらのシステムの使用は、ハイリスクAIシステムに関する要件及び義務を妨げることなく、また法執行の特別な必要性を考慮した的を絞った例外に服することを条件として、特定の透明性義務に服すべきである。特に、自然人は、状況及び使用の文脈を考慮して合理的に十分な情報を有し、注意深く、慎重な自然人の観点から明らかである場合を除き、自らがAIシステムと対話していることを通知されるべきである。この義務を実施するに当たっては、AIシステムが年齢又は障害を理由に脆弱な集団に属する自然人と対話することも意図している場合には、その限りにおいて、当該自然人の特性が考慮されるべきである。さらに、自然人は、バイオメトリックデータの処理により当該人物の感情若しくは意図を識別若しくは推測し、又は当該人物を特定の分類に割り当てることができるAIシステムにさらされる場合には、その旨を通知されるべきである。当該特定の分類は、性別、年齢、髪の色、目の色、入れ墨、個人的特性、民族的出自、個人的な嗜好及び関心といった側面に関連し得る。当該情報及び通知は、障害を有する者にとってアクセス可能な形式で提供されるべきである。
(133) A variety of AI systems can generate large quantities of synthetic content that becomes increasingly hard for humans to distinguish from human-generated and authentic content. The wide availability and increasing capabilities of those systems have a significant impact on the integrity and trust in the information ecosystem, raising new risks of misinformation and manipulation at scale, fraud, impersonation and consumer deception. In light of those impacts, the fast technological pace and the need for new methods and techniques to trace origin of information, it is appropriate to require providers of those systems to embed technical solutions that enable marking in a machine readable format and detection that the output has been generated or manipulated by an AI system and not a human. Such techniques and methods should be sufficiently reliable, interoperable, effective and robust as far as this is technically feasible, taking into account available techniques or a combination of such techniques, such as watermarks, metadata identifications, cryptographic methods for proving provenance and authenticity of content, logging methods, fingerprints or other techniques, as may be appropriate. When implementing this obligation, providers should also take into account the specificities and the limitations of the different types of content and the relevant technological and market developments in the field, as reflected in the generally acknowledged state of the art. Such techniques and methods can be implemented at the level of the AI system or at the level of the AI model, including general-purpose AI models generating content, thereby facilitating fulfilment of this obligation by the downstream provider of the AI system. To remain proportionate, it is appropriate to envisage that this marking obligation should not cover AI systems performing primarily an assistive function for standard editing or AI systems not substantially altering the input data provided by the deployer or the semantics thereof.
(133) 様々なAIシステムが、人間が人間により生成された真正なコンテンツと区別することがますます困難になる大量の合成コンテンツを生成し得る。これらのシステムの広範な利用可能性及び増大する能力は、情報エコシステムの完全性及び信頼に重大な影響を及ぼし、大規模な誤情報及び操作、詐欺、なりすまし並びに消費者の欺罔という新たなリスクを生じさせる。これらの影響、急速な技術の進歩、及び情報の出所を追跡するための新たな方法及び技術の必要性に鑑み、これらのシステムの提供者に対し、出力がAIシステムにより生成され又は操作されたものであり、人間によるものではないことを機械可読な形式で表示し、かつ検出することを可能にする技術的解決策を組み込むことを求めることが適切である。当該技術及び方法は、技術的に実行可能な限りにおいて、透かし、メタデータの識別、コンテンツの出所及び真正性を証明するための暗号手法、ログ記録手法、フィンガープリント又はその他適切な技術等、利用可能な技術又はその組み合わせを考慮に入れ、十分に信頼性があり、相互運用可能であり、有効であり、かつ頑健であるべきである。この義務を実施するに当たり、提供者は、一般に認められた技術水準に反映される、異なる種類のコンテンツの特有の性質及び限界、並びに当該分野における関連する技術的及び市場の発展も考慮すべきである。これらの技術及び方法は、AIシステムの水準又はAIモデル(コンテンツを生成する汎用目的AIモデルを含む)の水準で実装することができ、これにより、AIシステムの下流の提供者によるこの義務の履行を容易にする。比例性を維持するため、この表示義務は、主として標準的な編集のための補助的機能を果たすAIシステム、又は配備者が提供する入力データ若しくはその意味を実質的に変更しないAIシステムを対象としないことを想定することが適切である。
(134) Further to the technical solutions employed by the providers of the AI system, deployers who use an AI system to generate or manipulate image, audio or video content that appreciably resembles existing persons, objects, places, entities or events and would falsely appear to a person to be authentic or truthful (deep fakes), should also clearly and distinguishably disclose that the content has been artificially created or manipulated by labelling the AI output accordingly and disclosing its artificial origin. Compliance with this transparency obligation should not be interpreted as indicating that the use of the AI system or its output impedes the right to freedom of expression and the right to freedom of the arts and sciences guaranteed in the Charter, in particular where the content is part of an evidently creative, satirical, artistic, fictional or analogous work or programme, subject to appropriate safeguards for the rights and freedoms of third parties. In those cases, the transparency obligation for deep fakes set out in this Regulation is limited to disclosure of the existence of such generated or manipulated content in an appropriate manner that does not hamper the display or enjoyment of the work, including its normal exploitation and use, while maintaining the utility and quality of the work. In addition, it is also appropriate to envisage a similar disclosure obligation in relation to AI-generated or manipulated text to the extent it is published with the purpose of informing the public on matters of public interest unless the AI-generated content has undergone a process of human review or editorial control and a natural or legal person holds editorial responsibility for the publication of the content.
(134) AIシステムの提供者が用いる技術的解決策に加えて、実在する人物、物体、場所、団体若しくは事象に著しく類似し、かつ真正又は真実であるかのように人に誤って認識される画像、音声又は映像コンテンツ(ディープフェイク)を生成又は操作するためにAIシステムを使用する配備者もまた、AIの出力に適切な標識を付し、その人工的な出所を開示することにより、当該コンテンツが人為的に作成され又は操作されたものであることを、明確かつ判別可能な方法で開示すべきである。この透明性義務への適合は、AIシステム又はその出力の使用が、憲章に保障される表現の自由及び芸術・学問の自由の権利を妨げることを示すものと解釈されるべきではない。特に、当該コンテンツが、明白に創作的、風刺的、芸術的、フィクション的又はこれらに類する作品若しくはプログラムの一部である場合において、第三者の権利及び自由に対する適切な保護措置を条件として、そのように解釈されるべきではない。これらの場合には、本規則に定めるディープフェイクに関する透明性義務は、作品の表示若しくは享受(その通常の利用を含む)を妨げず、かつ当該作品の有用性及び品質を維持する適切な方法により、当該生成又は操作されたコンテンツの存在を開示することに限定される。さらに、AIにより生成された内容が人間による審査又は編集上の管理の過程を経て、自然人若しくは法人が当該コンテンツの公表について編集上の責任を負う場合を除き、公共の利益に関する事項について公衆に周知することを目的として公表される限りにおいて、AIにより生成又は操作されたテキストについても、同様の開示義務を想定することが適切である。
(135) Without prejudice to the mandatory nature and full applicability of the transparency obligations, the Commission may also encourage and facilitate the drawing up of codes of practice at Union level to facilitate the effective implementation of the obligations regarding the detection and labelling of artificially generated or manipulated content, including to support practical arrangements for making, as appropriate, the detection mechanisms accessible and facilitating cooperation with other actors along the value chain, disseminating content or checking its authenticity and provenance to enable the public to effectively distinguish AI-generated content.
(135) 透明性義務の拘束的な性質及び完全な適用可能性を妨げることなく、欧州委員会はまた、人為的に生成され又は操作されたコンテンツの検出及び表示に関する義務の効果的な実施を容易にするため、連合レベルでの実務規範の策定を奨励し、及び支援することができる。これには、検出メカニズムを適切にアクセス可能なものとするための実務的な取り決めを支援すること、並びに、公衆がAIにより生成されたコンテンツを効果的に識別できるようにするため、バリューチェーンに沿った他の主体との協力、コンテンツの拡散又はその真正性及び出所の確認を容易にすることを含む。
(136) The obligations placed on providers and deployers of certain AI systems in this Regulation to enable the detection and disclosure that the outputs of those systems are artificially generated or manipulated are particularly relevant to facilitate the effective implementation of Regulation (EU) 2022/2065. This applies in particular as regards the obligations of providers of very large online platforms or very large online search engines to identify and mitigate systemic risks that may arise from the dissemination of content that has been artificially generated or manipulated, in particular the risk of the actual or foreseeable negative effects on democratic processes, civic discourse and electoral processes, including through disinformation. The requirement to label content generated by AI systems under this Regulation is without prejudice to the obligation in Article 16(6) of Regulation (EU) 2022/2065 for providers of hosting services to process notices on illegal content received pursuant to Article 16(1) of that Regulation and should not influence the assessment and the decision on the illegality of the specific content. That assessment should be performed solely with reference to the rules governing the legality of the content.
(136) 本規則において特定のAIシステムの提供者及び配置者に課される、当該システムの出力が人工的に生成又は操作されたものであることの検知及び開示を可能にする義務は、規則(EU)2022/2065の実効的な実施を促進する上で特に重要である。これは特に、超大規模オンラインプラットフォーム又は超大規模オンライン検索エンジンの提供者が、人工的に生成又は操作されたコンテンツの拡散から生じ得るシステミックリスク、とりわけ偽情報を含む民主的プロセス、市民的言論及び選挙プロセスへの現実の又は予見可能な負の影響のリスクを特定し、緩和する義務に関して当てはまる。本規則に基づくAIシステムにより生成されたコンテンツへのラベル付けの要件は、規則(EU)2022/2065第16条第1項に基づき受領した違法コンテンツに関する通知を処理するホスティングサービス提供者の同条第6項に基づく義務を妨げるものではなく、また、当該特定のコンテンツの違法性に関する評価及び決定に影響を及ぼすべきではない。当該評価は、専らコンテンツの適法性を規律する規則のみに照らして行われるべきである。
(137) Compliance with the transparency obligations for the AI systems covered by this Regulation should not be interpreted as indicating that the use of the AI system or its output is lawful under this Regulation or other Union and Member State law and should be without prejudice to other transparency obligations for deployers of AI systems laid down in Union or national law.
(137) 本規則の対象となるAIシステムに関する透明性義務の遵守は、当該AIシステムの使用又はその出力が本規則若しくは他の連合法若しくは加盟国法の下で適法であることを示すものと解釈されるべきではなく、また、連合法又は国内法に定めるAIシステムの配置者に対するその他の透明性義務を妨げるものであってはならない。
(138) AI is a rapidly developing family of technologies that requires regulatory oversight and a safe and controlled space for experimentation, while ensuring responsible innovation and integration of appropriate safeguards and risk mitigation measures. To ensure a legal framework that promotes innovation, is future-proof and resilient to disruption, Member States should ensure that their national competent authorities establish at least one AI regulatory sandbox at national level to facilitate the development and testing of innovative AI systems under strict regulatory oversight before these systems are placed on the market or otherwise put into service. Member States could also fulfil this obligation through participating in already existing regulatory sandboxes or establishing jointly a sandbox with one or more Member States’ competent authorities, insofar as this participation provides equivalent level of national coverage for the participating Member States. AI regulatory sandboxes could be established in physical, digital or hybrid form and may accommodate physical as well as digital products. Establishing authorities should also ensure that the AI regulatory sandboxes have the adequate resources for their functioning, including financial and human resources.
(138) AIは急速に発展する技術群であり、規制上の監督と、責任あるイノベーション及び適切な保護措置・リスク軽減措置の統合を確保しつつ、実験のための安全かつ管理された空間を必要とする。イノベーションを促進し、将来にわたって有効かつ変化に強い法的枠組みを確保するため、加盟国は、その所管当局が、革新的なAIシステムを市場投入又はその他の方法で稼働させる前に、厳格な規制上の監督の下でその開発及び試験を促進するため、国内レベルで少なくとも一つのAI規制サンドボックスを設置することを確保すべきである。加盟国は、既存の規制サンドボックスへの参加、又は一若しくは複数の他の加盟国の所管当局との共同でのサンドボックスの設置によっても、当該参加が参加加盟国にとって同等の水準の国内的な適用範囲を提供する限りにおいて、この義務を履行することができる。AI規制サンドボックスは、物理的、デジタル又はハイブリッド形式で設置することができ、物理的製品及びデジタル製品の双方に対応し得る。設置機関はまた、AI規制サンドボックスがその機能のために、財政的及び人的資源を含む十分な資源を有することを確保すべきである。
(139) The objectives of the AI regulatory sandboxes should be to foster AI innovation by establishing a controlled experimentation and testing environment in the development and pre-marketing phase with a view to ensuring compliance of the innovative AI systems with this Regulation and other relevant Union and national law. Moreover, the AI regulatory sandboxes should aim to enhance legal certainty for innovators and the competent authorities’ oversight and understanding of the opportunities, emerging risks and the impacts of AI use, to facilitate regulatory learning for authorities and undertakings, including with a view to future adaptions of the legal framework, to support cooperation and the sharing of best practices with the authorities involved in the AI regulatory sandbox, and to accelerate access to markets, including by removing barriers for SMEs, including start-ups. AI regulatory sandboxes should be widely available throughout the Union, and particular attention should be given to their accessibility for SMEs, including start-ups. The participation in the AI regulatory sandbox should focus on issues that raise legal uncertainty for providers and prospective providers to innovate, experiment with AI in the Union and contribute to evidence-based regulatory learning. The supervision of the AI systems in the AI regulatory sandbox should therefore cover their development, training, testing and validation before the systems are placed on the market or put into service, as well as the notion and occurrence of substantial modification that may require a new conformity assessment procedure. Any significant risks identified during the development and testing of such AI systems should result in adequate mitigation and, failing that, in the suspension of the development and testing process. Where appropriate, national competent authorities establishing AI regulatory sandboxes should cooperate with other relevant authorities, including those supervising the protection of fundamental rights, and could allow for the involvement of other actors within the AI ecosystem such as national or European standardisation organisations, notified bodies, testing and experimentation facilities, research and experimentation labs, European Digital Innovation Hubs and relevant stakeholder and civil society organisations. To ensure uniform implementation across the Union and economies of scale, it is appropriate to establish common rules for the AI regulatory sandboxes’ implementation and a framework for cooperation between the relevant authorities involved in the supervision of the sandboxes. AI regulatory sandboxes established under this Regulation should be without prejudice to other law allowing for the establishment of other sandboxes aiming to ensure compliance with law other than this Regulation. Where appropriate, relevant competent authorities in charge of those other regulatory sandboxes should consider the benefits of using those sandboxes also for the purpose of ensuring compliance of AI systems with this Regulation. Upon agreement between the national competent authorities and the participants in the AI regulatory sandbox, testing in real world conditions may also be operated and supervised in the framework of the AI regulatory sandbox.
(139) AI規制サンドボックスの目的は、開発及び市場投入前の段階において管理された実験及び試験の環境を設置することにより、革新的なAIシステムが本規則及び関連する他の連合法及び国内法に適合することを確保する観点から、AIのイノベーションを促進することであるべきである。さらに、AI規制サンドボックスは、革新者のための法的確実性、並びに所管当局によるAI利用の機会、新たに生じるリスク及び影響に関する監督及び理解を強化し、法的枠組みの将来の適応を視野に入れたものを含め、当局及び事業者による規制上の学習を促進し、AI規制サンドボックスに関与する当局間の協力及びベストプラクティスの共有を支援し、並びに新興企業を含む中小企業の障壁の除去を含め、市場アクセスを加速することを目指すべきである。AI規制サンドボックスは、連合全域において広く利用可能であるべきであり、新興企業を含む中小企業にとってのアクセス可能性には特段の配慮が払われるべきである。AI規制サンドボックスへの参加は、提供者及び提供予定者が連合内でイノベーションを行い、AIを用いて実験を行い、証拠に基づく規制上の学習に寄与する上で法的不確実性を生じさせる論点に重点を置くべきである。したがって、AI規制サンドボックスにおけるAIシステムの監督は、当該システムが市場投入又は稼働される前のその開発、訓練、試験及び妥当性確認、並びに新たな適合性評価手続を要し得る重大な変更の概念及び発生をも対象とすべきである。当該AIシステムの開発及び試験の過程で識別された重大なリスクは、適切な軽減措置につながるべきであり、それができない場合には、開発及び試験プロセスの停止につながるべきである。適切な場合には、AI規制サンドボックスを設置する国内所管当局は、基本的権利の保護を監督する当局を含む他の関連当局と協力すべきであり、国内又は欧州の標準化機関、届出機関、試験及び実験施設、研究及び実験ラボ、欧州デジタル・イノベーション・ハブ並びに関連する利害関係者及び市民社会組織など、AIエコシステム内の他の関係者の関与を認めることができる。連合全域における統一的な実施及び規模の経済を確保するため、AI規制サンドボックスの実施に関する共通の規則、並びにサンドボックスの監督に関与する関連当局間の協力の枠組みを設置することが適当である。本規則に基づき設置されるAI規制サンドボックスは、本規則以外の法令の遵守を確保することを目的とする他のサンドボックスの設置を認める他の法令を妨げるものではない。適切な場合には、当該他の規制サンドボックスを所管する関連当局は、AIシステムの本規則への適合を確保する目的のためにも当該サンドボックスを利用することの利点を検討すべきである。国内所管当局とAI規制サンドボックスの参加者との間の合意に基づき、AI規制サンドボックスの枠組みにおいて、実世界の条件下での試験もまた運用及び監督され得る。
(140) This Regulation should provide the legal basis for the providers and prospective providers in the AI regulatory sandbox to use personal data collected for other purposes for developing certain AI systems in the public interest within the AI regulatory sandbox, only under specified conditions, in accordance with Article 6(4) and Article 9(2), point (g), of Regulation (EU) 2016/679, and Articles 5, 6 and 10 of Regulation (EU) 2018/1725, and without prejudice to Article 4(2) and Article 10 of Directive (EU) 2016/680. All other obligations of data controllers and rights of data subjects under Regulations (EU) 2016/679 and (EU) 2018/1725 and Directive (EU) 2016/680 remain applicable. In particular, this Regulation should not provide a legal basis in the meaning of Article 22(2), point (b) of Regulation (EU) 2016/679 and Article 24(2), point (b) of Regulation (EU) 2018/1725. Providers and prospective
(140) 本規則は、AI規制サンドボックスにおける提供者及び提供予定者が、当該サンドボックス内で公共の利益に資する特定のAIシステムを開発するために、規則(EU)2016/679第6条第4項及び第9条第2項(g)、並びに規則(EU)2018/1725第5条、第6条及び第10条に従い、かつ指令(EU)2016/680第4条第2項及び第10条を妨げることなく、特定の条件の下でのみ、他の目的で収集された個人データを使用するための法的根拠を定めるべきである。規則(EU)2016/679及び(EU)2018/1725並びに指令(EU)2016/680に基づくデータ管理者のその他の義務及びデータ主体の権利は、引き続き適用される。特に、本規則は、規則(EU)2016/679第22条第2項(b)及び規則(EU)2018/1725第24条第2項(b)にいう意味での法的根拠を提供するものであってはならない。
(141) In order to accelerate the process of development and the placing on the market of the high-risk AI systems listed in an annex to this Regulation, it is important that providers or prospective providers of such systems may also benefit from a specific regime for testing those systems in real world conditions, without participating in an AI regulatory sandbox. However, in such cases, taking into account the possible consequences of such testing on individuals, it should be ensured that appropriate and sufficient guarantees and conditions are introduced by this Regulation for providers or prospective providers. Such guarantees should include, inter alia, requesting informed consent of natural persons to participate in testing in real world conditions, with the exception of law enforcement where the seeking of informed consent would prevent the AI system from being tested. Consent of subjects to participate in such testing under this Regulation is distinct from, and without prejudice to, consent of data subjects for the processing of their personal data under the relevant data protection law. It is also important to minimise the risks and enable oversight by competent authorities and therefore require prospective providers to have a real-world testing plan submitted to competent market surveillance authority, register the testing in dedicated sections in the EU database subject to some limited exceptions, set limitations on the period for which the testing can be done and require additional safeguards for persons belonging to certain vulnerable groups, as well as a written agreement defining the roles and responsibilities of prospective providers and deployers and effective oversight by competent personnel involved in the real world testing. Furthermore, it is appropriate to envisage additional safeguards to ensure that the predictions, recommendations or decisions of the AI system can be effectively reversed and disregarded and that personal data is protected and is deleted when the subjects have withdrawn their consent to participate in the testing without prejudice to their rights as data subjects under the Union data protection law. As regards transfer of data, it is also appropriate to envisage that data collected and processed for the purpose of testing in real-world conditions should be transferred to third countries only where appropriate and applicable safeguards under Union law are implemented, in particular in accordance with bases for transfer of personal data under Union law on data protection, while for non-personal data appropriate safeguards are put in place in accordance with Union law, such as Regulations (EU) 2022/868 ( 42) and (EU) 2023/2854 (43) of the European Parliament and of the Council.
(141) 本規則の附属書に列挙される高リスクAIシステムの開発及び市場投入のプロセスを加速するためには、当該システムの提供者又は提供予定者が、AI規制サンドボックスに参加することなく、実世界の条件下での当該システムの試験のための特別な制度の恩恵を受けることができることが重要である。もっとも、その場合には、当該試験が個人に及ぼし得る影響を考慮し、提供者又は提供予定者のために本規則により適切かつ十分な保証及び条件が導入されることが確保されるべきである。当該保証には、とりわけ、実世界の条件下での試験に参加する自然人からのインフォームド・コンセントの取得を求めることが含まれるべきであるが、インフォームド・コンセントの取得がAIシステムの試験を妨げることとなる法執行の場合は除く。本規則に基づく当該試験への参加に係る被験者の同意は、関連するデータ保護法に基づくその個人データの処理に係るデータ主体の同意とは別個のものであり、これを妨げるものではない。また、リスクを最小化し、所管当局による監督を可能にすることも重要であることから、提供予定者に対し、実世界試験計画を所管の市場監視当局に提出すること、一定の限定的な例外を除き当該試験をEUデータベースの専用区分に登録すること、試験を行うことができる期間について制限を設けること、及び一定の脆弱な集団に属する者に対する追加的な保護措置を要求すること、並びに提供予定者及び配置者の役割及び責任を定める書面による合意及び実世界試験に関与する権限ある要員による実効的な監督を要求することが必要である。さらに、AIシステムの予測、推奨又は決定を実効的に取り消し、無視することができること、及び被験者が試験への参加の同意を撤回した場合には、連合のデータ保護法に基づくデータ主体としての権利を妨げることなく、個人データが保護され、かつ削除されることを確保するための追加的な保護措置を定めることが適当である。データの移転に関しては、実世界の条件下での試験の目的で収集及び処理されたデータは、連合法に基づく適切かつ適用可能な保護措置、特に連合のデータ保護法に基づく個人データの移転根拠に従って実施される場合に限り第三国に移転されるべきであり、非個人データについては、欧州議会及び理事会の規則(EU)2022/868(42)及び(EU)2023/2854(43)などの連合法に従って適切な保護措置が講じられるべきであることを定めることも適当である。
(142) To ensure that AI leads to socially and environmentally beneficial outcomes, Member States are encouraged to support and promote research and development of AI solutions in support of socially and environmentally beneficial outcomes, such as AI-based solutions to increase accessibility for persons with disabilities, tackle socio-economic inequalities, or meet environmental targets, by allocating sufficient resources, including public and Union funding, and, where appropriate and provided that the eligibility and selection criteria are fulfilled, considering in particular projects which pursue such objectives. Such projects should be based on the principle of interdisciplinary cooperation between AI developers, experts on inequality and non-discrimination, accessibility, consumer, environmental, and digital rights, as well as academics.
(142) AIが社会的及び環境的に有益な成果をもたらすことを確保するため、加盟国は、障害者のためのアクセシビリティの向上、社会経済的不平等への対処又は環境目標の達成のためのAIに基づく解決策など、社会的及び環境的に有益な成果を支援するAI解決策の研究開発を、公的資金及び連合の資金を含む十分な資源を割り当てることにより、また適切な場合であって適格性基準及び選定基準が満たされる場合には、特にそのような目的を追求するプロジェクトを重視することにより、支援及び促進することが奨励される。当該プロジェクトは、AI開発者、不平等及び非差別、アクセシビリティ、消費者、環境及びデジタル権利に関する専門家、並びに学識経験者の間の学際的協力の原則に基づくべきである。
(143) In order to promote and protect innovation, it is important that the interests of SMEs, including start-ups, that are providers or deployers of AI systems are taken into particular account. To that end, Member States should develop initiatives, which are targeted at those operators, including on awareness raising and information communication. Member States should provide SMEs, including start-ups, that have a registered office or a branch in the Union, with priority access to the AI regulatory sandboxes provided that they fulfil the eligibility conditions and selection criteria and without precluding other providers and prospective providers to access the sandboxes provided the same conditions and criteria are fulfilled. Member States should utilise existing channels and where appropriate, establish new dedicated channels for communication with SMEs, including start-ups, deployers, other innovators and, as appropriate, local public authorities, to support SMEs throughout their development path by providing guidance and responding to queries about the implementation of this Regulation. Where appropriate, these channels should work together to create synergies and ensure homogeneity in their guidance to SMEs, including start-ups, and deployers. Additionally, Member States should facilitate the participation of SMEs and other relevant stakeholders in the standardisation development processes. Moreover, the specific interests and needs of providers that are SMEs,
(143) イノベーションを促進及び保護するためには、AIシステムの提供者又は配置者である新興企業を含む中小企業の利益が特に考慮されることが重要である。そのため、加盟国は、意識向上及び情報伝達を含め、当該事業者を対象とした施策を策定すべきである。加盟国は、連合内に登録事務所又は支店を有する新興企業を含む中小企業に対し、適格性条件及び選定基準を満たすことを条件として、AI規制サンドボックスへの優先的なアクセスを提供すべきであり、同一の条件及び基準が満たされることを条件として、他の提供者及び提供予定者がサンドボックスにアクセスすることを妨げるものではない。加盟国は、既存の経路を活用し、適切な場合には、新興企業を含む中小企業、配置者、その他の革新者、及び適切な場合には地方公共当局との連絡のための専用の新たな経路を設置し、本規則の実施に関する指針の提供及び照会への対応を通じて、中小企業をその発展の過程全体にわたって支援すべきである。適切な場合には、これらの経路は、新興企業を含む中小企業及び配置者に対する指針の相乗効果を生み出し、均質性を確保するために協働すべきである。さらに、加盟国は、標準化の策定プロセスへの中小企業及びその他の関連する利害関係者の参加を促進すべきである。加えて、中小企業である提供者の特定の利益及びニーズについても考慮されるべきである。
(144) In order to promote and protect innovation, the AI-on-demand platform, all relevant Union funding programmes and projects, such as Digital Europe Programme, Horizon Europe, implemented by the Commission and the Member States at Union or national level should, as appropriate, contribute to the achievement of the objectives of this Regulation.
(144) イノベーションを促進及び保護するため、AIオンデマンドプラットフォーム、並びに欧州デジタルプログラム及びホライズン・ヨーロッパなど、連合又は国内レベルで欧州委員会及び加盟国が実施するすべての関連する連合の資金プログラム及びプロジェクトは、適切な場合には、本規則の目的の達成に寄与すべきである。
(145) In order to minimise the risks to implementation resulting from lack of knowledge and expertise in the market as well as to facilitate compliance of providers, in particular SMEs, including start-ups, and notified bodies with their obligations under this Regulation, the AI-on-demand platform, the European Digital Innovation Hubs and the testing and experimentation facilities established by the Commission and the Member States at Union or national level should contribute to the implementation of this Regulation. Within their respective mission and fields of competence, the AI-on-demand platform, the European Digital Innovation Hubs and the testing and experimentation Facilities are able to provide in particular technical and scientific support to providers and notified bodies.
(145) 市場における知識及び専門性の不足に起因する実施上のリスクを最小化するとともに、提供者、特に新興企業を含む中小企業、及び届出機関による本規則上の義務の遵守を促進するため、欧州委員会及び加盟国が連合又は国内レベルで設置するAIオンデマンドプラットフォーム、欧州デジタル・イノベーション・ハブ並びに試験及び実験施設は、本規則の実施に寄与すべきである。AIオンデマンドプラットフォーム、欧州デジタル・イノベーション・ハブ及び試験・実験施設は、それぞれの任務及び権限の範囲内において、特に提供者及び届出機関に対して技術的及び科学的な支援を提供することができる。
(146) Moreover, in light of the very small size of some operators and in order to ensure proportionality regarding costs of innovation, it is appropriate to allow microenterprises to fulfil one of the most costly obligations, namely to establish a quality management system, in a simplified manner which would reduce the administrative burden and the costs for those enterprises without affecting the level of protection and the need for compliance with the requirements for high-risk AI systems. The Commission should develop guidelines to specify the elements of the quality management system to be fulfilled in this simplified manner by microenterprises.
(146) さらに、一部の事業者の規模が極めて小さいことに鑑み、また、イノベーションに係る費用に関する比例性を確保するため、マイクロ企業が、最も費用のかかる義務の一つである品質管理システムの構築を、高リスクAIシステムに関する要件の保護水準及び遵守の必要性に影響を及ぼすことなく、当該企業の行政上の負担及び費用を軽減する簡素化された方法により履行することを認めることが適当である。欧州委員会は、マイクロ企業がこの簡素化された方法により履行すべき品質管理システムの要素を明確にするための指針を策定すべきである。
(147) It is appropriate that the Commission facilitates, to the extent possible, access to testing and experimentation facilities to bodies, groups or laboratories established or accredited pursuant to any relevant Union harmonisation legislation and which fulfil tasks in the context of conformity assessment of products or devices covered by that Union harmonisation legislation. This is, in particular, the case as regards expert panels, expert laboratories and reference laboratories in the field of medical devices pursuant to Regulations (EU) 2017/745 and (EU) 2017/746.
(147) 欧州委員会は、関連する連合調和法令に基づき設置又は認定され、当該連合調和法令の対象となる製品又は機器の適合性評価の文脈において任務を遂行する団体、グループ又は研究所に対し、可能な限り、試験及び実験施設へのアクセスを促進することが適当である。これは特に、規則(EU)2017/745及び(EU)2017/746に基づく医療機器の分野における専門家パネル、専門家研究所及び基準研究所について当てはまる。
(148) This Regulation should establish a governance framework that both allows to coordinate and support the application of this Regulation at national level, as well as build capabilities at Union level and integrate stakeholders in the field of AI. The effective implementation and enforcement of this Regulation require a governance framework that allows to coordinate and build up central expertise at Union level. The AI Office was established by Commission Decision ( 45) and has as its mission to develop Union expertise and capabilities in the field of AI and to contribute to the implementation of Union law on AI. Member States should facilitate the tasks of the AI Office with a view to support the development of Union expertise and capabilities at Union level and to strengthen the functioning of the digital single market. Furthermore, a Board composed of representatives of the Member States, a scientific panel to integrate the scientific community and an advisory forum to contribute stakeholder input to the implementation of this Regulation, at Union and national level, should be established. The development of Union expertise and
(148) 本規則は、国内レベルにおける本規則の適用を調整及び支援するとともに、連合レベルでの能力を構築し、AI分野の利害関係者を統合するガバナンス枠組みを設置すべきである。本規則の実効的な実施及び執行のためには、連合レベルでの調整及び中核的専門性の構築を可能にするガバナンス枠組みが必要である。AI室は欧州委員会決定(45)により設置され、AIの分野における連合の専門性及び能力を発展させ、AIに関する連合法の実施に寄与することをその任務としている。加盟国は、連合レベルでの連合の専門性及び能力の発展を支援し、デジタル単一市場の機能を強化する観点から、AI室の任務を促進すべきである。さらに、加盟国の代表者から構成される理事会、学術界を統合する科学パネル、及び連合レベル及び国内レベルにおける本規則の実施に利害関係者の意見を反映させるための諮問フォーラムが設置されるべきである。
(149) In order to facilitate a smooth, effective and harmonised implementation of this Regulation a Board should be established. The Board should reflect the various interests of the AI eco-system and be composed of representatives of the Member States. The Board should be responsible for a number of advisory tasks, including issuing opinions, recommendations, advice or contributing to guidance on matters related to the implementation of this Regulation, including on enforcement matters, technical specifications or existing standards regarding the requirements established in this Regulation and providing advice to the Commission and the Member States and their national competent authorities on specific questions related to AI. In order to give some flexibility to Member States in the designation of their representatives in the Board, such representatives may be any persons belonging to public entities who should have the relevant competences and powers to facilitate coordination at national level and contribute to the achievement of the Board’s tasks. The Board should establish two standing sub-groups to provide a platform for cooperation and exchange among market surveillance authorities and notifying authorities on issues related, respectively, to market surveillance and notified bodies. The standing subgroup for market surveillance should act as the administrative cooperation group (ADCO) for this Regulation within the meaning of Article 30 of Regulation (EU) 2019/1020. In accordance with Article 33 of that Regulation, the Commission should support the activities of the standing subgroup for market surveillance by undertaking market evaluations or studies, in particular with a view to identifying aspects of this Regulation requiring specific and urgent coordination among market surveillance authorities. The Board may establish other standing or temporary sub-groups as appropriate for the purpose of examining specific issues. The Board should also cooperate, as appropriate, with relevant Union bodies, experts groups and networks active in the context of relevant Union law, including in particular those active under relevant Union law on data, digital products and services.
(149) 本規則の円滑、実効的かつ調和的な実施を促進するため、理事会が設置されるべきである。理事会は、AIエコシステムの多様な利益を反映するものであるべきであり、加盟国の代表者から構成されるべきである。理事会は、本規則の実施に関連する事項、執行に関する事項、本規則に定める要件に関する技術仕様又は既存の規格を含め、意見、勧告、助言の発出又は指針への寄与を含む多くの助言的任務、並びにAIに関連する特定の問題について欧州委員会及び加盟国並びにその国内所管当局に対する助言の提供を担うべきである。加盟国が理事会における代表者を指名する際に一定の柔軟性を与えるため、当該代表者は、国内レベルでの調整を促進し、理事会の任務の達成に寄与するために必要な関連する権限及び権能を有すべき公的機関に属する者であればよい。理事会は、それぞれ市場監視及び届出機関に関連する問題に関し、市場監視当局及び届出当局の間の協力及び意見交換のための場を提供する二つの常設下位グループを設置すべきである。市場監視のための常設下位グループは、規則(EU)2019/1020第30条にいう意味において、本規則のための行政協力グループ(ADCO)として機能すべきである。同規則第33条に従い、欧州委員会は、特に市場監視当局間の特別かつ緊急の調整を要する本規則の側面を特定する観点から、市場評価又は調査を実施することにより、市場監視のための常設下位グループの活動を支援すべきである。理事会は、特定の問題を検討する目的で、適切な場合には、その他の常設又は臨時の下位グループを設置することができる。理事会はまた、適切な場合には、データ、デジタル製品及びサービスに関する連合法の下で活動するものを含め、関連する連合法の文脈で活動する関連する連合の機関、専門家グループ及びネットワークと協力すべきである。
(150) With a view to ensuring the involvement of stakeholders in the implementation and application of this Regulation, an advisory forum should be established to advise and provide technical expertise to the Board and the Commission. To ensure a varied and balanced stakeholder representation between commercial and non-commercial interest and, within the category of commercial interests, with regards to SMEs and other undertakings, the advisory forum should comprise inter alia industry, start-ups, SMEs, academia, civil society, including the social partners, as well as the Fundamental Rights Agency, ENISA, the European Committee for Standardization (CEN), the European Committee for Electrotechnical Standardization (CENELEC) and the European Telecommunications Standards Institute (ETSI).
(150) 本規則の実施及び適用への利害関係者の関与を確保する観点から、理事会及び欧州委員会に助言及び技術的専門性を提供するための諮問フォーラムが設置されるべきである。商業的利益と非商業的利益との間で、また商業的利益のカテゴリー内では中小企業とその他の事業者との間で、多様かつ均衡のとれた利害関係者の代表を確保するため、諮問フォーラムは、とりわけ産業界、新興企業、中小企業、学術界、社会的パートナーを含む市民社会、並びに基本権機関、ENISA、欧州標準化委員会(CEN)、欧州電気標準化委員会(CENELEC)及び欧州電気通信標準化機構(ETSI)から構成されるべきである。
(151) To support the implementation and enforcement of this Regulation, in particular the monitoring activities of the AI Office as regards general-purpose AI models, a scientific panel of independent experts should be established. The independent experts constituting the scientific panel should be selected on the basis of up-to-date scientific or technical expertise in the field of AI and should perform their tasks with impartiality, objectivity and ensure the confidentiality of information and data obtained in carrying out their tasks and activities. To allow the reinforcement of national capacities necessary for the effective enforcement of this Regulation, Member States should be able to request support from the pool of experts constituting the scientific panel for their enforcement activities.
(151) 本規則の実施及び執行、特に汎用AIモデルに関するAI室の監視活動を支援するため、独立した専門家からなる科学パネルを設置すべきである。科学パネルを構成する独立した専門家は、AI分野における最新の科学的又は技術的な専門知識に基づいて選定されるべきであり、その任務を公平かつ客観的に遂行し、任務及び活動の遂行に際して取得した情報及びデータの機密性を確保すべきである。本規則の効果的な執行に必要な各国の能力強化を可能にするため、加盟国は、その執行活動のために、科学パネルを構成する専門家プールに支援を要請できるようにすべきである。
(152) In order to support adequate enforcement as regards AI systems and reinforce the capacities of the Member States, Union AI testing support structures should be established and made available to the Member States.
(152) AIシステムに関する適切な執行を支援し、加盟国の能力を強化するため、連合のAI試験支援構造を設置し、加盟国が利用できるようにすべきである。
(153) Member States hold a key role in the application and enforcement of this Regulation. In that respect, each Member State should designate at least one notifying authority and at least one market surveillance authority as national competent authorities for the purpose of supervising the application and implementation of this Regulation. Member States may decide to appoint any kind of public entity to perform the tasks of the national competent authorities within the meaning of this Regulation, in accordance with their specific national organisational characteristics and needs. In order to increase organisation efficiency on the side of Member States and to set a single point of contact vis-à-vis the public and other counterparts at Member State and Union levels, each Member State should designate a market surveillance authority to act as a single point of contact.
(153) 加盟国は、本規則の適用及び執行において重要な役割を担う。この点に関し、各加盟国は、本規則の適用及び実施を監督する目的で、国内所管当局として、少なくとも1つの届出当局及び少なくとも1つの市場監視当局を指定すべきである。加盟国は、その固有の国内組織上の特性及び必要性に応じ、本規則の意味における国内所管当局の任務を遂行させるため、いかなる種類の公的機関を任命することも決定できる。加盟国側の組織的効率性を高め、加盟国及び連合の各レベルにおいて公衆及び他の関係者に対する単一の窓口を設けるため、各加盟国は、単一窓口として機能する市場監視当局を指定すべきである。
(154) The national competent authorities should exercise their powers independently, impartially and without bias, so as to safeguard the principles of objectivity of their activities and tasks and to ensure the application and implementation of this Regulation. The members of these authorities should refrain from any action incompatible with their duties and should be subject to confidentiality rules under this Regulation.
(154) 国内所管当局は、その活動及び任務の客観性の原則を保護し、本規則の適用及び実施を確保するため、その権限を独立して、公平かつ偏りなく行使すべきである。これらの当局の構成員は、その職務と両立しないいかなる行為も控えるべきであり、本規則に基づく機密保持規則の適用を受けるべきである。
(155) In order to ensure that providers of high-risk AI systems can take into account the experience on the use of high-risk AI systems for improving their systems and the design and development process or can take any possible corrective action in a timely manner, all providers should have a post-market monitoring system in place. Where relevant, post-market monitoring should include an analysis of the interaction with other AI systems including other devices and software. Post-market monitoring should not cover sensitive operational data of deployers which are law enforcement authorities. This system is also key to ensure that the possible risks emerging from AI systems which continue to ‘learn’ after being placed on the market or put into service can be more efficiently and timely addressed. In this context, providers should also be required to have a system in place to report to the relevant authorities any serious incidents resulting from the use of their AI systems, meaning incident or malfunctioning leading to death or serious damage to health, serious and irreversible disruption of the management and operation of critical infrastructure, infringements of obligations under Union law intended to protect fundamental rights or serious damage to property or the environment.
(155) 高リスクAIシステムの提供者が、そのシステムの改善並びに設計及び開発プロセスの改善のために高リスクAIシステムの使用に関する経験を考慮に入れることができるように、又は適時に可能な是正措置を講じることができるようにするため、全ての提供者は市販後モニタリングの仕組みを備えるべきである。関連する場合、市販後モニタリングには、他の機器及びソフトウェアを含む他のAIシステムとの相互作用の分析を含めるべきである。市販後モニタリングは、法執行当局である配備者の機微な運用データを対象とすべきではない。この仕組みはまた、市場に上市され又はサービスに投入された後も「学習」を続けるAIシステムから生じ得るリスクに、より効率的かつ適時に対処できるようにするための鍵でもある。この観点から、提供者はまた、自らのAIシステムの使用に起因する重大インシデント、すなわち死亡若しくは健康への重大な損害、重要インフラの管理及び運用の重大かつ回復不能な混乱、基本的権利を保護することを目的とする連合法上の義務の違反、又は財産若しくは環境への重大な損害をもたらすインシデント若しくは誤作動を、関係当局に報告する仕組みを備えることを求められるべきである。
(156) In order to ensure an appropriate and effective enforcement of the requirements and obligations set out by this Regulation, which is Union harmonisation legislation, the system of market surveillance and compliance of products established by Regulation (EU) 2019/1020 should apply in its entirety. Market surveillance authorities designated pursuant to this Regulation should have all enforcement powers laid down in this Regulation and in Regulation (EU) 2019/1020 and should exercise their powers and carry out their duties independently, impartially and without bias. Although the majority of AI systems are not subject to specific requirements and obligations under this Regulation, market surveillance authorities may take measures in relation to all AI systems when they present a risk in accordance with this Regulation. Due to the specific nature of Union institutions, agencies and bodies falling within the scope of this Regulation, it is appropriate to designate the European Data Protection Supervisor as a competent market surveillance authority for them. This should be without prejudice to the designation of national competent authorities by the Member States. Market surveillance activities should not affect the ability of the supervised entities to carry out their tasks independently, when such independence is required by Union law.
(156) 連合の調和法である本規則に定める要件及び義務の適切かつ効果的な執行を確保するため、規則(EU) 2019/1020によって確立された製品の市場監視及び適合性の仕組みが全面的に適用されるべきである。本規則に従って指定された市場監視当局は、本規則及び規則(EU) 2019/1020に定める全ての執行権限を有し、独立して、公平かつ偏りなく、その権限を行使し、その職務を遂行すべきである。本規則の対象となるAIシステムの大部分は特定の要件及び義務の対象とはならないが、市場監視当局は、本規則に従いリスクを提示する全てのAIシステムに関して措置を講じることができる。本規則の適用範囲に含まれる連合の機関、団体及び組織の特殊な性質に鑑み、これらについては欧州データ保護監督官を所管の市場監視当局として指定することが適切である。これは、加盟国による国内所管当局の指定を妨げるものではない。市場監視活動は、連合法によりそのような独立性が求められる場合において、監督対象事業体がその任務を独立して遂行する能力に影響を及ぼすべきではない。
(157) This Regulation is without prejudice to the competences, tasks, powers and independence of relevant national public authorities or bodies which supervise the application of Union law protecting fundamental rights, including equality bodies and data protection authorities. Where necessary for their mandate, those national public authorities or bodies should also have access to any documentation created under this Regulation. A specific safeguard procedure should be set for ensuring adequate and timely enforcement against AI systems presenting a risk to health, safety and fundamental rights. The procedure for such AI systems presenting a risk should be applied to high-risk AI systems presenting a risk, prohibited systems which have been placed on the market, put into service or used in violation of the prohibited practices laid down in this Regulation and AI systems which have been made available in violation of the transparency requirements laid down in this Regulation and present a risk.
(157) 本規則は、基本的権利を保護する連合法の適用を監督する関係国内公的当局又は機関(平等機関及びデータ保護当局を含む)の権限、任務、権能及び独立性を害するものではない。その職務上必要な場合、これらの国内公的当局又は機関は、本規則に基づき作成された文書にもアクセスできるべきである。健康、安全及び基本的権利にリスクを提示するAIシステムに対する適切かつ適時の執行を確保するため、特定のセーフガード手続を定めるべきである。このようにリスクを提示するAIシステムに係る手続は、リスクを提示する高リスクAIシステム、本規則に定める禁止される慣行に違反して上市され、サービスに投入され若しくは使用された禁止システム、並びに本規則に定める透明性要件に違反して利用可能とされ、かつリスクを提示するAIシステムに適用されるべきである。
(158) Union financial services law includes internal governance and risk-management rules and requirements which are applicable to regulated financial institutions in the course of provision of those services, including when they make use of AI systems. In order to ensure coherent application and enforcement of the obligations under this Regulation and relevant rules and requirements of the Union financial services legal acts, the competent authorities for the supervision and enforcement of those legal acts, in particular competent authorities as defined in Regulation (EU) No 575/2013 of the European Parliament and of the Council ( 46) and Directives 2008/48/EC (47), 2009/138/EC (48),
(158) 連合の金融サービス法には、規制対象金融機関がこれらのサービスを提供する過程で(AIシステムを利用する場合を含め)適用される内部統治及びリスク管理に関する規則及び要件が含まれている。本規則に基づく義務と連合の金融サービス関連法令の関連する規則及び要件との整合的な適用及び執行を確保するため、これらの法令の監督及び執行を所管する当局、特に欧州議会及び理事会規則(EU) No 575/2013(46)並びに指令2008/48/EC(47)、2009/138/EC(48)に定義される所管当局が、
(159) Each market surveillance authority for high-risk AI systems in the area of biometrics, as listed in an annex to this Regulation insofar as those systems are used for the purposes of law enforcement, migration, asylum and border control management, or the administration of justice and democratic processes, should have effective investigative and corrective powers, including at least the power to obtain access to all personal data that are being processed and to all information necessary for the performance of its tasks. The market surveillance authorities should be able to exercise their powers by acting with complete independence. Any limitations of their access to sensitive operational data under this Regulation should be without prejudice to the powers conferred to them by Directive (EU) 2016/680. No exclusion on disclosing data to national data protection authorities under this Regulation should affect the current or future powers of those authorities beyond the scope of this Regulation.
(159) 生体認証の分野における高リスクAIシステム(本規則の附属書に列挙されるものであって、法執行、移民、庇護及び国境管理、又は司法運営及び民主的プロセスの目的で使用される限りにおいて)に関する各市場監視当局は、少なくとも、処理されている全ての個人データ及びその任務の遂行に必要な全ての情報にアクセスする権限を含む、実効的な調査及び是正の権限を有すべきである。市場監視当局は、完全な独立性をもってその権限を行使できるべきである。本規則に基づく機微な運用データへのアクセスの制限は、指令(EU) 2016/680により当局に付与された権限を害するものではないものとする。本規則に基づき国内データ保護当局へのデータ開示を除外することは、本規則の適用範囲を超えるこれらの当局の現在又は将来の権限に影響を及ぼすべきではない。
(160) The market surveillance authorities and the Commission should be able to propose joint activities, including joint investigations, to be conducted by market surveillance authorities or market surveillance authorities jointly with the Commission, that have the aim of promoting compliance, identifying non-compliance, raising awareness and providing guidance in relation to this Regulation with respect to specific categories of high-risk AI systems that are found to present a serious risk across two or more Member States. Joint activities to promote compliance should be carried out in accordance with Article 9 of Regulation (EU) 2019/1020. The AI Office should provide coordination support for joint investigations.
(160) 市場監視当局及び欧州委員会は、2以上の加盟国にわたって重大なリスクを提示すると判明した特定の分類の高リスクAIシステムに関し、本規則の遵守を促進し、不遵守を特定し、意識を高め、指針を提供することを目的として、市場監視当局が単独で又は欧州委員会と共同で実施する共同活動(共同調査を含む)を提案できるべきである。遵守を促進するための共同活動は、規則(EU) 2019/1020第9条に従って実施されるべきである。AI室は、共同調査のための調整支援を提供すべきである。
(161) It is necessary to clarify the responsibilities and competences at Union and national level as regards AI systems that are built on general-purpose AI models. To avoid overlapping competences, where an AI system is based on a general-purpose AI model and the model and system are provided by the same provider, the supervision should
(161) 汎用AIモデルを基盤とするAIシステムに関し、連合レベル及び国内レベルにおける責任及び権限を明確にすることが必要である。権限の重複を避けるため、AIシステムが汎用AIモデルに基づいており、当該モデル及びシステムが同一の提供者によって提供される場合、監督は
(162) To make best use of the centralised Union expertise and synergies at Union level, the powers of supervision and enforcement of the obligations on providers of general-purpose AI models should be a competence of the Commission. The AI Office should be able to carry out all necessary actions to monitor the effective implementation of this Regulation as regards general-purpose AI models. It should be able to investigate possible infringements of the rules on providers of general-purpose AI models both on its own initiative, following the results of its monitoring activities, or upon request from market surveillance authorities in line with the conditions set out in this Regulation. To support effective monitoring of the AI Office, it should provide for the possibility that downstream providers lodge complaints about possible infringements of the rules on providers of general-purpose AI models and systems.
(162) 連合レベルにおける集中的な専門知識及び相乗効果を最大限に活用するため、汎用AIモデルの提供者の義務に関する監督及び執行の権限は、欧州委員会の権限とすべきである。AI室は、汎用AIモデルに関する本規則の効果的な実施を監視するために必要な全ての措置を講じることができるべきである。AI室は、自らの監視活動の結果を受けて自らの発意により、又は本規則に定める条件に従い市場監視当局からの要請に基づき、汎用AIモデルの提供者に係る規則の違反の可能性を調査できるべきである。AI室による効果的な監視を支援するため、下流の提供者が汎用AIモデル及びシステムの提供者に係る規則の違反の可能性について苦情を申し立てることができるようにすべきである。
(163) With a view to complementing the governance systems for general-purpose AI models, the scientific panel should support the monitoring activities of the AI Office and may, in certain cases, provide qualified alerts to the AI Office which trigger follow-ups, such as investigations. This should be the case where the scientific panel has reason to suspect that a general-purpose AI model poses a concrete and identifiable risk at Union level. Furthermore, this should be the case where the scientific panel has reason to suspect that a general-purpose AI model meets the criteria that would lead to a classification as general-purpose AI model with systemic risk. To equip the scientific panel with the information necessary for the performance of those tasks, there should be a mechanism whereby the scientific panel can request the Commission to require documentation or information from a provider.
(163) 汎用AIモデルのガバナンスの仕組みを補完する観点から、科学パネルはAI室の監視活動を支援すべきであり、また場合によっては、調査等のフォローアップを引き起こす適格な警告をAI室に対して提供できるべきである。これは、科学パネルが、汎用AIモデルが連合レベルにおいて具体的かつ特定可能なリスクを提示すると疑う理由がある場合に該当すべきである。さらに、これは、科学パネルが、汎用AIモデルがシステミックリスクを伴う汎用AIモデルとしての分類につながる基準を満たすと疑う理由がある場合にも該当すべきである。科学パネルにこれらの任務の遂行に必要な情報を備えさせるため、科学パネルが欧州委員会に対し、提供者に文書又は情報の提出を求めるよう要請できる仕組みを設けるべきである。
(164) The AI Office should be able to take the necessary actions to monitor the effective implementation of and compliance with the obligations for providers of general-purpose AI models laid down in this Regulation. The AI Office should be able to investigate possible infringements in accordance with the powers provided for in this Regulation, including by requesting documentation and information, by conducting evaluations, as well as by requesting measures from providers of general-purpose AI models. When conducting evaluations, in order to make use of independent expertise, the AI Office should be able to involve independent experts to carry out the evaluations on its behalf. Compliance with the obligations should be enforceable, inter alia, through requests to take appropriate measures, including risk mitigation measures in the case of identified systemic risks as well as restricting the making available on the market, withdrawing or recalling the model. As a safeguard, where needed beyond the procedural rights provided for in this Regulation, providers of general-purpose AI models should have the procedural rights provided for in Article 18 of Regulation (EU) 2019/1020, which should apply mutatis mutandis, without prejudice to more specific procedural rights provided for by this Regulation.
(164) AI室は、本規則に定める汎用AIモデルの提供者の義務の効果的な実施及び遵守を監視するために必要な措置を講じることができるべきである。AI室は、本規則に定める権限に従い、文書及び情報の要求、評価の実施、並びに汎用AIモデルの提供者に対する措置の要求を含め、違反の可能性を調査できるべきである。評価を実施するに当たり、独立した専門知識を活用するため、AI室は、独立した専門家を関与させ、これらの評価をAI室に代わって実施させることができるべきである。義務の遵守は、とりわけ、特定されたシステミックリスクの場合のリスク軽減措置を含む適切な措置を講じるよう要求すること、並びに市場への提供の制限、モデルの撤回又はリコールを要求することによって執行可能とすべきである。セーフガードとして、本規則に定める手続上の権利を超えて必要な場合、汎用AIモデルの提供者は、規則(EU) 2019/1020第18条に定める手続上の権利(これを準用する)を有すべきであり、これは、本規則に定めるより具体的な手続上の権利を害するものではない。
(165) The development of AI systems other than high-risk AI systems in accordance with the requirements of this Regulation may lead to a larger uptake of ethical and trustworthy AI in the Union. Providers of AI systems that are not high-risk should be encouraged to create codes of conduct, including related governance mechanisms, intended to foster the voluntary application of some or all of the mandatory requirements applicable to high-risk AI systems, adapted in light of the intended purpose of the systems and the lower risk involved and taking into account the available technical solutions and industry best practices such as model and data cards. Providers and, as appropriate, deployers of all AI systems, high-risk or not, and AI models should also be encouraged to apply on a voluntary basis additional requirements related, for example, to the elements of the Union’s Ethics Guidelines for Trustworthy AI,
(165) 本規則の要件に従った高リスクAIシステム以外のAIシステムの開発は、連合における倫理的かつ信頼できるAIのより広範な普及につながり得る。高リスクではないAIシステムの提供者は、システムの意図された目的及び関与するリスクの低さに照らして適合させ、かつ利用可能な技術的解決策及びモデルカードやデータカードといった業界のベストプラクティスを考慮に入れた上で、高リスクAIシステムに適用される義務的要件の一部又は全部の自発的な適用を促進することを意図した、関連する統治の仕組みを含む行動規範を策定するよう奨励されるべきである。全てのAIシステム(高リスクであるか否かを問わない)及びAIモデルの提供者、並びに該当する場合には配備者もまた、例えば信頼できるAIのための連合の倫理指針の要素に関連する追加的な要件を自発的に適用するよう奨励されるべきである。
(166) It is important that AI systems related to products that are not high-risk in accordance with this Regulation and thus are not required to comply with the requirements set out for high-risk AI systems are nevertheless safe when placed on the market or put into service. To contribute to this objective, Regulation (EU) 2023/988 of the European Parliament and of the Council ( 53) would apply as a safety net.
(166) 本規則に基づきハイリスクに該当せず、したがってハイリスクAIシステムについて定められた要件を遵守する必要がない製品に関連するAIシステムであっても、上市又は運用開始される際には安全でなければならないことが重要である。この目的に資するため、欧州議会及び理事会の規則(EU)2023/988(53)がセーフティネットとして適用されることになる。
(167) In order to ensure trustful and constructive cooperation of competent authorities on Union and national level, all parties involved in the application of this Regulation should respect the confidentiality of information and data obtained in carrying out their tasks, in accordance with Union or national law. They should carry out their tasks and activities in such a manner as to protect, in particular, intellectual property rights, confidential business information and trade secrets, the effective implementation of this Regulation, public and national security interests, the integrity of criminal and administrative proceedings, and the integrity of classified information.
(167) 連合レベル及び加盟国レベルの所管当局間の信頼に基づく建設的な協力を確保するため、本規則の適用に関与するすべての当事者は、連合法又は国内法に従い、自らの職務遂行にあたって取得した情報及びデータの機密性を尊重すべきである。当事者は、とりわけ知的財産権、営業上の秘密情報及び営業秘密、本規則の実効的な実施、公共の安全及び国家安全保障上の利益、刑事及び行政手続の完全性、並びに機密情報の完全性を保護するような態様で、その職務及び活動を遂行すべきである。
(168) Compliance with this Regulation should be enforceable by means of the imposition of penalties and other enforcement measures. Member States should take all necessary measures to ensure that the provisions of this Regulation are implemented, including by laying down effective, proportionate and dissuasive penalties for their infringement, and to respect the ne bis in idem principle. In order to strengthen and harmonise administrative penalties for infringement of this Regulation, the upper limits for setting the administrative fines for certain specific infringements should be laid down. When assessing the amount of the fines, Member States should, in each individual case, take into account all relevant circumstances of the specific situation, with due regard in particular to the nature, gravity and duration of the infringement and of its consequences and to the size of the provider, in particular if the provider is an SME, including a start-up. The European Data Protection Supervisor should have the power to impose fines on Union institutions, agencies and bodies falling within the scope of this Regulation.
(168) 本規則の遵守は、制裁及びその他の執行措置の賦課を通じて執行可能なものとすべきである。加盟国は、本規則の違反に対する効果的、均衡の取れた、かつ抑止力のある制裁を定めることを含め、本規則の規定が実施されることを確保するために必要なすべての措置を講じるとともに、二重処罰禁止の原則(ne bis in idem)を尊重すべきである。本規則違反に対する行政上の制裁金を強化し調和させるため、特定の違反類型について行政上の制裁金を設定する上限額を定めるべきである。制裁金の額を評価するにあたり、加盟国は、個々の事案ごとに、違反及びその結果の性質、重大性及び継続期間、並びに提供者の規模、とりわけ当該提供者がスタートアップを含む中小企業(SME)である場合には、その事情に特に留意しつつ、当該具体的状況に関連するすべての事情を考慮すべきである。欧州データ保護監督機関は、本規則の適用範囲に含まれる連合の機関、機関及び団体に対して制裁金を賦課する権限を有するべきである。
(169) Compliance with the obligations on providers of general-purpose AI models imposed under this Regulation should be enforceable, inter alia, by means of fines. To that end, appropriate levels of fines should also be laid down for infringement of those obligations, including the failure to comply with measures requested by the Commission in accordance with this Regulation, subject to appropriate limitation periods in accordance with the principle of proportionality. All decisions taken by the Commission under this Regulation are subject to review by the Court of Justice of the European Union in accordance with the TFEU, including the unlimited jurisdiction of the Court of Justice with regard to penalties pursuant to Article 261 TFEU.
(169) 本規則により課される汎用目的AIモデルの提供者に対する義務の遵守は、とりわけ制裁金を通じて執行可能なものとすべきである。そのため、これらの義務の違反、とりわけ本規則に従い欧州委員会が要求した措置への不遵守についても、比例原則に従った適切な時効期間を条件として、適切な水準の制裁金を定めるべきである。本規則に基づき欧州委員会が下したすべての決定は、TFEU第261条に基づく制裁金に関する欧州連合司法裁判所の無制限の裁判権を含め、TFEUに従い欧州連合司法裁判所による審査の対象となる。
(170) Union and national law already provide effective remedies to natural and legal persons whose rights and freedoms are adversely affected by the use of AI systems. Without prejudice to those remedies, any natural or legal person that has grounds to consider that there has been an infringement of this Regulation should be entitled to lodge a complaint to the relevant market surveillance authority.
(170) 連合法及び国内法は、AIシステムの使用によりその権利及び自由に不利な影響を受けた自然人及び法人に対し、既に実効的な救済手段を提供している。これらの救済手段を妨げることなく、本規則の違反があったと考える根拠を有する自然人又は法人は、いずれも、関係する市場監視当局に苦情を申し立てる権利を有するべきである。
(171) Affected persons should have the right to obtain an explanation where a deployer’s decision is based mainly upon the output from certain high-risk AI systems that fall within the scope of this Regulation and where that decision produces legal effects or similarly significantly affects those persons in a way that they consider to have an adverse
(171) 本規則の適用範囲に含まれる特定のハイリスクAIシステムの出力を主たる根拠として導入者(デプロイヤー)が下した決定が、法的効果を生じさせ、又はこれと同様に当該者に重大な影響を及ぼし、かつ、当該者がこれを不利益であると考える場合には、影響を受ける者は、説明を受ける権利を有するべきである。
(172) Persons acting as whistleblowers on the infringements of this Regulation should be protected under the Union law. Directive (EU) 2019/1937 of the European Parliament and of the Council ( 54) should therefore apply to the reporting of infringements of this Regulation and the protection of persons reporting such infringements.
(172) 本規則の違反について内部告発者として行動する者は、連合法の下で保護されるべきである。したがって、欧州議会及び理事会の指令(EU)2019/1937(54)は、本規則の違反の通報及びそのような違反を通報する者の保護に適用されるべきである。
(173) In order to ensure that the regulatory framework can be adapted where necessary, the power to adopt acts in accordance with Article 290 TFEU should be delegated to the Commission to amend the conditions under which an AI system is not to be considered to be high-risk, the list of high-risk AI systems, the provisions regarding technical documentation, the content of the EU declaration of conformity the provisions regarding the conformity assessment procedures, the provisions establishing the high-risk AI systems to which the conformity assessment procedure based on assessment of the quality management system and assessment of the technical documentation should apply, the threshold, benchmarks and indicators, including by supplementing those benchmarks and indicators, in the rules for the classification of general-purpose AI models with systemic risk, the criteria for the designation of general-purpose AI models with systemic risk, the technical documentation for providers of general-purpose AI models and the transparency information for providers of general-purpose AI models. It is of particular importance that the Commission carry out appropriate consultations during its preparatory work, including at expert level, and that those consultations be conducted in accordance with the principles laid down in the Interinstitutional Agreement of 13 April 2016 on Better Law-Making ( 55). In particular, to ensure equal participation in the preparation of delegated acts, the European Parliament and the Council receive all documents at the same time as Member States’ experts, and their experts systematically have access to meetings of Commission expert groups dealing with the preparation of delegated acts.
(173) 規制の枠組みを必要に応じて適応させることができるようにするため、AIシステムがハイリスクとみなされないための条件、ハイリスクAIシステムの一覧、技術文書に関する規定、EU適合宣言の内容、適合性評価手続に関する規定、品質マネジメントシステムの評価及び技術文書の評価に基づく適合性評価手続を適用すべきハイリスクAIシステムを定める規定、システミックリスクを伴う汎用目的AIモデルの分類規則における閾値、ベンチマーク及び指標(これらのベンチマーク及び指標の補完を含む)、システミックリスクを伴う汎用目的AIモデルの指定基準、汎用目的AIモデルの提供者のための技術文書、並びに汎用目的AIモデルの提供者のための透明性に関する情報を改正するため、TFEU第290条に従い委任法を採択する権限を欧州委員会に委任すべきである。欧州委員会がその準備作業において、専門家レベルを含め適切な協議を行うこと、及びこれらの協議が2016年4月13日の「より良い立法に関する機関間協定」(55)に定める原則に従って実施されることが、特に重要である。とりわけ、委任法の準備における対等な参加を確保するため、欧州議会及び理事会は、加盟国の専門家と同時にすべての文書を受領し、その専門家は委任法の準備を扱う欧州委員会の専門家会合に常時アクセスできるものとする。
(174) Given the rapid technological developments and the technical expertise required to effectively apply this Regulation, the Commission should evaluate and review this Regulation by 2 August 2029 and every four years thereafter and report to the European Parliament and the Council. In addition, taking into account the implications for the scope of this Regulation, the Commission should carry out an assessment of the need to amend the list of high-risk AI systems and the list of prohibited practices once a year. Moreover, by 2 August 2028 and every four years thereafter, the Commission should evaluate and report to the European Parliament and to the Council on the need to amend the list of high-risk areas headings in the annex to this Regulation, the AI systems within the scope of the transparency obligations, the effectiveness of the supervision and governance system and the progress on the development of standardisation deliverables on energy efficient development of general-purpose AI models, including the need for further measures or actions. Finally, by 2 August 2028 and every three years thereafter, the Commission should evaluate the impact and effectiveness of voluntary codes of conduct to foster the application of the requirements provided for high-risk AI systems in the case of AI systems other than high-risk AI systems and possibly other additional requirements for such AI systems.
(174) 急速な技術的発展及び本規則を効果的に適用するために必要な専門的知見に鑑み、欧州委員会は、2029年8月2日までに、及びその後4年ごとに、本規則の評価及び見直しを行い、欧州議会及び理事会に報告すべきである。さらに、本規則の適用範囲に対する影響を考慮し、欧州委員会は、ハイリスクAIシステムの一覧及び禁止される慣行の一覧を改正する必要性について、年に1回評価を行うべきである。また、2028年8月2日までに、及びその後4年ごとに、欧州委員会は、本規則の附属書におけるハイリスク分野の見出しの一覧、透明性義務の適用範囲に含まれるAIシステム、監督及びガバナンスの仕組みの実効性、並びに汎用目的AIモデルのエネルギー効率的な開発に関する標準化成果物の策定状況を改正する必要性について、さらなる措置又は行動の必要性を含め、評価を行い、欧州議会及び理事会に報告すべきである。最後に、2028年8月2日までに、及びその後3年ごとに、欧州委員会は、ハイリスクAIシステム以外のAIシステムについてハイリスクAIシステムに定められた要件の適用を促進するための自主的行動規範の影響及び実効性、並びに当該AIシステムに関するその他の追加的要件の可能性について評価を行うべきである。
(175) In order to ensure uniform conditions for the implementation of this Regulation, implementing powers should be conferred on the Commission. Those powers should be exercised in accordance with Regulation (EU) No 182/2011 of the European Parliament and of the Council ( 56).
(175) 本規則の実施のための統一的な条件を確保するため、欧州委員会に実施権限が付与されるべきである。これらの権限は、欧州議会及び理事会の規則(EU)No 182/2011(56)に従って行使されるべきである。
(176) Since the objective of this Regulation, namely to improve the functioning of the internal market and to promote the uptake of human centric and trustworthy AI, while ensuring a high level of protection of health, safety, fundamental rights enshrined in the Charter, including democracy, the rule of law and environmental protection against harmful effects of AI systems in the Union and supporting innovation, cannot be sufficiently achieved by the Member States and can rather, by reason of the scale or effects of the action, be better achieved at Union level, the Union may adopt
(176) 本規則の目的、すなわち、域内市場の機能を改善し、人間中心で信頼できるAIの普及を促進するとともに、連合内におけるAIシステムの有害な影響から、健康、安全、並びに民主主義、法の支配及び環境保護を含む憲章に定める基本権を高い水準で保護し、イノベーションを支援することは、加盟国レベルでは十分に達成することができず、その行動の規模又は効果に鑑み、連合レベルでよりよく達成することができることから、連合は、欧州連合条約第5条に定める補完性の原則に従って措置を講じることができる。
(177) In order to ensure legal certainty, ensure an appropriate adaptation period for operators and avoid disruption to the market, including by ensuring continuity of the use of AI systems, it is appropriate that this Regulation applies to the high-risk AI systems that have been placed on the market or put into service before the general date of application thereof, only if, from that date, those systems are subject to significant changes in their design or intended purpose. It is appropriate to clarify that, in this respect, the concept of significant change should be understood as equivalent in substance to the notion of substantial modification, which is used with regard only to high-risk AI systems pursuant to this Regulation. On an exceptional basis and in light of public accountability, operators of AI systems which are components of the large-scale IT systems established by the legal acts listed in an annex to this Regulation and operators of high-risk AI systems that are intended to be used by public authorities should, respectively, take the necessary steps to comply with the requirements of this Regulation by end of 2030 and by 2 August 2030.
(177) 法的安定性を確保し、事業者に適切な適応期間を設け、AIシステムの利用の継続性の確保を含め市場への混乱を回避するためには、本規則の一般適用日より前に上市又は運用開始されたハイリスクAIシステムについては、その適用日以後に当該システムの設計又は意図された目的に重大な変更が加えられる場合に限り、本規則を適用することが適切である。この点に関し、「重大な変更」の概念は、本規則に基づきハイリスクAIシステムについてのみ用いられる「実質的な改変」の概念と実質的に同等のものと理解すべきことを明確にすることが適切である。例外的に、かつ公的説明責任の観点から、本規則の附属書に列挙された法令により設立された大規模ITシステムの構成要素であるAIシステムの運用者、及び公的機関による使用が意図されたハイリスクAIシステムの運用者は、それぞれ、2030年末まで及び2030年8月2日までに、本規則の要件を遵守するために必要な措置を講じるべきである。
(178) Providers of high-risk AI systems are encouraged to start to comply, on a voluntary basis, with the relevant obligations of this Regulation already during the transitional period.
(178) ハイリスクAIシステムの提供者は、移行期間中であっても、自主的に本規則の関連する義務の遵守を開始することが奨励される。
(179) This Regulation should apply from 2 August 2026. However, taking into account the unacceptable risk associated with the use of AI in certain ways, the prohibitions as well as the general provisions of this Regulation should already apply from 2 February 2025. While the full effect of those prohibitions follows with the establishment of the governance and enforcement of this Regulation, anticipating the application of the prohibitions is important to take account of unacceptable risks and to have an effect on other procedures, such as in civil law. Moreover, the infrastructure related to the governance and the conformity assessment system should be operational before 2 August 2026, therefore the provisions on notified bodies and governance structure should apply from 2 August
(179) 本規則は、2026年8月2日から適用されるべきである。ただし、特定の態様によるAIの使用に伴う許容し難いリスクを考慮し、禁止事項及び本規則の一般規定は、既に2025年2月2日から適用されるべきである。これらの禁止事項の完全な効果は、本規則のガバナンス及び執行体制の確立とともに生じるものであるが、許容し難いリスクを考慮するとともに、民事法上の手続をはじめとする他の手続に影響を及ぼすためにも、禁止事項の適用を前倒しすることが重要である。さらに、ガバナンス及び適合性評価の仕組みに関連するインフラは2026年8月2日より前に稼働している必要があることから、届出機関及びガバナンス構造に関する規定は、2026年8月2日から適用されるべきである。
(180) The European Data Protection Supervisor and the European Data Protection Board were consulted in accordance with Article 42(1) and (2) of Regulation (EU) 2018/1725 and delivered their joint opinion on 18 June 2021,
(180) 欧州データ保護監督機関及び欧州データ保護会議は、規則(EU)2018/1725第42条(1)及び(2)に従い協議を受け、2021年6月18日に共同意見を発出した。

02 Chapter I: General Provisions

Article 1: Subject matter / 目的

1. The purpose of this Regulation is to improve the functioning of the internal market and promote the uptake of human-centric and trustworthy artificial intelligence (AI), while ensuring a high level of protection of health, safety, fundamental rights enshrined in the Charter, including democracy, the rule of law and environmental protection, against the harmful effects of AI systems in the Union and supporting innovation.
1. 本規則の目的は、域内市場の機能を向上させ、人間中心で信頼性の高い人工知能(AI)の普及を促進する一方で、連合におけるAIシステムの有害な影響から、健康、安全、並びに民主主義、法の支配及び環境保護を含む基本権憲章に規定された基本的権利の高い水準の保護を確保し、及びイノベーションを支援することにある。
2. This Regulation lays down:
2. 本規則は、次の事項を定める。
(a) harmonised rules for the placing on the market, the putting into service, and the use of AI systems in the Union;
(a) 連合におけるAIシステムの上市、供用開始及び使用に関する調和された規則
(b) prohibitions of certain AI practices;
(b) 一定のAI慣行の禁止
(c) specific requirements for high-risk AI systems and obligations for operators of such systems;
(c) 高リスクAIシステムに関する具体的な要件及び当該システムの運用者の義務
(d) harmonised transparency rules for certain AI systems;
(d) 一定のAIシステムに関する調和された透明性規則
(e) harmonised rules for the placing on the market of general-purpose AI models;
(e) 汎用AIモデルの上市に関する調和された規則
(f) rules on market monitoring, market surveillance, governance and enforcement;
(f) 市場モニタリング、市場監視、ガバナンス及び執行に関する規則
2026年改正(g) measures to support innovation, with a particular focus on small mid-cap enterprises (SMCs) and small and medium-sized enterprises (SMEs), including start-ups.
(g) 中小規模中堅企業(SMC)及び新興企業を含む中小企業(SME)に特に焦点を当てた、イノベーションを支援するための措置。

Article 2: Scope / 適用範囲

1. This Regulation applies to:
1. 本規則は、次の者に適用する。
(a) providers placing on the market or putting into service AI systems or placing on the market general-purpose AI models in the Union, irrespective of whether those providers are established or located within the Union or in a third country;
(a) 連合においてAIシステムを上市し若しくは供用を開始し、又は汎用AIモデルを上市する提供者。当該提供者が連合内に設立され若しくは所在するか、又は第三国に設立され若しくは所在するかを問わない。
(b) deployers of AI systems that have their place of establishment or are located within the Union;
(b) 連合内に設立場所を有し又は所在するAIシステムの配備者
(c) providers and deployers of AI systems that have their place of establishment or are located in a third country, where the output produced by the AI system is used in the Union;
(c) 第三国に設立場所を有し又は所在するAIシステムの提供者及び配備者であって、当該AIシステムが生成する出力が連合内で使用されるもの
(d) importers and distributors of AI systems;
(d) AIシステムの輸入者及び流通業者
(e) product manufacturers placing on the market or putting into service an AI system together with their product and under their own name or trademark;
(e) 自己の製品と共に、自己の名称又は商標の下でAIシステムを上市し又は供用を開始する製品製造者
(f) authorised representatives of providers, which are not established in the Union;
(f) 連合内に設立されていない提供者の授権代理人
(g) affected persons that are located in the Union.
(g) 連合内に所在する影響を受ける者
2026年改正2. For AI systems classified as high-risk AI systems in accordance with Article 6(1) related to products covered by the Union harmonisation legislation listed in Section B of Annex I, only Article 6(1), Article 60a and Articles 102 to 112 shall apply. Articles 57, 58 and 59 shall apply only in so far as the requirements for high-risk AI systems under this Regulation have been integrated in that Union harmonisation legislation.
2. 附属書IのセクションBに掲げる連合調和法令が対象とする製品に関連して第6条(1)に従って高リスクAIシステムに分類されるAIシステムについては、第6条(1)、第60a条及び第102条から第112条までのみを適用する。第57条、第58条及び第59条は、当該連合調和法令に本規則に基づく高リスクAIシステムの要件が組み込まれている限度においてのみ適用する。
3. This Regulation does not apply to areas outside the scope of Union law, and shall not, in any event, affect the competences of the Member States concerning national security, regardless of the type of entity entrusted by the Member States with carrying out tasks in relation to those competences. This Regulation does not apply to AI systems where and in so far they are placed on the market, put into service, or used with or without modification exclusively for military, defence or national security purposes, regardless of the type of entity carrying out those activities. This Regulation does not apply to AI systems which are not placed on the market or put into service in the Union, where the output is used in the Union exclusively for military, defence or national security purposes, regardless of the type of entity carrying out those activities.
3. 本規則は、連合法の適用範囲外の分野には適用されず、また、加盟国が国家安全保障に関する権限を有する事務を遂行する主体の種類にかかわらず、いかなる場合においても、国家安全保障に関する加盟国の権限に影響を及ぼすものではない。 本規則は、専ら軍事、防衛又は国家安全保障の目的のために、改変の有無を問わず上市され、供用が開始され又は使用されるAIシステムには、当該活動を行う主体の種類にかかわらず、それが行われる限りにおいて適用しない。 本規則は、連合内で上市され又は供用が開始されないAIシステムであって、その出力が専ら軍事、防衛又は国家安全保障の目的のために連合内で使用されるものには、当該活動を行う主体の種類にかかわらず適用しない。
4. This Regulation applies neither to public authorities in a third country nor to international organisations falling within the scope of this Regulation pursuant to paragraph 1, where those authorities or organisations use AI systems in the framework of international cooperation or agreements for law enforcement and judicial cooperation with the Union or with one or more Member States, provided that such a third country or international organisation provides adequate safeguards with respect to the protection of fundamental rights and freedoms of individuals.
4. 本規則は、第三国の公的機関及び第1項に基づき本規則の適用範囲に含まれる国際機関のいずれにも適用されない。ただし、これらの機関が、連合又は一若しくは複数の加盟国との法執行及び司法協力に関する国際協力又は国際協定の枠組みにおいてAIシステムを使用する場合であって、当該第三国又は国際機関が個人の基本的権利及び自由の保護に関して適切な保障措置を提供するときに限る。
5. This Regulation shall not affect the application of the provisions on the liability of providers of intermediary services as set out in Chapter II of Regulation (EU) 2022/2065.
5. 本規則は、規則(EU)2022/2065第II章に定める仲介サービス提供者の責任に関する規定の適用に影響を及ぼすものではない。
6. This Regulation does not apply to AI systems or AI models, including their output, specifically developed and put into service for the sole purpose of scientific research and development.
6. 本規則は、専ら科学研究開発の目的のために特別に開発され、供用が開始されるAIシステム又はAIモデル(その出力を含む)には適用しない。
7. Union law on the protection of personal data, privacy and the confidentiality of communications applies to personal data processed in connection with the rights and obligations laid down in this Regulation. Without prejudice to Articles 4a and 59 of this Regulation, this Regulation shall not affect Regulation (EU) 2016/679 or (EU) 2018/1725, or Directive 2002/58/EC or (EU) 2016/680.
7. 個人データ、プライバシー及び通信の秘密の保護に関する連合法は、本規則に定める権利及び義務に関連して処理される個人データに適用する。本規則第4a条及び第59条を損なうことなく、本規則は規則(EU)2016/679若しくは規則(EU)2018/1725、又は指令2002/58/EC若しくは指令(EU)2016/680に影響を及ぼさない。
8. This Regulation does not apply to any research, testing or development activity regarding AI systems or AI models prior to their being placed on the market or put into service. Such activities shall be conducted in accordance with applicable Union law. Testing in real world conditions shall not be covered by that exclusion.
8. 本規則は、AIシステム又はAIモデルの上市又は供用開始に先立つ研究、試験又は開発活動には適用しない。当該活動は、適用される連合法に従って実施されなければならない。実際の運用状況における試験は、当該除外の対象とならない。
9. This Regulation is without prejudice to the rules laid down by other Union legal acts related to consumer protection and product safety.
9. 本規則は、消費者保護及び製品安全に関連する他の連合法令が定める規則を害するものではない。
10. This Regulation does not apply to obligations of deployers who are natural persons using AI systems in the course of a purely personal non-professional activity.
10. 本規則は、専ら個人的な非職業的活動の過程でAIシステムを使用する自然人である配備者の義務には適用しない。
11. This Regulation does not preclude the Union or Member States from maintaining or introducing laws, regulations or administrative provisions which are more favourable to workers in terms of protecting their rights in respect of the use of AI systems by employers, or from encouraging or allowing the application of collective agreements which are more favourable to workers.
11. 本規則は、使用者によるAIシステムの使用に関する労働者の権利の保護の観点で労働者により有利な法律、規則若しくは行政規定を連合又は加盟国が維持し若しくは導入すること、又は労働者により有利な労働協約の適用を奨励し若しくは認めることを妨げるものではない。
12. This Regulation does not apply to AI systems released under free and open-source licences, unless they are placed on the market or put into service as high-risk AI systems or as an AI system that falls under Article 5 or 50.
12. 本規則は、フリー及びオープンソースライセンスの下で公開されるAIシステムには適用しない。ただし、当該AIシステムが高リスクAIシステムとして、又は第5条若しくは第50条の適用を受けるAIシステムとして上市され若しくは供用が開始される場合は、この限りでない。
2026年改正13. For high-risk AI systems referred to in Article 6(1), the application of specific requirements or obligations laid down in Articles 9 to 15 and 17 to 25 may be limited, where and to the extent that:
13. 第6条(1)に規定する高リスクAIシステムについては、第9条から第15条まで及び第17条から第25条までに定める特定の要件又は義務の適用を、次の場合において、かつその限度において制限することができる。
2026年改正(a) Union harmonisation legislation listed in Section A of Annex I lays down requirements or obligations providing an equivalent or higher level of protection of health, safety or fundamental rights as the requirement or obligation concerned; and
(a) 附属書IのセクションAに掲げる連合調和法令が、当該要件又は義務と同等以上の水準の健康、安全又は基本的権利の保護を定める要件又は義務を規定していること、及び
2026年改正(b) such limitation does not reduce the overall level of protection provided for by this Regulation. By 2 August 2027, the Commission shall adopt delegated acts in accordance with Article 97 in order to supplement this Regulation by specifying the high-risk AI systems concerned, the requirements or obligations that may be limited, the conditions under which such limitation applies, and the scope of the limitation.
(b) 当該制限が本規則により定める全体的な保護水準を低下させないこと。欧州委員会は、2027年8月2日までに、対象となる高リスクAIシステム、制限され得る要件若しくは義務、当該制限が適用される条件、及び当該制限の範囲を特定することにより本規則を補完するため、第97条に従って委任行為を採択する。

Article 3: Definitions / 定義

2026年改正For the purposes of this Regulation, the following definitions apply:
本規則の適用上、次の定義を適用する。
2026年改正(1) ‘AI system’ means a machine-based system that is designed to operate with varying levels of autonomy and that may exhibit adaptiveness after deployment, and that, for explicit or implicit objectives, infers, from the input it receives, how to generate outputs such as predictions, content, recommendations, or decisions that can influence physical or virtual environments;
(1) 「AIシステム」とは、様々な水準の自律性をもって動作するよう設計され、展開後に適応性を示すことがあり、明示的又は黙示的な目的のために、受け取った入力から、物理的又は仮想的環境に影響を与え得る予測、コンテンツ、勧告又は決定等の出力を生成する方法を推論する、機械ベースのシステムをいう。
2026年改正(2) ‘risk’ means the combination of the probability of an occurrence of harm and the severity of that harm;
(2) 「リスク」とは、危害発生の蓋然性と当該危害の重大性との組合せをいう。
2026年改正(3) ‘provider’ means a natural or legal person, public authority, agency or other body that develops an AI system or a generalpurpose AI model or that has an AI system or a general-purpose AI model developed and places it on the market or puts the AI system into service under its own name or trademark, whether for payment or free of charge;
(3) 「提供者」とは、AIシステム若しくは汎用AIモデルを開発する、又はAIシステム若しくは汎用AIモデルを開発させ、それを自己の名称若しくは商標の下で(有償であるか無償であるかを問わず)上市し若しくは当該AIシステムを供用開始する自然人、法人、公的機関、代理機関その他の団体をいう。
2026年改正(4) ‘deployer’ means a natural or legal person, public authority, agency or other body using an AI system under its authority except where the AI system is used in the course of a personal non-professional activity;
(4) 「配備者」とは、その権限の下でAIシステムを使用する自然人、法人、公的機関、機関その他の団体をいう。ただし、当該AIシステムが個人的な非職業的活動の過程で使用される場合を除く。
2026年改正(5) ‘authorised representative’ means a natural or legal person located or established in the Union who has received and accepted a written mandate from a provider of an AI system or a generalpurpose AI model to, respectively, perform and carry out on its behalf the obligations and procedures established by this Regulation;
(5) 「授権代理人」とは、連合内に所在し又は設立された自然人又は法人であって、AIシステム又は汎用AIモデルの提供者から、本規則が定める義務及び手続をそれぞれ当該提供者に代わって履行し及び実施する旨の書面による委任を受諾したものをいう。
2026年改正(6) ‘importer’ means a natural or legal person located or established in the Union that places on the market an AI system that bears the name or trademark of a natural or legal person established in a third country;
(6) 「輸入者」とは、第三国に設立された自然人又は法人の名称若しくは商標を付したAIシステムを連合内で上市する、連合内に所在し又は設立された自然人又は法人をいう。
2026年改正(7) ‘distributor’ means a natural or legal person in the supply chain, other than the provider or the importer, that makes an AI system available on the Union market;
(7) 「流通業者」とは、提供者及び輸入者以外の、サプライチェーンにおいて連合市場でAIシステムを供給する自然人又は法人をいう。
2026年改正(8) ‘operator’ means a provider, product manufacturer, deployer, authorised representative, importer or distributor;
(8) 「運用者」とは、提供者、製品製造者、配備者、授権代理人、輸入者又は流通業者をいう。
2026年改正(9) ‘placing on the market’ means the first making available of an AI system or a general-purpose AI model on the Union market;
(9) 「上市」とは、AIシステム又は汎用AIモデルを連合市場において初めて供給することをいう。
2026年改正(10) ‘making available on the market’ means the supply of an AI system or a general-purpose AI model for distribution or use on the Union market in the course of a commercial activity, whether in return for payment or free of charge;
(10) 「市場における供給」とは、有償又は無償を問わず、商業活動の過程で連合市場における流通又は使用のためにAIシステム又は汎用AIモデルを供給することをいう。
2026年改正(11) ‘putting into service’ means the supply of an AI system for first use directly to the deployer or for own use in the Union for its intended purpose;
(11) 「供用開始」とは、AIシステムを、その意図された目的のために、連合内で配備者に直接初めて使用させるために、又は自己使用のために供給することをいう。
(12) ‘intended purpose’ means the use for which an AI system is intended by the provider, including the specific context and conditions of use, as specified in the information supplied by the provider in the instructions for use, promotional or sales materials and statements, as well as in the technical documentation;
(12) 「意図された目的」とは、使用のための説明書、販促若しくは販売資料及び表明、並びに技術文書において提供者が提供する情報に定める、使用の具体的な文脈及び条件を含む、提供者がAIシステムを意図する使用をいう。
(13) ‘reasonably foreseeable misuse’ means the use of an AI system in a way that is not in accordance with its intended purpose, but which may result from reasonably foreseeable human behaviour or interaction with other systems, including other AI systems;
(13) 「合理的に予見可能な誤用」とは、AIシステムをその意図された目的に従わない方法で使用することであって、合理的に予見可能な人間の行動又は他のAIシステムを含む他のシステムとの相互作用から生じ得るものをいう。
2026年改正(14) ‘safety component’ means a component of a product or of an AI system which fulfils a safety function for that product or AI system, or the failure or malfunctioning of which endangers the health and safety of persons or property; for the purposes of this definition, a component fulfils a safety function where its intended purpose is to prevent or mitigate risks to health and safety of persons or property;
(14) 「安全部品」とは、製品又はAIシステムの構成部品であって、当該製品若しくはAIシステムについて安全機能を果たすもの、又はその故障若しくは誤作動が人の健康及び安全若しくは財産に危険を及ぼすものをいう。本定義の適用上、ある構成部品は、その意図された目的が人の健康及び安全又は財産に対するリスクを防止し又は低減することである場合に、安全機能を果たすものとする。
2026年改正(14a) ‘micro, small and medium-sized enterprise’ or ‘SME’ means a micro, small or medium-sized enterprise as defined in Article 2 of the Annex to Recommendation 2003/361/EC;
(14a) 「零細・小規模・中規模企業」又は「SME」とは、勧告2003/361/ECの附属書第2条に定義する零細企業、小規模企業又は中規模企業をいう。
2026年改正(14b) ‘small mid-cap enterprise’ or ‘SMC’ means a small mid-cap enterprise as defined in point (2) of the Annex to Recommendation (EU) 2025/1099;
(14b) 「中小規模中堅企業」又は「SMC」とは、勧告(EU)2025/1099の附属書第2号に定義する中小規模中堅企業をいう。
(15) ‘instructions for use’ means the information provided by the provider to inform the deployer of, in particular, an AI system’s intended purpose and proper use;
(15) 「使用のための説明書」とは、特に、AIシステムの意図された目的及び適正な使用について配備者に周知するために提供者が提供する情報をいう。
(16) ‘recall of an AI system’ means any measure aiming to achieve the return to the provider or taking out of service or disabling the use of an AI system made available to deployers;
(16) 「AIシステムのリコール」とは、配備者に供給されたAIシステムを提供者に返還させ、若しくは供用を停止させ、又はその使用を無効にすることを目的とするあらゆる措置をいう。
(17) ‘withdrawal of an AI system’ means any measure aiming to prevent an AI system in the supply chain being made available on the market;
(17) 「AIシステムの回収」とは、サプライチェーンにあるAIシステムが市場で供給されることを防止することを目的とするあらゆる措置をいう。
(18) ‘performance of an AI system’ means the ability of an AI system to achieve its intended purpose;
(18) 「AIシステムの性能」とは、AIシステムがその意図された目的を達成する能力をいう。
(19) ‘notifying authority’ means the national authority responsible for setting up and carrying out the necessary procedures for the assessment, designation and notification of conformity assessment bodies and for their monitoring;
(19) 「届出当局」とは、適合性評価機関の評価、指定及び通知のために必要な手続並びにその監督のために必要な手続を確立し及び実施することについて責任を負う国内当局をいう。
(20) ‘conformity assessment’ means the process of demonstrating whether the requirements set out in Chapter III, Section 2 relating to a high-risk AI system have been fulfilled;
(20) 「適合性評価」とは、高リスクAIシステムに関する第III章第2節に定める要件が満たされているか否かを実証する手続をいう。
(21) ‘conformity assessment body’ means a body that performs third-party conformity assessment activities, including testing, certification and inspection;
(21) 「適合性評価機関」とは、試験、認証及び検査を含む第三者適合性評価活動を行う機関をいう。
(22) ‘notified body’ means a conformity assessment body notified in accordance with this Regulation and other relevant Union harmonisation legislation;
(22) 「認証機関」とは、本規則及び関連する他の連合調和法制に従って通知された適合性評価機関をいう。
(23) ‘substantial modification’ means a change to an AI system after its placing on the market or putting into service which is not foreseen or planned in the initial conformity assessment carried out by the provider and as a result of which the compliance of the AI system with the requirements set out in Chapter III, Section 2 is affected or results in a modification to the intended purpose for which the AI system has been assessed;
(23) 「重大な改変」とは、AIシステムの上市又は供用開始後の変更であって、提供者が実施した当初の適合性評価において予見又は計画されていなかったもの、及びその結果として、第III章第2節に定める要件へのAIシステムの適合性に影響を及ぼすもの、又はAIシステムの評価対象であった意図された目的の変更をもたらすものをいう。
(24) ‘CE marking’ means a marking by which a provider indicates that an AI system is in conformity with the requirements set out in Chapter III, Section 2 and other applicable Union harmonisation legislation providing for its affixing;
(24) 「CEマーキング」とは、提供者が、AIシステムが第III章第2節に定める要件及びその貼付を規定する他の適用ある連合調和法制に適合していることを示すために付す標章をいう。
(25) ‘post-market monitoring system’ means all activities carried out by providers of AI systems to collect and review experience gained from the use of AI systems they place on the market or put into service for the purpose of identifying any need to immediately apply any necessary corrective or preventive actions;
(25) 「市場投入後モニタリングシステム」とは、AIシステムの提供者が、上市又は供用開始したAIシステムの使用から得られる経験を収集し及び検討し、必要な是正措置又は予防措置を直ちに適用する必要性の有無を特定する目的で行うすべての活動をいう。
(26) ‘market surveillance authority’ means the national authority carrying out the activities and taking the measures pursuant to Regulation (EU) 2019/1020;
(26) 「市場監視当局」とは、規則(EU)2019/1020に基づく活動を行い及び措置を講じる国内当局をいう。
(27) ‘harmonised standard’ means a harmonised standard as defined in Article 2(1), point (c), of Regulation (EU) No 1025/2012;
(27) 「調和規格」とは、規則(EU)No 1025/2012第2条第1項(c)に定義する調和規格をいう。
(28) ‘common specification’ means a set of technical specifications as defined in Article 2, point (4) of Regulation (EU) No 1025/2012, providing means to comply with certain requirements established under this Regulation;
(28) 「共通仕様」とは、規則(EU)No 1025/2012第2条第4号に定義する技術仕様の集合であって、本規則に基づき定められた一定の要件に適合するための手段を提供するものをいう。
(29) ‘training data’ means data used for training an AI system through fitting its learnable parameters;
(29) 「訓練データ」とは、AIシステムの学習可能なパラメータを適合させることによって当該AIシステムを訓練するために使用されるデータをいう。
(30) ‘validation data’ means data used for providing an evaluation of the trained AI system and for tuning its non-learnable parameters and its learning process in order, inter alia, to prevent underfitting or overfitting;
(30) 「検証データ」とは、訓練されたAIシステムの評価を行い、とりわけ過少適合又は過剰適合を防止するために、その学習不可能なパラメータ及びその学習過程を調整するために使用されるデータをいう。
(31) ‘validation data set’ means a separate data set or part of the training data set, either as a fixed or variable split;
(31) 「検証データセット」とは、固定又は可変の分割のいずれかによる、別個のデータセット又は訓練データセットの一部をいう。
(32) ‘testing data’ means data used for providing an independent evaluation of the AI system in order to confirm the expected performance of that system before its placing on the market or putting into service;
(32) 「試験データ」とは、AIシステムの上市又は供用開始前に、当該システムの期待される性能を確認するために、当該AIシステムの独立した評価を行うために使用されるデータをいう。
(33) ‘input data’ means data provided to or directly acquired by an AI system on the basis of which the system produces an output;
(33) 「入力データ」とは、AIシステムに提供され又は当該システムにより直接取得されるデータであって、当該システムがこれに基づき出力を生成するものをいう。
(34) ‘biometric data’ means personal data resulting from specific technical processing relating to the physical, physiological or behavioural characteristics of a natural person, such as facial images or dactyloscopic data;
(34) 「生体データ」とは、自然人の身体的、生理的又は行動的特徴に関する特定の技術的処理から生じる個人データをいい、顔画像又は指紋データ等がこれに含まれる。
(35) ‘biometric identification’ means the automated recognition of physical, physiological, behavioural, or psychological human features for the purpose of establishing the identity of a natural person by comparing biometric data of that individual to biometric data of individuals stored in a database;
(35) 「生体識別」とは、ある個人の生体データを、データベースに保存された個人の生体データと比較することにより、当該自然人の身元を確定する目的で行う、身体的、生理的、行動的又は心理的な人的特徴の自動認識をいう。
(36) ‘biometric verification’ means the automated, one-to-one verification, including authentication, of the identity of natural persons by comparing their biometric data to previously provided biometric data;
(36) 「生体照合」とは、自然人の生体データを事前に提供された生体データと比較することにより、当該自然人の身元(認証を含む)を自動で1対1で確認することをいう。
(37) ‘special categories of personal data’ means the categories of personal data referred to in Article 9(1) of Regulation (EU) 2016/679, Article 10 of Directive (EU) 2016/680 and Article 10(1) of Regulation (EU) 2018/1725;
(37) 「機微な個人データの種類」とは、規則(EU)2016/679第9条第1項、指令(EU)2016/680第10条及び規則(EU)2018/1725第10条第1項に規定する個人データの種類をいう。
(38) ‘sensitive operational data’ means operational data related to activities of prevention, detection, investigation or prosecution of criminal offences, the disclosure of which could jeopardise the integrity of criminal proceedings;
(38) 「機微な運用データ」とは、犯罪の防止、探知、捜査又は訴追の活動に関連する運用データであって、その開示が刑事手続の公正性を損なうおそれのあるものをいう。
(39) ‘emotion recognition system’ means an AI system for the purpose of identifying or inferring emotions or intentions of natural persons on the basis of their biometric data;
(39) 「感情認識システム」とは、自然人の生体データに基づき、当該自然人の感情又は意図を特定し又は推論する目的のAIシステムをいう。
(40) ‘biometric categorisation system’ means an AI system for the purpose of assigning natural persons to specific categories on the basis of their biometric data, unless it is ancillary to another commercial service and strictly necessary for objective technical reasons;
(40) 「生体分類システム」とは、自然人の生体データに基づき、当該自然人を特定の分類に割り当てる目的のAIシステムをいう。ただし、他の商業的サービスに付随し、客観的な技術上の理由から厳格に必要なものを除く。
(41) ‘remote biometric identification system’ means an AI system for the purpose of identifying natural persons, without their active involvement, typically at a distance through the comparison of a person’s biometric data with the biometric data contained in a reference database;
(41) 「遠隔生体識別システム」とは、通常は距離を置いて、ある人物の生体データを参照データベースに含まれる生体データと比較することにより、その積極的な関与を伴うことなく自然人を識別する目的のAIシステムをいう。
(42) ‘real-time remote biometric identification system’ means a remote biometric identification system, whereby the capturing of biometric data, the comparison and the identification all occur without a significant delay, comprising not only instant identification, but also limited short delays in order to avoid circumvention;
(42) 「リアルタイム遠隔生体識別システム」とは、生体データの取得、比較及び識別のすべてが大幅な遅延なく行われる遠隔生体識別システムをいい、即時の識別のみならず、回避を防ぐための短い遅延を伴うものも含む。
(43) ‘post-remote biometric identification system’ means a remote biometric identification system other than a real-time remote biometric identification system;
(43) 「事後的遠隔生体識別システム」とは、リアルタイム遠隔生体識別システム以外の遠隔生体識別システムをいう。
(44) ‘publicly accessible space’ means any publicly or privately owned physical place accessible to an undetermined number of natural persons, regardless of whether certain conditions for access may apply, and regardless of the potential capacity restrictions;
(44) 「公衆がアクセス可能な空間」とは、公有又は私有を問わず、不特定多数の自然人がアクセス可能な物理的な場所をいい、アクセスに一定の条件が適用され得るか否か、及び収容能力の制限があり得るか否かを問わない。
(45) ‘law enforcement authority’ means:
(45) 「法執行当局」とは、次のいずれかをいう。
(a) any public authority competent for the prevention, investigation, detection or prosecution of criminal offences or the execution of criminal penalties, including the safeguarding against and the prevention of threats to public security; or
(a) 犯罪の防止、捜査、探知若しくは訴追、又は刑罰の執行(公共の安全に対する脅威からの防護及びその防止を含む)について権限を有する公的機関
(b) any other body or entity entrusted by Member State law to exercise public authority and public powers for the purposes of the prevention, investigation, detection or prosecution of criminal offences or the execution of criminal penalties, including the safeguarding against and the prevention of threats to public security;
(b) 犯罪の防止、捜査、探知若しくは訴追、又は刑罰の執行(公共の安全に対する脅威からの防護及びその防止を含む)の目的のために、公権力及び公的な権限を行使することを加盟国法により委任された他の団体又は事業体
(46) ‘law enforcement’ means activities carried out by law enforcement authorities or on their behalf for the prevention, investigation, detection or prosecution of criminal offences or the execution of criminal penalties, including safeguarding against and preventing threats to public security;
(46) 「法執行」とは、法執行当局により又はその代理として行われる、犯罪の防止、捜査、探知若しくは訴追、又は刑罰の執行(公共の安全に対する脅威からの防護及びその防止を含む)のための活動をいう。
(47) ‘AI Office’ means the Commission’s function of contributing to the implementation, monitoring and supervision of AI systems and general-purpose AI models, and AI governance, provided for in Commission Decision of 24 January 2024; references in this Regulation to the AI Office shall be construed as references to the Commission;
(47) 「AI室」とは、2024年1月24日付欧州委員会決定に規定される、AIシステム及び汎用AIモデルの実施、モニタリング及び監督、並びにAIガバナンスへの貢献という欧州委員会の機能をいう。本規則においてAI室への言及は、欧州委員会への言及と解釈するものとする。
(48) ‘national competent authority’ means a notifying authority or a market surveillance authority; as regards AI systems put into service or used by Union institutions, agencies, offices and bodies, references to national competent authorities or market surveillance authorities in this Regulation shall be construed as references to the European Data Protection Supervisor;
(48) 「国内管轄当局」とは、届出当局又は市場監視当局をいう。連合の機関、機関、事務所及び団体が供用を開始し又は使用するAIシステムに関しては、本規則における国内管轄当局又は市場監視当局への言及は、欧州データ保護監督機関への言及と解釈するものとする。
(49) ‘serious incident’ means an incident or malfunctioning of an AI system that directly or indirectly leads to any of the following:
(49) 「重大インシデント」とは、AIシステムのインシデント又は誤作動であって、直接又は間接に次のいずれかを引き起こすものをいう。
(a) the death of a person, or serious harm to a person’s health;
(a) 人の死亡又は人の健康に対する重大な危害
(b) a serious and irreversible disruption of the management or operation of critical infrastructure;
(b) 重要インフラの管理又は運用の重大かつ不可逆的な混乱
(c) the infringement of obligations under Union law intended to protect fundamental rights;
(c) 基本的権利の保護を意図した連合法上の義務の違反
(d) serious harm to property or the environment;
(d) 財産又は環境に対する重大な危害
(50) ‘personal data’ means personal data as defined in Article 4, point (1), of Regulation (EU) 2016/679;
(50) 「個人データ」とは、規則(EU)2016/679第4条第1号に定義する個人データをいう。
(51) ‘non-personal data’ means data other than personal data as defined in Article 4, point (1), of Regulation (EU) 2016/679;
(51) 「非個人データ」とは、規則(EU)2016/679第4条第1号に定義する個人データ以外のデータをいう。
(52) ‘profiling’ means profiling as defined in Article 4, point (4), of Regulation (EU) 2016/679;
(52) 「プロファイリング」とは、規則(EU)2016/679第4条第4号に定義するプロファイリングをいう。
(53) ‘real-world testing plan’ means a document that describes the objectives, methodology, geographical, population and temporal scope, monitoring, organisation and conduct of testing in real-world conditions;
(53) 「実世界試験計画」とは、実世界の状況における試験の目的、方法論、地理的、対象者及び時間的範囲、モニタリング、組織及び実施を記述した文書をいう。
(54) ‘sandbox plan’ means a document agreed between the participating provider and the competent authority describing the objectives, conditions, timeframe, methodology and requirements for the activities carried out within the sandbox;
(54) 「サンドボックス計画」とは、参加する提供者と管轄当局との間で合意された、サンドボックス内で実施される活動の目的、条件、期間、方法論及び要件を記述した文書をいう。
(55) ‘AI regulatory sandbox’ means a controlled framework set up by a competent authority which offers providers or prospective providers of AI systems the possibility to develop, train, validate and test, where appropriate in real-world conditions, an innovative AI system, pursuant to a sandbox plan for a limited time under regulatory supervision;
(55) 「AI規制サンドボックス」とは、管轄当局が設置する管理された枠組みであって、AIシステムの提供者又は提供者となる可能性のある者に対し、サンドボックス計画に従い、規制上の監督の下で限られた期間内に、必要に応じて実世界の状況において、革新的なAIシステムを開発し、訓練し、検証し及び試験する機会を提供するものをいう。
(56) ‘AI literacy’ means skills, knowledge and understanding that allow providers, deployers and affected persons, taking into account their respective rights and obligations in the context of this Regulation, to make an informed deployment of AI systems, as well as to gain awareness about the opportunities and risks of AI and possible harm it can cause;
(56) 「AIリテラシー」とは、提供者、配備者及び影響を受ける者が、本規則の文脈におけるそれぞれの権利及び義務を考慮して、AIシステムの十分な情報に基づいた配備を行い、並びにAIの機会及びリスク並びにそれが引き起こし得る危害についての認識を得ることを可能にする技能、知識及び理解をいう。
(57) ‘testing in real-world conditions’ means the temporary testing of an AI system for its intended purpose in real-world conditions outside a laboratory or otherwise simulated environment, with a view to gathering reliable and robust data and to assessing and verifying the conformity of the AI system with the requirements of this Regulation and it does not qualify as placing the AI system on the market or putting it into service within the meaning of this Regulation, provided that all the conditions laid down in Article 57 or 60 are fulfilled;
(57) 「実世界の状況における試験」とは、AIシステムをその意図された目的について、実験室又はその他のシミュレーション環境の外部の実世界の状況において、信頼性が高く堅牢なデータを収集し、並びに本規則の要件に対する当該AIシステムの適合性を評価し及び検証することを目的として、一時的に試験することをいい、第57条又は第60条に定めるすべての条件が満たされる限り、本規則の意味における当該AIシステムの上市又は供用開始には該当しない。
(58) ‘subject’, for the purpose of real-world testing, means a natural person who participates in testing in real-world conditions;
(58) 「対象者」とは、実世界試験の目的上、実世界の状況における試験に参加する自然人をいう。
(59) ‘informed consent’ means a subject’s freely given, specific, unambiguous and voluntary expression of his or her willingness to participate in a particular testing in real-world conditions, after having been informed of all aspects of the testing that are relevant to the subject’s decision to participate;
(59) 「インフォームド・コンセント」とは、対象者が、その参加の決定に関連する試験のすべての側面について情報提供を受けた後に行う、特定の実世界の状況における試験への参加意思についての、自由に与えられ、具体的で、明確かつ任意の表明をいう。
(60) ‘deep fake’ means AI-generated or manipulated image, audio or video content that resembles existing persons, objects, places, entities or events and would falsely appear to a person to be authentic or truthful;
(60) 「ディープフェイク」とは、既存の人物、物、場所、団体又は事象に類似し、真正又は真実であるかのように人に誤って認識させるおそれのある、AIにより生成され又は加工された画像、音声又は映像コンテンツをいう。
(61) ‘widespread infringement’ means any act or omission contrary to Union law protecting the interest of individuals, which:
(61) 「広範な違反」とは、個人の利益を保護する連合法に反するあらゆる作為又は不作為であって、次のいずれかに該当するものをいう。
(a) has harmed or is likely to harm the collective interests of individuals residing in at least two Member States other than the Member State in which:
(a) 次のいずれかに該当する加盟国以外の、少なくとも2つの加盟国に居住する個人の集合的利益を害し、又は害するおそれのあるもの
(i) the act or omission originated or took place;
(i) 当該作為又は不作為が発生し又は行われた加盟国
(ii) the provider concerned, or, where applicable, its authorised representative is located or established; or
(ii) 関係する提供者、又は該当する場合はその授権代理人が所在し若しくは設立された加盟国
(iii) the deployer is established, when the infringement is committed by the deployer;
(iii) 違反が配備者によって行われた場合における当該配備者が設立された加盟国
(b) has caused, causes or is likely to cause harm to the collective interests of individuals and has common features, including the same unlawful practice or the same interest being infringed, and is occurring concurrently, committed by the same operator, in at least three Member States;
(b) 個人の集合的利益に対して危害を及ぼし、若しくは及ぼしており、又は及ぼすおそれがあり、かつ、同一の違法行為若しくは同一の利益侵害等の共通の特徴を有し、少なくとも3つの加盟国において同一の運用者により同時に行われているもの
(62) ‘critical infrastructure’ means critical infrastructure as defined in Article 2, point (4), of Directive (EU) 2022/2557;
(62) 「重要インフラ」とは、指令(EU)2022/2557第2条第4号に定義する重要インフラをいう。
(63) ‘general-purpose AI model’ means an AI model, including where such an AI model is trained with a large amount of data using self-supervision at scale, that displays significant generality and is capable of competently performing a wide range of distinct tasks regardless of the way the model is placed on the market and that can be integrated into a variety of downstream systems or applications, except AI models that are used for research, development or prototyping activities before they are placed on the market;
(63) 「汎用AIモデル」とは、大規模な自己教師あり学習により大量のデータを用いて訓練された場合を含め、著しい汎用性を示し、当該モデルが上市される方法にかかわらず、広範囲にわたる別個のタスクを高い能力で遂行することができ、かつ、様々な下流のシステム又はアプリケーションに統合され得るAIモデルをいう。ただし、上市前の研究、開発又はプロトタイピング活動のために使用されるAIモデルを除く。
(64) ‘high-impact capabilities’ means capabilities that match or exceed the capabilities recorded in the most advanced general-purpose AI models;
(64) 「高影響力の能力」とは、最も先進的な汎用AIモデルにおいて記録された能力に匹敵し又はこれを上回る能力をいう。
(65) ‘systemic risk’ means a risk that is specific to the high-impact capabilities of general-purpose AI models, having a significant impact on the Union market due to their reach, or due to actual or reasonably foreseeable negative effects on public health, safety, public security, fundamental rights, or the society as a whole, that can be propagated at scale across the value chain;
(65) 「システミックリスク」とは、汎用AIモデルの高影響力の能力に特有のリスクであって、その到達範囲により連合市場に重大な影響を及ぼすもの、又は公衆衛生、安全、公共の安全、基本的権利若しくは社会全体に対する現実の若しくは合理的に予見可能な負の影響により、バリューチェーン全体にわたって大規模に伝播し得るものをいう。
(66) ‘general-purpose AI system’ means an AI system which is based on a general-purpose AI model and which has the capability to serve a variety of purposes, both for direct use as well as for integration in other AI systems;
(66) 「汎用AIシステム」とは、汎用AIモデルに基づき、直接の使用のためであるか他のAIシステムへの統合のためであるかを問わず、様々な目的に供する能力を有するAIシステムをいう。
(67) ‘floating-point operation’ means any mathematical operation or assignment involving floating-point numbers, which are a subset of the real numbers typically represented on computers by an integer of fixed precision scaled by an integer exponent of a fixed base;
(67) 「浮動小数点演算」とは、浮動小数点数(通常、固定精度の整数を固定の底の整数指数でスケーリングしてコンピュータ上で表現される実数の部分集合)を伴う数学的演算又は代入をいう。
(68) ‘downstream provider’ means a provider of an AI system, including a general-purpose AI system, which integrates an AI model, regardless of whether the AI model is provided by themselves and vertically integrated or provided by another entity based on contractual relations.
(68) 「下流提供者」とは、AIモデルを統合するAIシステム(汎用AIシステムを含む)の提供者をいい、当該AIモデルが当該提供者自身により提供され垂直統合されたものであるか、契約関係に基づき他の事業体により提供されたものであるかを問わない。

Article 4: AI literacy / AIリテラシー

2026年改正1. Providers and deployers of AI systems shall take measures to support the development of AI literacy of their staff and other persons dealing with the operation and use of AI systems on their behalf, taking into account their technical knowledge, experience, education and training and the context the AI systems are to be used in, and considering the persons or groups of persons on whom the AI systems are to be used. This obligation does not require providers or deployers to guarantee any specific level of AI literacy of any individual.
1. AIシステムの提供者及び配備者は、その職員その他自己に代わってAIシステムの運用及び使用を担う者について、その技術的知識、経験、教育及び訓練、並びに当該AIシステムが使用される予定の状況を考慮し、かつ、当該AIシステムの使用対象となる者又は人の集団を考慮の上、そのAIリテラシーの向上を支援するための措置を講じなければならない。この義務は、提供者又は配備者に対し、個々の者について特定水準のAIリテラシーを保証することを求めるものではない。
2026年改正2. The Commission and the Member States shall support and facilitate the efforts of providers and deployers of AI systems, in particular SMEs, in fulfilling their obligation under paragraph 1 of this Article. For that purpose, the Commission shall publish practical examples of how to comply with that obligation on the single information platform referred to in Article 62(3), point (b).
2. 欧州委員会及び加盟国は、AIシステムの提供者及び配備者(特に中小企業)が本条第1項に基づく義務を履行する取組を支援し及び促進する。そのため、欧州委員会は、当該義務の遵守方法に関する実例を、第62条(3)(b)にいう単一情報プラットフォームにおいて公表する。
3. The Board shall adopt recommendations, taking into account European competence frameworks, to support the Commission and Member States in the promotion of AI literacy required under paragraph 1, including by setting out common objectives.
3. 理事会は、第1項に基づき求められるAIリテラシーの促進において欧州委員会及び加盟国を支援するため、欧州の能力枠組みを考慮しつつ、共通の目標の設定を含む勧告を採択する。

Article 4a: Processing of special categories of personal data for bias detection and correction / バイアスの検知及び是正のための特別な種類の個人データの処理 新設条文(2026年)

1. To the extent strictly necessary to ensure bias detection and correction in relation to high-risk AI systems in accordance with Article 10(2), points (f) and (g), of this Regulation, providers of such systems may exceptionally process special categories of personal data, subject to appropriate safeguards for the fundamental rights and freedoms of natural persons. In addition to the provisions set out in Regulations (EU) 2016/679 and (EU) 2018/1725 and Directive (EU) 2016/680, as applicable, all the following conditions shall be met in order for such processing to occur:
1. 第10条(2)(f)及び(g)に従い高リスクAIシステムに関するバイアスの検知及び是正を確保するために厳密に必要な限度において、当該システムの提供者は、自然人の基本的権利及び自由の保護のための適切な保護措置を条件として、特別な種類の個人データを例外的に処理することができる。規則(EU)2016/679及び規則(EU)2018/1725並びに(該当する場合)指令(EU)2016/680に定める規定に加えて、当該処理が行われるためには、次の全ての条件が満たされなければならない。
(a) the bias detection and correction cannot be effectively fulfilled by processing other data, including synthetic or anonymised data;
(a) 偏りの検知及び是正が、合成データ又は匿名化データを含む他のデータの処理によっては効果的に達成し得ないこと
(b) the special categories of personal data are subject to technical limitations on the re-use of personal data, and state-of-the-art security and privacy-preserving measures, including pseudonymisation;
(b) 当該特別な種類の個人データが、個人データの再利用に関する技術的制限、及び仮名化を含む最新の安全性・プライバシー保護措置の対象となること。
(c) the special categories of personal data are subject to measures to ensure that the personal data processed are secured and protected, subject to suitable safeguards, including strict controls and documentation of the access, to avoid misuse and to ensure that only authorised persons have access to those personal data with appropriate confidentiality obligations;
(c) 当該特別な種類の個人データが、悪用を回避し、かつ適切な守秘義務を負う権限を有する者のみが当該個人データにアクセスできることを確保するため、アクセスの厳格な管理及び記録を含む、適切な保護措置を条件として、処理される個人データが安全に保護されることを確保するための措置の対象となること。
(d) the special categories of personal data are not transmitted, transferred or otherwise accessed by other parties;
(d) 当該特別な種類の個人データが、他の当事者に送信され、移転され、又はその他の方法でアクセスされないこと。
(e) the special categories of personal data are deleted once the bias has been corrected or the personal data has reached the end of its retention period, whichever comes first; and
(e) 当該特別な種類の個人データが、バイアスが是正された時点又は当該個人データがその保存期間の終期に達した時点のいずれか早い時点で削除されること、及び
(f) the records of processing activities pursuant to Regulations (EU) 2016/679 and (EU) 2018/1725 and Directive (EU) 2016/680 include the reasons why the processing of special categories of personal data was strictly necessary to detect and correct biases, and why that objective could not be achieved by processing other data.
(f) 規則(EU)2016/679及び規則(EU)2018/1725並びに指令(EU)2016/680に基づく取扱い活動の記録に、特別な種類の個人データの取扱いが偏りの検知及び是正のために厳密に必要であった理由、及び当該目的が他のデータの処理によっては達成し得なかった理由が含まれること
2. Providers and deployers of other AI systems and models and deployers of high-risk AI systems may exceptionally process special categories of personal data to the extent that:
2. 他のAIシステム及びモデルの提供者及び配備者、並びに高リスクAIシステムの配備者は、次の限度において特別な種類の個人データを例外的に処理することができる。
(a) such processing is strictly necessary to ensure bias detection and correction in view of possible biases that are likely to affect the health and safety of persons, have a negative impact on fundamental rights or lead to discrimination prohibited pursuant to Union law, especially where data outputs influence inputs for future operations; and
(a) 当該処理が、人の健康及び安全に影響を及ぼし、基本的権利に負の影響を与え、又は連合法上禁止される差別につながるおそれのある潜在的なバイアスに鑑み、バイアスの検知及び是正を確保するために厳密に必要であること(特に、データの出力が将来の運用の入力に影響を与える場合)、及び
(b) all of the conditions and safeguards set out in paragraph 1 are applied.
(b) 第1項に定める全ての条件及び保護措置が適用されていること。
2026年改正This paragraph does not create any obligation to conduct such bias detection and correction.
本項は、当該バイアスの検知及び是正を実施する義務を何ら生じさせるものではない。

03 Chapter II: Prohibited AI Practices

Article 5: Prohibited AI practices / 禁止されるAI慣行

1. The following AI practices shall be prohibited:
1. 次のAI慣行は禁止される。
(a) the placing on the market, the putting into service or the use of an AI system that deploys subliminal techniques beyond a person’s consciousness or purposefully manipulative or deceptive techniques, with the objective, or the effect of materially distorting the behaviour of a person or a group of persons by appreciably impairing their ability to make an informed decision, thereby causing them to take a decision that they would not have otherwise taken in a manner that causes or is reasonably likely to cause that person, another person or group of persons significant harm;
(a) 人の意識を超えたサブリミナル技術、又は意図的に操作的若しくは欺瞞的な技術を用い、人若しくは人の集団の十分な情報に基づく意思決定を行う能力を著しく損なうことにより、当該人若しくは人の集団の行動を実質的に歪め、その結果、当該人がそうでなければ行わなかったであろう決定を行わせることを目的とし、又はそのような効果を有し、それにより当該人、他の人若しくは人の集団に重大な危害を及ぼし又は合理的に及ぼすおそれのある態様で行われるAIシステムの上市、供用開始又は使用
(b) the placing on the market, the putting into service or the use of an AI system that exploits any of the vulnerabilities of a natural person or a specific group of persons due to their age, disability or a specific social or economic situation, with the objective, or the effect, of materially distorting the behaviour of that person or a person belonging to that group in a manner that causes or is reasonably likely to cause that person or another person significant harm;
(b) 年齢、障害又は特定の社会的若しくは経済的状況による自然人若しくは特定の集団の脆弱性を利用し、当該人若しくは当該集団に属する人の行動を実質的に歪めることを目的とし、又はそのような効果を有し、それにより当該人若しくは他の人に重大な危害を及ぼし又は合理的に及ぼすおそれのある態様で行われるAIシステムの上市、供用開始又は使用
2026年改正(ba) the placing on the market, the putting into service or the use of an AI system that generates or manipulates realistic images, videos, audio or similar material of an identifiable natural person’s intimate parts, or of an identifiable natural person engaged in sexually explicit activities, without that person’s freely-given, specific, informed, unambiguous and explicit consent for that generation or manipulation;
(ba) 識別可能な自然人の陰部、又は性的に露骨な行為に従事する識別可能な自然人の、現実的な画像、動画、音声その他これらに類する素材を、本人の当該生成又は加工についての自由に与えられた、具体的で、十分な情報に基づく、明確かつ明示的な同意なしに生成し若しくは加工するAIシステムの上市、供用開始又は使用
2026年改正(bb) the placing on the market, the putting into service or the use of an AI system that generates or manipulates material or performance within the meaning of Article 2, points (c) and (e), of Directive 2011/93/EU, except where a ‘without right’ defence applies under national law;
(bb) 指令2011/93/EU第2条(c)及び(e)の意味における素材又は表現を生成し若しくは加工するAIシステムの上市、供用開始又は使用。ただし、国内法上「権利なく行われた」場合の抗弁が適用される場合を除く。
(c) the placing on the market, the putting into service or the use of AI systems for the evaluation or classification of natural persons or groups of persons over a certain period of time based on their social behaviour or known, inferred or predicted personal or personality characteristics, with the social score leading to either or both of the following:
(c) 自然人又は人の集団の社会的行動、又は既知の、推論された若しくは予測された個人的特性若しくは人格的特性に基づき、一定期間にわたって自然人又は人の集団を評価し又は分類するためのAIシステムであって、当該ソーシャルスコアが次のいずれか又は双方をもたらすものの上市、供用開始又は使用
(i) detrimental or unfavourable treatment of certain natural persons or groups of persons in social contexts that are unrelated to the contexts in which the data was originally generated or collected;
(i) 当該データが当初生成され又は収集された文脈とは無関係な社会的文脈における、特定の自然人又は人の集団に対する不利益若しくは不利な取扱い
2026年改正(ii) detrimental or unfavourable treatment of certain natural persons or groups of persons that is unjustified or disproportionate to their social behaviour or its gravity;
(ii) 特定の自然人又は人の集団の社会的行動又はその重大性に照らして不当又は不均衡な、当該者に対する不利益若しくは不利な取扱い
2026年改正(d) the placing on the market, the putting into service for this specific purpose, or the use of an AI system for making risk assessments of natural persons in order to assess or predict the risk of a natural person committing a criminal offence, based solely on the profiling of a natural person or on assessing their personality traits and characteristics; this prohibition shall not apply to AI systems used to support the human assessment of the involvement of a person in a criminal activity, which is already based on objective and verifiable facts directly linked to a criminal activity;
(d) 専ら自然人のプロファイリング又はその人格的特性の評価にのみ基づき、自然人が犯罪を行うリスクを評価し若しくは予測するために自然人のリスク評価を行うためのAIシステムの、当該特定の目的のための上市、供用開始又は使用。ただし、この禁止は、犯罪行為に直接関連する客観的かつ検証可能な事実に既に基づく、犯罪行為への人の関与に関する人による評価を支援するために使用されるAIシステムには適用しない。
2026年改正(e) the placing on the market, the putting into service for this specific purpose, or the use of AI systems that create or expand facial recognition databases through the untargeted scraping of facial images from the internet or CCTV footage;
(e) インターネット又は監視カメラ映像からの無差別なスクレイピングにより顔画像データベースを作成し又は拡張するためのAIシステムの、当該特定の目的のための上市、供用開始又は使用
2026年改正(f) the placing on the market, the putting into service for this specific purpose, or the use of AI systems to infer emotions of a natural person in the areas of workplace and education institutions, except where the use of the AI system is intended to be put in place or into the market for medical or safety reasons;
(f) 職場及び教育機関の分野において自然人の感情を推論するためのAIシステムの、当該特定の目的のための上市、供用開始又は使用。ただし、当該AIシステムの使用が医療上又は安全上の理由のために市場に投入され又は供用開始されることを意図する場合を除く。
2026年改正(g) the placing on the market, the putting into service for this specific purpose, or the use of biometric categorisation systems that categorise individually natural persons based on their biometric data to deduce or infer their race, political opinions, trade union membership, religious or philosophical beliefs, sex life or sexual orientation; this prohibition does not cover any labelling or filtering of lawfully acquired biometric datasets, such as images, based on biometric data or categorizing of biometric data in the area of law enforcement;
(g) 自然人の生体データに基づき、その人種、政治的意見、労働組合への加入、宗教的若しくは哲学的信条、性生活又は性的指向を推論し若しくは推定するために自然人を個別に分類する生体分類システムの、当該特定の目的のための上市、供用開始又は使用。ただし、この禁止は、適法に取得された画像等の生体データセットの生体データに基づくラベリング若しくはフィルタリング、又は法執行の分野における生体データの分類には及ばない。
2026年改正(h) the use of ‘real-time’ remote biometric identification systems in publicly accessible spaces for the purposes of law enforcement, unless and in so far as such use is strictly necessary for one of the following objectives:
(h) 法執行の目的のために、公衆がアクセス可能な空間における「リアルタイム」遠隔生体識別システムの使用。ただし、次のいずれかの目的のために厳格に必要である限りにおいて、かつその限りにおいて使用する場合を除く。
2026年改正(i) the targeted search for specific victims of abduction, trafficking in human beings or sexual exploitation of human beings, as well as the search for missing persons;
(i) 誘拐、人身取引又は性的搾取の特定の被害者の標的を絞った捜索、並びに行方不明者の捜索
2026年改正(ii) the prevention of a specific, substantial and imminent threat to the life or physical safety of natural persons or a genuine and present or genuine and foreseeable threat of a terrorist attack;
(ii) 自然人の生命若しくは身体の安全に対する具体的、実質的かつ切迫した脅威、又はテロ攻撃の真正かつ現在の若しくは真正かつ予見可能な脅威の防止
2026年改正(iii) the localisation or identification of a person suspected of having committed a criminal offence, for the purpose of conducting a criminal investigation or prosecution or executing a criminal penalty for offences referred to in Annex II and punishable in the Member State concerned by a custodial sentence or a detention order for a maximum period of at least four years. Point (h) of the first subparagraph is without prejudice to Article 9 of Regulation (EU) 2016/679 for the processing of biometric data for purposes other than law enforcement.
(iii) 附属書IIに列挙され、かつ関係する加盟国において最長で少なくとも4年の拘禁刑又は拘置命令をもって処罰可能な犯罪について、刑事捜査若しくは訴追の実施又は刑罰の執行を目的とした、当該犯罪を行った疑いのある者の位置特定又は識別 第1号(h)は、法執行以外の目的での生体データの処理に関する規則(EU)2016/679第9条を妨げるものではない。
1a. For the purposes of paragraph 1, first subparagraph, points (ba) and (bb):
1a. 第1項第1号(ba)及び(bb)の適用上、
(a) the placing on the market or putting into service of an AI system that generates or manipulates the material or performance referred to in paragraph 1, first subparagraph, point (ba) or (bb) is only prohibited where:
(a) 第1項第1号(ba)又は(bb)にいう素材又は表現を生成し若しくは加工するAIシステムの上市又は供用開始が禁止されるのは、次のいずれかの場合に限る。
(i) that generation or manipulation is the intended purpose of the AI system; or
(i) 当該生成又は加工がAIシステムの意図された目的であること、又は
(ii) the system’s design, training, architecture, capabilities or user-facing functionalities make that generation or manipulation a reasonably foreseeable and reproducible outcome, without requiring significant technical modification, and the system does not have reasonable and adequate technical safety measures and other safeguards to reliably prevent that generation or manipulation, taking into account reasonably foreseeable misuse, and to correct observed or reported misuse;
(ii) 当該システムの設計、訓練、アーキテクチャ、能力若しくは利用者向け機能が、重大な技術的改変を要することなく、当該生成又は加工を合理的に予見可能かつ再現可能な結果とし、かつ当該システムが、合理的に予見可能な悪用を考慮した上で、当該生成又は加工を確実に防止し、また把握若しくは報告された悪用を是正するための合理的かつ適切な技術的安全対策その他の保護措置を有していないこと。
(b) the use of an AI system that generates or manipulates the material or performance referred to in paragraph 1, first subparagraph, points
(b) 第1項第1号(ba)及び(bb)にいう素材又は表現を生成し若しくは加工するAIシステムの使用が禁止されるのは、配備者が当該システムを当該素材又は表現の生成若しくは加工を目的として使用する場合に限る。1b. 第1項第1号(ba)の適用上、描写された陰部の露出を増大させず、又は描写された性的に露骨な行為の性質を変更しない方法で素材を加工するAIシステムは、加工に該当しないものとする。
(ba) and (bb) is only prohibited where the deployer uses the system for the purpose of generating or manipulating such material or performance. 1b. For the purposes of paragraph 1, first subparagraph, point (ba), an AI system that manipulates material in a way that does not increase the exposure of any depicted intimate parts or alter the nature of any depicted sexually explicit activities shall not constitute manipulation.
(ba)及び(bb)は、配備者が当該素材又はパフォーマンスを生成又は加工する目的で当該システムを使用する場合に限り禁止される。1b. 第1項第1号(ba)の適用上、描写された身体の親密な部分の露出を増加させず、又は描写された性的に露骨な行為の性質を変更しない方法で素材を加工するAIシステムは、加工に該当しないものとする。
2. The use of ‘real-time’ remote biometric identification systems in publicly accessible spaces for the purposes of law enforcement for any of the objectives referred to in paragraph 1, first subparagraph, point (h), shall be deployed for the purposes set out in that point only to confirm the identity of the specifically targeted individual, and it shall take into account the following elements:
2. 法執行の目的のために、公衆がアクセス可能な空間における「リアルタイム」遠隔生体識別システムを第1項第1号(h)に規定する目的のいずれかのために使用することは、同号に規定する目的のためにのみ、特定の標的とされた個人の身元を確認するために配備されなければならず、かつ、次の要素を考慮しなければならない。
(a) the nature of the situation giving rise to the possible use, in particular the seriousness, probability and scale of the harm that would be caused if the system were not used;
(a) 当該システムが使用されなかった場合に生ずるであろう危害の重大性、蓋然性及び規模を特に考慮した、当該使用の可能性を生じさせる状況の性質
(b) the consequences of the use of the system for the rights and freedoms of all persons concerned, in particular the seriousness, probability and scale of those consequences. In addition, the use of ‘real-time’ remote biometric identification systems in publicly accessible spaces for the purposes of law enforcement for any of the objectives referred to in paragraph 1, first subparagraph, point (h), of this Article shall comply with necessary and proportionate safeguards and conditions in relation to the use in accordance with the national law authorising the use thereof, in particular as regards the temporal, geographic and personal limitations. The use of the ‘real-time’ remote biometric identification system in publicly accessible spaces shall be authorised only if the law enforcement authority has completed a fundamental rights impact assessment as provided for in Article 27 and has registered the system in the EU database according to Article 49. However, in duly justified cases of urgency, the use of such systems may be commenced without the registration in the EU database, provided that such registration is completed without undue delay.
(b) 関係するすべての者の権利及び自由に対する当該システムの使用の影響、特に当該影響の重大性、蓋然性及び規模 さらに、法執行の目的のために、公衆がアクセス可能な空間における「リアルタイム」遠隔生体識別システムを本条第1項第1号(h)に規定する目的のいずれかのために使用することは、その使用を許可する国内法に従い、特に時間的、地理的及び対人的な制限に関して、必要かつ比例した保障措置及び条件を遵守しなければならない。公衆がアクセス可能な空間における「リアルタイム」遠隔生体識別システムの使用は、法執行当局が第27条に規定する基本的権利影響評価を完了し、かつ第49条に従い当該システムをEUデータベースに登録した場合に限り、許可される。ただし、正当に理由が認められる緊急の場合には、EUデータベースへの登録なしに当該システムの使用を開始することができるものとし、その場合、当該登録は不当な遅滞なく完了されなければならない。
2026年改正3. For the purposes of paragraph 1, first subparagraph, point (h) and paragraph 2, each use for the purposes of law enforcement of a ‘realtime’ remote biometric identification system in publicly accessible spaces shall be subject to a prior authorisation granted by a judicial authority or an independent administrative authority whose decision is binding of the Member State in which the use is to take place, issued upon a reasoned request and in accordance with the detailed rules of national law referred to in paragraph 5. However, in a duly justified situation of urgency, the use of such system may be commenced without an authorisation provided that such authorisation is requested without undue delay, at the latest within 24 hours. If such authorisation is rejected, the use shall be stopped with immediate effect and all the data, as well as the results and outputs of that use shall be immediately discarded and deleted. The competent judicial authority or an independent administrative authority whose decision is binding shall grant the authorisation only where it is satisfied, on the basis of objective evidence or clear indications presented to it, that the use of the ‘real-time’ remote biometric identification system concerned is necessary for, and proportionate to, achieving one of the objectives specified in paragraph 1, first subparagraph, point (h), as identified in the request and, in particular, remains limited to what is strictly necessary concerning the period of time as well as the geographic and personal scope. In deciding on the request, that authority shall take into account the elements referred to in paragraph 2. No decision that produces an adverse legal effect on a person may be taken based solely on the output of the ‘real-time’ remote biometric identification system.
3. 第1項第1号(h)及び第2項の適用上、公衆アクセス可能な空間における法執行目的での「リアルタイム」遠隔生体識別システムの各使用は、それぞれ、当該使用が行われる加盟国の司法当局又はその決定が拘束力を有する独立行政当局による事前の許可を要するものとし、当該許可は、理由を付した請求に基づき、かつ、第5項に定める国内法の詳細な規則に従って発出されるものとする。ただし、正当な理由のある緊急の状況においては、当該許可が遅滞なく、遅くとも24時間以内に請求されることを条件として、許可を得ることなく当該システムの使用を開始することができる。当該許可が拒否された場合、当該使用は直ちに停止されるものとし、当該使用に係るすべてのデータ並びに当該使用の結果及び出力は直ちに廃棄及び削除されるものとする。管轄司法当局又はその決定が拘束力を有する独立行政当局は、客観的証拠又は明確な兆候に基づき、当該「リアルタイム」遠隔生体識別システムの使用が、請求において特定された第1項第1号(h)に規定する目的の一つを達成するために必要かつ均衡的であり、特に、期間並びに地理的及び人的範囲に関して厳格に必要な限度にとどまるものであることを確信した場合に限り、許可を付与するものとする。当該当局は、請求について決定するに当たり、第2項に規定する要素を考慮するものとする。「リアルタイム」遠隔生体識別システムの出力のみに基づいて、人に不利な法的効果を生じさせる決定を行ってはならない。
2026年改正4. Without prejudice to paragraph 3, each use of a ‘real-time’ remote biometric identification system in publicly accessible spaces for law enforcement purposes shall be notified to the relevant market surveillance authority and the national data protection authority in accordance with the national rules referred to in paragraph 5. The notification shall, as a minimum, contain the information specified under paragraph 6 and shall not include sensitive operational data.
4. 第3項の規定を妨げることなく、法執行の目的のための、公衆がアクセス可能な空間における「リアルタイム」遠隔生体識別システムの各使用は、第5項に規定する国内規則に従って、関係する市場監視当局及び国内データ保護当局に通知されるものとする。当該通知には、少なくとも第6項に規定する情報を含めるものとし、機微な運用データを含めてはならない。
2026年改正5. A Member State may decide to provide for the possibility to fully or partially authorise the use of ‘real-time’ remote biometric identification systems in publicly accessible spaces for the purposes of law enforcement within the limits and under the conditions listed in paragraph 1, first subparagraph, point (h), and paragraphs 2 and 3. Member States concerned shall lay down in their national law the necessary detailed rules for the request, issuance and exercise of, as well as supervision and reporting relating to, the authorisations referred to in paragraph 3. Those rules shall also specify in respect of which of the objectives listed in paragraph 1, first subparagraph, point (h), including which of the criminal offences referred to in point (h)(iii) thereof, the competent authorities may be authorised to use those systems for the purposes of law enforcement. Member States shall notify those rules to the Commission at the latest 30 days following the adoption thereof. Member States may introduce, in accordance with Union law, more restrictive laws on the use of remote biometric identification systems.
5. 加盟国は、第1項第1号(h)並びに第2項及び第3項に列挙する限度内で、かつそれらの条件の下で、法執行の目的のための、公衆がアクセス可能な空間における「リアルタイム」遠隔生体識別システムの使用を全部又は一部許可する可能性を定めることを決定することができる。関係する加盟国は、第3項にいう許可の請求、発行及び行使、並びにこれらに関する監督及び報告のために必要な詳細な規則を国内法に定めるものとする。当該規則は、第1項第1号(h)に列挙する目的のうちいずれについて、また同号(iii)にいう犯罪のうちいずれについて、管轄当局が法執行の目的のために当該システムの使用を許可され得るかについても明記するものとする。加盟国は、当該規則の採択後遅くとも30日以内に、これを欧州委員会に通知するものとする。加盟国は、連合法に従い、遠隔生体識別システムの使用に関し、より制限的な法律を導入することができる。
6. National market surveillance authorities and the national data protection authorities of Member States that have been notified of the use of ‘real-time’ remote biometric identification systems in publicly accessible spaces for law enforcement purposes pursuant to paragraph 4 shall submit to the Commission annual reports on such use. For that purpose, the Commission shall provide Member States and national market surveillance and data protection authorities with a template, including information on the number of the decisions taken by competent judicial authorities or an independent administrative authority whose decision is binding upon requests for authorisations in accordance with paragraph 3 and their result.
6. 第4項に従い、法執行目的のための、公衆がアクセス可能な空間における「リアルタイム」遠隔生体識別システムの使用について通知を受けた加盟国の国内市場監視当局及び国内データ保護当局は、当該使用に関する年次報告書を欧州委員会に提出しなければならない。この目的のために、欧州委員会は、加盟国並びに国内市場監視当局及びデータ保護当局に対し、第3項に従った許可の請求に関して管轄司法当局又はその決定が拘束力を有する独立行政当局が行った決定の数及びその結果に関する情報を含むひな形を提供しなければならない。
7. The Commission shall publish annual reports on the use of real-time remote biometric identification systems in publicly accessible spaces for law enforcement purposes, based on aggregated data in Member States on the basis of the annual reports referred to in paragraph 6. Those annual reports shall not include sensitive operational data of the related law enforcement activities.
7. 欧州委員会は、第6項に規定する年次報告書に基づく加盟国の集計データに基づき、法執行目的のための、公衆がアクセス可能な空間における「リアルタイム」遠隔生体識別システムの使用に関する年次報告書を公表しなければならない。当該年次報告書には、関連する法執行活動の機微な運用データを含めてはならない。
8. This Article shall not affect the prohibitions that apply where an AI practice infringes other Union law.
8. 本条は、AI慣行が他の連合法に違反する場合に適用される禁止事項に影響を及ぼすものではない。

04 Chapter III: High-Risk AI Systems

Section 1: Classification of AI systems as high-risk / AIシステムの高リスク分類

Article 6: Classification rules for high-risk AI systems / 高リスクAIシステムの分類規則

1. Irrespective of whether an AI system is placed on the market or put into service independently of the products referred to in points (a) and (b), that AI system shall be considered to be high-risk where both of the following conditions are fulfilled:
1. (a)及び(b)に規定する製品から独立してAIシステムが上市され又は供用が開始されるか否かにかかわらず、当該AIシステムは、次の条件の双方が満たされる場合には、高リスクとみなされるものとする。
(a) the AI system is intended to be used as a safety component of a product, or the AI system is itself a product, covered by the Union harmonisation legislation listed in Annex I;
(a) 当該AIシステムが、附属書Iに列挙する連合調和法制の対象となる製品の安全部品として使用されることを意図しているか、又は当該AIシステム自体が当該製品であること
(b) the product whose safety component pursuant to point (a) is the AI system, or the AI system itself as a product, is required to undergo a third-party conformity assessment, with a view to the placing on the market or the putting into service of that product pursuant to the Union harmonisation legislation listed in Annex I.
(b) (a)に基づき当該AIシステムがその安全部品である製品、又は製品としての当該AIシステム自体が、附属書Iに列挙する連合調和法制に従い、当該製品の上市又は供用開始に関して第三者適合性評価を受けることが要求されていること
2026年改正1a. For the purposes of this Regulation, including paragraph 1 of this Article, AI systems that are solely used for non-safety related aspects of user assistance, performance optimisation, service efficiency, automation or convenience or quality control shall not qualify as safety components. 1b. Notwithstanding paragraph 1a, AI systems the failure or malfunctioning of which would endanger health and safety shall qualify as safety components.
1a. 本条第1項を含む本規則の適用上、利用者支援、性能最適化、サービス効率、自動化若しくは利便性又は品質管理の安全に関連しない側面のみに使用されるAIシステムは、安全部品に該当しないものとする。1b. 1aの規定にかかわらず、故障又は誤作動が健康及び安全を危険にさらすこととなるAIシステムは、安全部品に該当するものとする。
1c. A product that is required to undergo a third-party conformity assessment solely due to risks other than risks to health and safety, in particular risks relating to the distribution of radio spectrum or electromagnetic interference that do not affect health and safety, shall not be considered as fulfilling the condition in paragraph 1, point (b).
1c. 健康及び安全に対するリスク以外のリスク、特に健康及び安全に影響を及ぼさない無線周波数帯の分配又は電磁妨害に関するリスクのみを理由として第三者による適合性評価を受けることが求められる製品は、第1項(b)の要件を満たすものとみなされない。
2. In addition to the high-risk AI systems referred to in paragraph 1, AI systems referred to in Annex III shall be considered to be high-risk.
2. 第1項に規定する高リスクAIシステムに加えて、附属書IIIに規定するAIシステムは高リスクとみなされるものとする。
3. By derogation from paragraph 2, an AI system referred to in Annex III shall not be considered to be high-risk where it does not pose a significant risk of harm to the health, safety or fundamental rights of natural persons, including by not materially influencing the outcome of decision making. The first subparagraph shall apply where any of the following conditions is fulfilled:
3. 第2項の例外として、附属書IIIに規定するAIシステムは、決定の結果に実質的な影響を及ぼさないことを含め、自然人の健康、安全又は基本的権利に対する重大な危害のリスクをもたらさない場合には、高リスクとみなされないものとする。 第1号は、次の条件のいずれかが満たされる場合に適用する。
(a) the AI system is intended to perform a narrow procedural task;
(a) 当該AIシステムが、狭い手続的タスクを遂行することを意図していること
(b) the AI system is intended to improve the result of a previously completed human activity;
(b) 当該AIシステムが、事前に完了した人間の活動の結果を改善することを意図していること
(c) the AI system is intended to detect decision-making patterns or deviations from prior decision-making patterns and is not meant to replace or influence the previously completed human assessment, without proper human review; or
(c) 当該AIシステムが、意思決定パターン又は事前の意思決定パターンからの逸脱を検出することを意図しており、適切な人間によるレビューなしに、事前に完了した人間の評価を置き換え又はそれに影響を及ぼすことを意図していないこと
(d) the AI system is intended to perform a preparatory task to an assessment relevant for the purposes of the use cases listed in Annex III. Notwithstanding the first subparagraph, an AI system referred to in Annex III shall always be considered to be high-risk where the AI system performs profiling of natural persons.
(d) 当該AIシステムが、附属書IIIに列挙するユースケースの目的に関連する評価の準備的タスクを遂行することを意図していること 第1号にかかわらず、附属書IIIに規定するAIシステムは、当該AIシステムが自然人のプロファイリングを行う場合には、常に高リスクとみなされるものとする。
4. A provider who considers that an AI system referred to in Annex III is not high-risk shall document its assessment before that system is placed on the market or put into service. Such provider shall be subject to the registration obligation set out in Article 49(2). Upon request of national competent authorities, the provider shall provide the documentation of the assessment.
4. 附属書IIIに規定するAIシステムが高リスクでないと考える提供者は、当該システムが上市され又は供用が開始される前に、その評価を文書化しなければならない。当該提供者は、第49条第2項に定める登録義務に服するものとする。国内管轄当局の請求があった場合には、提供者は当該評価の文書を提供しなければならない。
5. The Commission shall, after consulting the European Artificial Intelligence Board (the ‘Board’), and no later than 2 February 2026, provide guidelines specifying the practical implementation of this Article in line with Article 96 together with a comprehensive list of practical examples of use cases of AI systems that are high-risk and not high-risk.
5. 欧州委員会は、欧州人工知能委員会(以下「委員会」という)と協議の上、遅くとも2026年2月2日までに、第96条に沿った本条の実務的な実施を明記するガイドラインを、高リスク及び非高リスクのAIシステムのユースケースの実践的な例の包括的な一覧とともに提供しなければならない。
6. The Commission is empowered to adopt delegated acts in accordance with Article 97 in order to amend paragraph 3, second subparagraph, of this Article by adding new conditions to those laid down therein, or by modifying them, where there is concrete and reliable evidence of the existence of AI systems that fall under the scope of Annex III, but do not pose a significant risk of harm to the health, safety or fundamental rights of natural persons.
6. 欧州委員会は、附属書IIIの範囲に該当するが自然人の健康、安全又は基本的権利に対する重大な危害のリスクをもたらさないAIシステムの存在について具体的かつ信頼性のある証拠がある場合に、本条第3項第2号に定める条件に新たな条件を追加すること又はこれを修正することにより当該規定を改正するため、第97条に従い委任法令を採択する権限を有する。
2026年改正7. The Commission shall adopt delegated acts in accordance with Article 97 in order to amend paragraph 3, second subparagraph, of this Article by deleting any of the conditions laid down therein, where there is concrete and reliable evidence that this is necessary to maintain the level of protection of health, safety and fundamental rights provided for by this Regulation.
7. 欧州委員会は、本規則が定める健康、安全及び基本的権利の保護水準を維持するために必要であるとの具体的かつ信頼性のある証拠がある場合には、第3項第2号に定める条件のいずれかを削除することにより本条第3項第2号を改正するため、第97条に従い委任法令を採択しなければならない。
2026年改正8. Any amendment to the conditions laid down in paragraph 3, second subparagraph, adopted in accordance with paragraphs 6 and 7 of this Article shall not decrease the overall level of protection of health, safety and fundamental rights provided for by this Regulation and shall ensure consistency with the delegated acts adopted pursuant to Article 7(1), and take account of market and technological developments.
8. 本条第6項及び第7項に従って採択される第3項第2号に定める条件の改正は、本規則が定める健康、安全及び基本的権利の保護の全体的な水準を低下させるものであってはならず、第7条第1項に従って採択される委任法令との整合性を確保し、かつ市場及び技術の発展を考慮しなければならない。

Article 7: Amendments to Annex III / 附属書IIIの改正

2026年改正1. The Commission is empowered to adopt delegated acts in accordance with Article 97 to amend Annex III by adding or modifying use-cases of high-risk AI systems where both of the following conditions are fulfilled:
1. 欧州委員会は、次の条件の双方が満たされる場合には、高リスクAIシステムのユースケースを追加し又は修正することにより附属書IIIを改正するため、第97条に従い委任行為を採択する権限を有する。
2026年改正(a) the AI systems are intended to be used in any of the areas listed in Annex III;
(a) 当該AIシステムが、附属書IIIに列挙するいずれかの分野で使用されることを意図していること
2026年改正(b) the AI systems pose a risk of harm to health and safety, or an adverse impact on fundamental rights, and that risk is equivalent to, or greater than, the risk of harm or of adverse impact posed by the high-risk AI systems already referred to in Annex III.
(b) 当該AIシステムが、健康及び安全に対する危害のリスク、又は基本的権利への悪影響のリスクをもたらし、当該リスクが、附属書IIIに既に規定する高リスクAIシステムによりもたらされる危害又は悪影響のリスクと同等又はそれを上回ること
2026年改正2. When assessing the condition under paragraph 1, point (b), the Commission shall take into account the following criteria:
2. 第1項(b)の条件を評価するに当たり、欧州委員会は次の基準を考慮しなければならない。
2026年改正(a) the intended purpose of the AI system;
(a) 当該AIシステムの意図された目的
2026年改正(b) the extent to which an AI system has been used or is likely to be used;
(b) 当該AIシステムが使用され、又は使用される可能性が高い範囲
2026年改正(c) the nature and amount of the data processed and used by the AI system, in particular whether special categories of personal data are processed;
(c) 当該AIシステムにより処理され及び使用されるデータの性質及び量、特に機微な個人データの種類が処理されるか否か
2026年改正(d) the extent to which the AI system acts autonomously and the possibility for a human to override a decision or recommendations that may lead to potential harm;
(d) 当該AIシステムが自律的に行動する範囲、及び潜在的な危害をもたらし得る決定又は勧告を人間が覆す可能性
2026年改正(e) the extent to which the use of an AI system has already caused harm to health and safety, has had an adverse impact on fundamental rights or has given rise to significant concerns in relation to the likelihood of such harm or adverse impact, as demonstrated, for example, by reports or documented allegations submitted to national competent authorities or by other reports, as appropriate;
(e) 当該AIシステムの使用が既に健康及び安全に危害を及ぼした範囲、基本的権利に悪影響を及ぼした範囲、又は国内管轄当局に提出された報告若しくは文書化された申立て、その他適宜の報告等により示される、当該危害若しくは悪影響の可能性に関する重大な懸念を生じさせた範囲
(f) the potential extent of such harm or such adverse impact, in particular in terms of its intensity and its ability to affect multiple persons or to disproportionately affect a particular group of persons;
(f) 当該危害又は悪影響の潜在的な規模、特にその強度、及び複数の者に影響を及ぼし又は特定の集団に不均衡な影響を及ぼす可能性
(g) the extent to which persons who are potentially harmed or suffer an adverse impact are dependent on the outcome produced with an AI system, in particular because for practical or legal reasons it is not reasonably possible to opt-out from that outcome;
(g) 潜在的に危害を受け又は悪影響を受ける者が、AIシステムにより生成される結果に依存する範囲、特に、実務上又は法律上の理由により当該結果からオプトアウトすることが合理的に不可能であるため
(h) the extent to which there is an imbalance of power, or the persons who are potentially harmed or suffer an adverse impact are in a vulnerable position in relation to the deployer of an AI system, in particular due to status, authority, knowledge, economic or social circumstances, or age;
(h) 権限の不均衡が存在する範囲、又は潜在的に危害を受け若しくは悪影響を受ける者が、特に地位、権限、知識、経済的若しくは社会的状況又は年齢に起因して、AIシステムの配備者との関係において脆弱な立場にある範囲
(i) the extent to which the outcome produced involving an AI system is easily corrigible or reversible, taking into account the technical solutions available to correct or reverse it, whereby outcomes having an adverse impact on health, safety or fundamental rights, shall not be considered to be easily corrigible or reversible;
(i) AIシステムを伴う結果が、当該結果を是正し又は覆すために利用可能な技術的解決策を考慮して、容易に是正可能又は可逆的である範囲。ただし、健康、安全又は基本的権利に悪影響を及ぼす結果は、容易に是正可能又は可逆的とはみなされない。
(j) the magnitude and likelihood of benefit of the deployment of the AI system for individuals, groups, or society at large, including possible improvements in product safety;
(j) 製品安全の向上の可能性を含め、個人、集団又は社会全体に対する当該AIシステムの配備による便益の大きさ及び蓋然性
(k) the extent to which existing Union law provides for:
(k) 既存の連合法が次の事項を定めている範囲
(i) effective measures of redress in relation to the risks posed by an AI system, with the exclusion of claims for damages;
(i) 損害賠償請求を除く、AIシステムによりもたらされるリスクに関する実効的な救済措置
(ii) effective measures to prevent or substantially minimise those risks.
(ii) 当該リスクを防止し又は実質的に最小化するための実効的な措置
3. The Commission is empowered to adopt delegated acts in accordance with Article 97 to amend the list in Annex III by removing high-risk AI systems where both of the following conditions are fulfilled:
3. 欧州委員会は、次の条件の双方が満たされる場合には、附属書IIIの一覧から高リスクAIシステムを削除することにより当該一覧を改正するため、第97条に従い委任法令を採択する権限を有する。
(a) the high-risk AI system concerned no longer poses any significant risks to fundamental rights, health or safety, taking into account the criteria listed in paragraph 2;
(a) 第2項に列挙する基準を考慮した上で、当該高リスクAIシステムが、もはや基本的権利、健康又は安全に対する重大なリスクをもたらさないこと
(b) the deletion does not decrease the overall level of protection of health, safety and fundamental rights under Union law.
(b) 当該削除が、連合法の下での健康、安全及び基本的権利の全体的な保護水準を低下させないこと。

Section 2: Requirements for high-risk AI systems / 高リスクAIシステムに関する要件

Article 8: Compliance with the requirements / 要件への適合

1. High-risk AI systems shall comply with the requirements laid down in this Section, taking into account their intended purpose as well as the generally acknowledged state of the art on AI and AI-related technologies. The risk management system referred to in Article 9 shall be taken into account when ensuring compliance with those requirements.
1. 高リスクAIシステムは、その意図された目的並びにAI及びAI関連技術に関する一般的に認められた技術水準を考慮に入れ、本節に定める要件に適合しなければならない。当該要件への適合を確保するに当たっては、第9条に規定するリスクマネジメントシステムを考慮しなければならない。
2. Where a product contains an AI system, to which the requirements of this Regulation as well as requirements of the Union harmonisation legislation listed in Section A of Annex I apply, providers shall be responsible for ensuring that their product is fully compliant with all applicable requirements under applicable Union harmonisation legislation. In ensuring the compliance of high-risk AI systems referred to in paragraph 1 with the requirements set out in this Section, and in order to ensure consistency, avoid duplication and minimise additional burdens, providers shall have a choice of integrating, as appropriate, the necessary testing and reporting processes, information and documentation they provide with regard to their product into documentation and procedures that already exist and are required under the Union harmonisation legislation listed in Section A of Annex I.
2. 製品が、本規則の要件並びに附属書I第A節に列挙する連合調和法制の要件の双方が適用されるAIシステムを含む場合、提供者は、自己の製品が適用ある連合調和法制に基づくすべての適用ある要件に完全に適合することを確保する責任を負うものとする。第1項に規定する高リスクAIシステムの本節に定める要件への適合を確保するに当たり、また整合性を確保し、重複を回避し及び追加的な負担を最小化するため、提供者は、自己の製品に関して提供する必要な試験及び報告の手続、情報並びに文書を、附属書I第A節に列挙する連合調和法制に基づき既に存在し要求されている文書及び手続に、適宜統合することを選択することができる。

Article 9: Risk management system / リスクマネジメントシステム

1. A risk management system shall be established, implemented, documented and maintained in relation to high-risk AI systems.
1. ハイリスクAIシステムに関して、リスクマネジメントシステムを確立し、実施し、文書化し、維持しなければならない。
2. The risk management system shall be understood as a continuous iterative process planned and run throughout the entire lifecycle of a high-risk AI system, requiring regular systematic review and updating. It shall comprise the following steps:
2. リスクマネジメントシステムは、ハイリスクAIシステムのライフサイクル全体を通じて計画的に実施される継続的な反復プロセスとして理解されるものとし、定期的かつ体系的な見直し及び更新を要するものとする。当該システムは、次の各段階から構成されるものとする。
(a) the identification and analysis of the known and the reasonably foreseeable risks that the high-risk AI system can pose to health, safety or fundamental rights when the high-risk AI system is used in accordance with its intended purpose;
(a) ハイリスクAIシステムがその意図された目的に従って使用される場合に、当該ハイリスクAIシステムが健康、安全又は基本的権利に対してもたらし得る、既知の及び合理的に予見可能なリスクの特定及び分析
(b) the estimation and evaluation of the risks that may emerge when the high-risk AI system is used in accordance with its intended purpose, and under conditions of reasonably foreseeable misuse;
(b) ハイリスクAIシステムがその意図された目的に従って使用される場合、及び合理的に予見可能な誤用の条件下において生じ得るリスクの推定及び評価
(c) the evaluation of other risks possibly arising, based on the analysis of data gathered from the post-market monitoring system referred to in Article 72;
(c) 第72条に規定する市販後モニタリングシステムから収集されたデータの分析に基づく、生じ得るその他のリスクの評価
(d) the adoption of appropriate and targeted risk management measures designed to address the risks identified pursuant to point (a).
(d) (a)号に従って特定されたリスクに対処するために設計された、適切かつ的を絞ったリスクマネジメント措置の採用
3. The risks referred to in this Article shall concern only those which may be reasonably mitigated or eliminated through the development or design of the high-risk AI system, or the provision of adequate technical information.
3. 本条にいうリスクは、ハイリスクAIシステムの開発若しくは設計又は適切な技術情報の提供を通じて合理的に低減又は排除し得るものに限られるものとする。
4. The risk management measures referred to in paragraph 2, point (d), shall give due consideration to the effects and possible interaction resulting from the combined application of the requirements set out in this Section, with a view to minimising risks more effectively while achieving an appropriate balance in implementing the measures to fulfil those requirements.
4. 第2項(d)号にいうリスクマネジメント措置は、本節に定める要件の複合的な適用から生じる効果及び生じ得る相互作用について正当に考慮し、これらの要件を満たすための措置の実施において適切な均衡を達成しつつ、リスクをより効果的に最小化することを目的とするものとする。
5. The risk management measures referred to in paragraph 2, point (d), shall be such that the relevant residual risk associated with each hazard, as well as the overall residual risk of the high-risk AI systems is judged to be acceptable.
5. 第2項(d)に規定するリスクマネジメント措置は、各危険性に関連する残存リスク並びに高リスクAIシステムの全体的な残存リスクが許容可能であると判断されるようなものでなければならない。
In identifying the most appropriate risk management measures, the following shall be ensured:
最も適切なリスクマネジメント措置を特定するに当たり、次の事項が確保されなければならない。
(a) elimination or reduction of risks identified and evaluated pursuant to paragraph 2 in as far as technically feasible through adequate design and development of the high-risk AI system;
(a) ハイリスクAIシステムの適切な設計及び開発を通じて技術的に実行可能な範囲において、第2項に従って特定及び評価されたリスクの排除又は低減
(b) where appropriate, implementation of adequate mitigation and control measures addressing risks that cannot be eliminated;
(b) 適切な場合には、排除することができないリスクに対処するための適切な低減及び管理措置の実施
(c) provision of information required pursuant to Article 13 and, where appropriate, training to deployers. With a view to eliminating or reducing risks related to the use of the high-risk AI system, due consideration shall be given to the technical knowledge, experience, education, the training to be expected by the deployer, and the presumable context in which the system is intended to be used.
(c) 第13条に従って要求される情報の提供、及び適切な場合には、デプロイヤーに対する訓練の提供 ハイリスクAIシステムの使用に関連するリスクを排除又は低減するに当たっては、デプロイヤーが有すると見込まれる技術的知識、経験、教育及び訓練、並びに当該システムが使用されることが意図される推定される状況について、正当な考慮が払われなければならない。
6. High-risk AI systems shall be tested for the purpose of identifying the most appropriate and targeted risk management measures. Testing shall ensure that high-risk AI systems perform consistently for their intended purpose and that they are in compliance with the requirements set out in this Section.
6. ハイリスクAIシステムは、最も適切かつ的を絞ったリスクマネジメント措置を特定する目的で試験されなければならない。試験は、ハイリスクAIシステムがその意図された目的について一貫して性能を発揮すること、及び本節に定める要件に適合していることを確保するものとする。
7. Testing procedures may include testing in real-world conditions in accordance with Article 60.
7. 試験手続には、第60条に従った実環境における試験を含めることができる。
8. The testing of high-risk AI systems shall be performed, as appropriate, at any time throughout the development process, and, in any event, prior to their being placed on the market or put into service. Testing shall be carried out against prior defined metrics and probabilistic thresholds that are appropriate to the intended purpose of the high-risk AI system.
8. ハイリスクAIシステムの試験は、適切な場合には開発プロセスを通じていつでも、かつ、いかなる場合においても市場に上市され又は運用に供される前に実施されなければならない。試験は、ハイリスクAIシステムの意図された目的に適した、事前に定義された指標及び確率的閾値に照らして実施されるものとする。
9. When implementing the risk management system as provided for in paragraphs 1 to 7, providers shall give consideration to whether in view of its intended purpose the high-risk AI system is likely to have an adverse impact on persons under the age of 18 and, as appropriate, other vulnerable groups.
9. 第1項から第7項までに規定するリスクマネジメントシステムを実施するに当たり、提供者は、その意図された目的に照らして、当該ハイリスクAIシステムが18歳未満の者及び、適切な場合には、その他の脆弱な集団に悪影響を及ぼす可能性があるか否かについて考慮しなければならない。
10. For providers of high-risk AI systems that are subject to requirements regarding internal risk management processes under other relevant provisions of Union law, the aspects provided in paragraphs 1 to 9 may be part of, or combined with, the risk management procedures established pursuant to that law.
10. 連合法の他の関連規定に基づき内部リスクマネジメントプロセスに関する要件に従うハイリスクAIシステムの提供者については、第1項から第9項までに規定する事項を、当該法に従って確立されたリスクマネジメント手続の一部とし、又はこれと組み合わせることができる。

Article 10: Data and data governance / データ及びデータガバナンス

2026年改正1. High-risk AI systems which make use of techniques involving the training of AI models with data shall be developed on the basis of training, validation and testing data sets that meet the quality criteria referred to in paragraphs 2, 3 and 4 of this Article and in Article 4a(1) whenever such data sets are used.
1. データを用いたAIモデルの訓練を伴う技術を利用する高リスクAIシステムは、当該データセットが使用される場合には常に、本条第2項、第3項及び第4項並びに第4a条第1項に規定する品質基準を満たす訓練用、検証用及びテスト用のデータセットに基づいて開発されなければならない。
2. Training, validation and testing data sets shall be subject to data governance and management practices appropriate for the intended purpose of the high-risk AI system. Those practices shall concern in particular:
2. 訓練用、検証用及び試験用のデータセットは、ハイリスクAIシステムの意図された目的に適したデータガバナンス及びデータ管理の慣行に従うものとする。当該慣行は、特に次の事項に関するものとする。
(a) the relevant design choices;
(a) 関連する設計上の選択
(b) data collection processes and the origin of data, and in the case of personal data, the original purpose of the data collection;
(b) データ収集プロセス及びデータの出所、並びに個人データの場合には、データ収集の当初の目的
(c) relevant data-preparation processing operations, such as annotation, labelling, cleaning, updating, enrichment and aggregation;
(c) 注釈付け、ラベル付け、クレンジング、更新、拡充及び集約など、関連するデータ準備に係る処理作業
(d) the formulation of assumptions, in particular with respect to the information that the data are supposed to measure and represent;
(d) 特にデータが測定し表現することを想定されている情報に関する前提の設定
(e) an assessment of the availability, quantity and suitability of the data sets that are needed;
(e) 必要とされるデータセットの入手可能性、量及び適合性の評価
(f) examination in view of possible biases that are likely to affect the health and safety of persons, have a negative impact on fundamental rights or lead to discrimination prohibited under Union law, especially where data outputs influence inputs for future operations;
(f) 特に、データの出力が将来の運用のための入力に影響を与える場合において、人の健康及び安全に影響を及ぼし得る、基本的権利に負の影響を与え得る、又は連合法上禁止される差別につながり得る、生じ得る偏りについての検討
(g) appropriate measures to detect, prevent and mitigate possible biases identified according to point (f);
(g) (f)号に従って特定された生じ得る偏りを検知し、防止し、及び低減するための適切な措置
(h) the identification of relevant data gaps or shortcomings that prevent compliance with this Regulation, and how those gaps and shortcomings can be addressed.
(h) 本規則の遵守を妨げる関連するデータの欠落又は不備の特定、並びにこれらの欠落及び不備への対処方法
3. Training, validation and testing data sets shall be relevant, sufficiently representative, and to the best extent possible, free of errors and complete in view of the intended purpose. They shall have the appropriate statistical properties, including, where applicable, as regards the persons or groups of persons in relation to whom the high-risk AI system is intended to be used. Those characteristics of the data sets may be met at the level of individual data sets or at the level of a combination thereof.
3. 訓練用、検証用及び試験用のデータセットは、意図された目的に照らして、関連性を有し、十分に代表的であり、かつ、可能な限り誤りがなく完全なものでなければならない。当該データセットは、該当する場合には、当該ハイリスクAIシステムが使用されることを意図している者又は人の集団に関するものを含め、適切な統計的特性を備えるものとする。これらのデータセットの特性は、個々のデータセットのレベルで、又はそれらの組み合わせのレベルで満たすことができる。
4. Data sets shall take into account, to the extent required by the intended purpose, the characteristics or elements that are particular to the specific geographical, contextual, behavioural or functional setting within which the high-risk AI system is intended to be used.
4. データセットは、意図された目的により求められる範囲において、当該ハイリスクAIシステムが使用されることが意図される特定の地理的、状況的、行動的又は機能的な環境に固有の特性又は要素を考慮しなければならない。
2026年改正6. For the development of high-risk AI systems not using techniques involving the training of AI models, paragraphs 2, 3 and 4 of this Article and Article 4a(1) shall apply only to the testing data sets.
6. AIモデルの訓練を伴う技術を使用しない高リスクAIシステムの開発については、本条第2項、第3項及び第4項並びに第4a条第1項は、テスト用データセットについてのみ適用される。

Article 11: Technical documentation / 技術文書

1. The technical documentation of a high-risk AI system shall be drawn up before that system is placed on the market or put into service and shall be kept up-to date.
1. 高リスクAIシステムの技術文書は、当該システムが上市され又は供用が開始される前に作成されなければならず、常に最新の状態に保たれなければならない。
2026年改正That technical documentation shall be drawn up in such a way as to demonstrate that the high-risk AI system complies with the requirements set out in this Section and to provide national competent authorities and notified bodies with the necessary information in a clear and comprehensive form to assess the compliance of the AI system with those requirements. It shall contain, at a minimum, the elements set out in Annex IV. SMEs, including start-ups, and SMCs, may provide the elements of the technical documentation specified in Annex IV in a simplified manner. To that end, the Commission shall establish a simplified technical documentation form targeted at the needs of SMEs, including start-ups, and SMCs. Where an SME, including a start-up, or an SMC, opts to provide the information required in Annex IV in a simplified manner, it shall use the form referred to in this paragraph. Notified bodies shall accept the form for the purposes of the conformity assessment.
当該技術文書は、高リスクAIシステムが本節に定める要件に適合していることを証明し、かつ、国内管轄当局及び届出機関に対し、当該AIシステムのこれらの要件への適合性を評価するために必要な情報を明確かつ包括的な形式で提供するように作成されなければならない。当該技術文書は、少なくとも附属書IVに定める要素を含まなければならない。中小企業(新興企業を含む)及び中小規模中堅企業(SMC)は、附属書IVに規定する技術文書の要素を簡略化した方法で提供することができる。この目的のため、欧州委員会は、中小企業(新興企業を含む)及び中小規模中堅企業(SMC)のニーズに対応した簡略化された技術文書様式を策定するものとする。中小企業(新興企業を含む)又は中小規模中堅企業(SMC)が、附属書IVに定める情報を簡略化した方法で提供することを選択する場合、当該事業者は、本項に規定する様式を使用しなければならない。届出機関は、適合性評価の目的上、当該様式を受理しなければならない。
2. Where a high-risk AI system related to a product covered by the Union harmonisation legislation listed in Section A of Annex I is placed on the market or put into service, a single set of technical documentation shall be drawn up containing all the information set out in paragraph 1, as well as the information required under those legal acts.
2. 附属書I A節に掲げる連合調和法制の対象となる製品に関連するハイリスクAIシステムが市場に上市され又は運用に供される場合には、第1項に定める全ての情報並びに当該法令に基づき要求される情報を含む、単一の技術文書一式が作成されなければならない。
3. The Commission is empowered to adopt delegated acts in accordance with Article 97 in order to amend Annex IV, where necessary, to ensure that, in light of technical progress, the technical documentation provides all the information necessary to assess the compliance of the system with the requirements set out in this Section.
3. 欧州委員会は、技術的進歩に照らして、技術文書が本節に定める要件への当該システムの適合性を評価するために必要な全ての情報を提供するものとなることを確保するために必要な場合には、附属書IVを改正するため、第97条に従って委任法を採択する権限を有する。

Article 12: Record-keeping / 記録の保持

1. High-risk AI systems shall technically allow for the automatic recording of events (logs) over the lifetime of the system.
1. ハイリスクAIシステムは、そのライフタイムを通じて、事象(ログ)を自動的に記録することが技術的に可能でなければならない。
2. In order to ensure a level of traceability of the functioning of a high-risk AI system that is appropriate to the intended purpose of the system, logging capabilities shall enable the recording of events relevant for:
2. ハイリスクAIシステムの意図された目的に適した当該システムの機能に関する追跡可能性の水準を確保するため、ログ記録機能は、次の事項に関連する事象の記録を可能にするものでなければならない。
(a) identifying situations that may result in the high-risk AI system presenting a risk within the meaning of Article 79(1) or in a substantial modification;
(a) ハイリスクAIシステムが第79条第1項の意味におけるリスクを提示する状況又は実質的な変更をもたらす状況を特定すること
(b) facilitating the post-market monitoring referred to in Article 72; and
(b) 第72条にいう市販後モニタリングを容易にすること
(c) monitoring the operation of high-risk AI systems referred to in Article 26(5).
(c) 第26条第5項にいうハイリスクAIシステムの運用を監視すること
3. For high-risk AI systems referred to in point 1 (a), of Annex III, the logging capabilities shall provide, at a minimum:
3. 附属書III第1項(a)にいうハイリスクAIシステムについては、ログ記録機能は、少なくとも次の事項を提供しなければならない。
(a) recording of the period of each use of the system (start date and time and end date and time of each use);
(a) システムの各使用期間の記録(各使用の開始年月日及び時刻並びに終了年月日及び時刻)
(b) the reference database against which input data has been checked by the system;
(b) 入力データが当該システムによって照合された参照データベース
(c) the input data for which the search has led to a match;
(c) 検索の結果、一致が生じた入力データ
(d) the identification of the natural persons involved in the verification of the results, as referred to in Article 14(5).
(d) 第14条第5項にいう結果の検証に関与した自然人の識別情報

Article 13: Transparency and provision of information to deployers / デプロイヤーに対する透明性及び情報提供

1. High-risk AI systems shall be designed and developed in such a way as to ensure that their operation is sufficiently transparent to enable deployers to interpret a system’s output and use it appropriately. An appropriate type and degree of transparency shall be ensured with a view to achieving compliance with the relevant obligations of the provider and deployer set out in Section 3.
1. ハイリスクAIシステムは、デプロイヤーがそのシステムの出力を解釈し、適切に使用することができるよう、その運用が十分に透明であることを確保する方法で設計され、及び開発されなければならない。第3節に定める提供者及びデプロイヤーの関連する義務の遵守を達成する観点から、適切な種類及び程度の透明性が確保されなければならない。
2. High-risk AI systems shall be accompanied by instructions for use in an appropriate digital format or otherwise that include concise, complete, correct and clear information that is relevant, accessible and comprehensible to deployers.
2. ハイリスクAIシステムには、適切なデジタル形式又はその他の形式により、デプロイヤーにとって関連性があり、利用しやすく、かつ理解可能な、簡潔、完全、正確かつ明確な情報を含む使用説明書が添付されなければならない。
3. The instructions for use shall contain at least the following information:
3. 使用説明書には、少なくとも次の情報を含めなければならない。
(a) the identity and the contact details of the provider and, where applicable, of its authorised representative;
(a) 提供者及び、該当する場合には、その授権された代理人の身元及び連絡先情報
(b) the characteristics, capabilities and limitations of performance of the high-risk AI system, including:
(b) ハイリスクAIシステムの性能上の特性、能力及び限界(以下の事項を含む。)
(i) its intended purpose;
(i) その意図された目的
(ii) the level of accuracy, including its metrics, robustness and cybersecurity referred to in Article 15 against which the high-risk AI system has been tested and validated and which can be expected, and any known and foreseeable circumstances that may have an impact on that expected level of accuracy, robustness and cybersecurity;
(ii) 第15条にいう、当該ハイリスクAIシステムについて試験及び検証がなされた正確性(その指標を含む。)、堅牢性及びサイバーセキュリティの水準として期待し得るもの、並びに当該期待される正確性、堅牢性及びサイバーセキュリティの水準に影響を及ぼし得る既知の及び予見可能な状況
(iii) any known or foreseeable circumstance, related to the use of the high-risk AI system in accordance with its intended purpose or under conditions of reasonably foreseeable misuse, which may lead to risks to the health and safety or fundamental rights referred to in Article 9(2);
(iii) ハイリスクAIシステムがその意図された目的に従って使用される場合又は合理的に予見可能な誤用の条件下において使用される場合に関連する、第9条第2項にいう健康及び安全又は基本的権利に対するリスクをもたらし得る既知の又は予見可能な状況
(iv) where applicable, the technical capabilities and characteristics of the high-risk AI system to provide information that is relevant to explain its output;
(iv) 該当する場合には、ハイリスクAIシステムの出力を説明する上で関連する情報を提供するための技術的能力及び特性
(v) when appropriate, its performance regarding specific persons or groups of persons on which the system is intended to be used;
(v) 適切な場合には、当該システムが使用されることを意図する特定の者又は人の集団に関するその性能
(vi) when appropriate, specifications for the input data, or any other relevant information in terms of the training, validation and testing data sets used, taking into account the intended purpose of the high-risk AI system;
(vi) 適切な場合には、入力データに関する仕様、又はハイリスクAIシステムの意図された目的を考慮した、使用された訓練用、検証用及び試験用データセットに関するその他の関連情報
(vii) where applicable, information to enable deployers to interpret the output of the high-risk AI system and use it appropriately;
(vii) 該当する場合には、デプロイヤーがハイリスクAIシステムの出力を解釈し、適切に使用することを可能にする情報
(c) the changes to the high-risk AI system and its performance which have been pre-determined by the provider at the moment of the initial conformity assessment, if any;
(c) 最初の適合性評価の時点において提供者によりあらかじめ定められていた、ハイリスクAIシステム及びその性能に対する変更(ある場合)
(d) the human oversight measures referred to in Article 14, including the technical measures put in place to facilitate the interpretation of the outputs of the high-risk AI systems by the deployers;
(d) デプロイヤーによるハイリスクAIシステムの出力の解釈を容易にするために講じられた技術的措置を含む、第14条にいう人的監視のための措置
(e) the computational and hardware resources needed, the expected lifetime of the high-risk AI system and any necessary maintenance and care measures, including their frequency, to ensure the proper functioning of that AI system, including as regards software updates;
(e) 必要な計算資源及びハードウェア資源、ハイリスクAIシステムの期待される耐用期間、並びに当該AIシステムの適正な機能(ソフトウェアの更新に関する事項を含む。)を確保するために必要な保守及び管理の措置(その頻度を含む。)
(f) where relevant, a description of the mechanisms included within the high-risk AI system that allows deployers to properly collect, store and interpret the logs in accordance with Article 12.
(f) 関連する場合には、第12条に従いデプロイヤーがログを適切に収集し、保存し、及び解釈することを可能にする、当該ハイリスクAIシステムに組み込まれた仕組みの説明

Article 14: Human oversight / 人的監視

1. High-risk AI systems shall be designed and developed in such a way, including with appropriate human-machine interface tools, that they can be effectively overseen by natural persons during the period in which they are in use.
1. ハイリスクAIシステムは、適切なヒューマンマシンインターフェースツールを含め、その使用期間中、自然人により効果的に監視され得るような方法で設計され、及び開発されなければならない。
2. Human oversight shall aim to prevent or minimise the risks to health, safety or fundamental rights that may emerge when a high-risk AI system is used in accordance with its intended purpose or under conditions of reasonably foreseeable misuse, in particular where such risks persist despite the application of other requirements set out in this Section.
2. 人的監視は、ハイリスクAIシステムがその意図された目的に従って使用される場合又は合理的に予見可能な誤用の条件下において使用される場合に生じ得る、健康、安全又は基本的権利に対するリスクを防止し又は最小化することを目的とするものとし、特に本節に定めるその他の要件の適用にもかかわらずそのようなリスクが残存する場合において、その目的を果たすものとする。
3. The oversight measures shall be commensurate with the risks, level of autonomy and context of use of the high-risk AI system, and shall be ensured through either one or both of the following types of measures:
3. 監視のための措置は、当該ハイリスクAIシステムのリスク、自律性の水準及び使用の状況に見合ったものでなければならず、次のいずれか一方又は双方の種類の措置により確保されなければならない。
(a) measures identified and built, when technically feasible, into the high-risk AI system by the provider before it is placed on the market or put into service;
(a) 技術的に実行可能な場合において、提供者が市場に上市し又は運用に供する前に、当該ハイリスクAIシステムに組み込むために特定し、構築した措置
(b) measures identified by the provider before placing the high-risk AI system on the market or putting it into service and that are appropriate to be implemented by the deployer.
(b) 提供者が当該ハイリスクAIシステムを市場に上市し又は運用に供する前に特定した、デプロイヤーにより実施されることが適切な措置
4. For the purpose of implementing paragraphs 1, 2 and 3, the high-risk AI system shall be provided to the deployer in such a way that natural persons to whom human oversight is assigned are enabled, as appropriate and proportionate:
4. 第1項、第2項及び第3項を実施する目的のため、ハイリスクAIシステムは、人的監視を割り当てられた自然人が、適切かつ均衡の取れた範囲において、次の事項を行うことができるような方法でデプロイヤーに提供されなければならない。
(a) to properly understand the relevant capacities and limitations of the high-risk AI system and be able to duly monitor its operation, including in view of detecting and addressing anomalies, dysfunctions and unexpected performance;
(a) 当該ハイリスクAIシステムの関連する能力及び限界を正しく理解し、異常、機能不全及び予期しない性能の検知及び対処を含め、その運用を適正に監視することができること
(b) to remain aware of the possible tendency of automatically relying or over-relying on the output produced by a high-risk AI system (automation bias), in particular for high-risk AI systems used to provide information or recommendations for decisions to be taken by natural persons;
(b) 特にハイリスクAIシステムが自然人によって行われる決定のための情報又は勧告を提供するために使用される場合において、当該システムが生成する出力に自動的に依拠し又は過度に依拠する傾向(自動化バイアス)が生じ得ることを認識し続けること
(c) to correctly interpret the high-risk AI system’s output, taking into account, for example, the interpretation tools and methods available;
(c) 例えば利用可能な解釈のためのツール及び方法を考慮に入れて、ハイリスクAIシステムの出力を正しく解釈することができること
(d) to decide, in any particular situation, not to use the high-risk AI system or to otherwise disregard, override or reverse the output of the high-risk AI system;
(d) 個々の状況において、当該ハイリスクAIシステムを使用しないこと、又はその出力を無視し、覆し若しくは取り消すことを決定することができること
(e) to intervene in the operation of the high-risk AI system or interrupt the system through a ‘stop’ button or a similar procedure that allows the system to come to a halt in a safe state.
(e) 「停止」ボタン又はこれに類する手続を通じて、当該ハイリスクAIシステムの運用に介入し、又はシステムを安全な状態で停止させることができること
5. For high-risk AI systems referred to in point 1(a) of Annex III, the measures referred to in paragraph 3 of this Article shall be such as to ensure that, in addition, no action or decision is taken by the deployer on the basis of the identification resulting from the system unless that identification has been separately verified and confirmed by at least two natural persons with the necessary competence, training and authority. The requirement for a separate verification by at least two natural persons shall not apply to high-risk AI systems used for the purposes of law enforcement, migration, border control or asylum, where Union or national law considers the application of this requirement to be disproportionate.
5. 附属書III第1項(a)にいうハイリスクAIシステムについては、本条第3項にいう措置は、これに加えて、当該システムから得られた識別結果について、必要な能力、訓練及び権限を有する少なくとも2名の自然人により別途検証及び確認がなされない限り、デプロイヤーがその識別結果に基づくいかなる行動又は決定も行わないことを確保するようなものでなければならない。 少なくとも2名の自然人による別途の検証の要件は、法執行、移民、国境管理又は庇護の目的のために使用されるハイリスクAIシステムであって、連合法又は国内法が当該要件の適用を均衡を欠くものとみなすものについては適用しない。

Article 15: Accuracy, robustness and cybersecurity / 正確性、堅牢性及びサイバーセキュリティ

1. High-risk AI systems shall be designed and developed in such a way that they achieve an appropriate level of accuracy, robustness, and cybersecurity, and that they perform consistently in those respects throughout their lifecycle.
1. ハイリスクAIシステムは、適切な水準の正確性、堅牢性及びサイバーセキュリティを達成し、かつ、そのライフサイクルを通じてこれらの点について一貫して性能を発揮するような方法で設計され、及び開発されなければならない。
2. To address the technical aspects of how to measure the appropriate levels of accuracy and robustness set out in paragraph 1 and any other relevant performance metrics, the Commission shall, in cooperation with relevant stakeholders and organisations such as metrology and benchmarking authorities, encourage, as appropriate, the development of benchmarks and measurement methodologies.
2. 第1項に定める適切な水準の正確性及び堅牢性、並びにその他の関連する性能指標を測定する方法に関する技術的側面に対応するため、欧州委員会は、計量標準機関及びベンチマーク機関等の関連する利害関係者及び組織と協力し、適切な場合には、ベンチマーク及び測定方法論の策定を奨励するものとする。
3. The levels of accuracy and the relevant accuracy metrics of high-risk AI systems shall be declared in the accompanying instructions of use.
3. ハイリスクAIシステムの正確性の水準及び関連する正確性指標は、添付の使用説明書において宣言されなければならない。
4. High-risk AI systems shall be as resilient as possible regarding errors, faults or inconsistencies that may occur within the system or the environment in which the system operates, in particular due to their interaction with natural persons or other systems. Technical and organisational measures shall be taken in this regard. The robustness of high-risk AI systems may be achieved through technical redundancy solutions, which may include backup or fail-safe plans. High-risk AI systems that continue to learn after being placed on the market or put into service shall be developed in such a way as to eliminate or reduce as far as possible the risk of possibly biased outputs influencing input for future operations (feedback loops), and as to ensure that any such feedback loops are duly addressed with appropriate mitigation measures.
4. ハイリスクAIシステムは、特に自然人又は他のシステムとの相互作用に起因して、当該システム内又は当該システムが運用される環境において生じ得る誤り、故障又は不整合に関し、可能な限り耐性を有するものでなければならない。これに関しては、技術的及び組織的な措置が講じられなければならない。 ハイリスクAIシステムの堅牢性は、バックアップ計画又はフェイルセーフ計画を含み得る技術的冗長性の解決策によって達成することができる。 市場に上市され又は運用に供された後も学習を継続するハイリスクAIシステムは、偏りのある可能性のある出力が将来の運用のための入力に影響を及ぼすリスク(フィードバックループ)を可能な限り排除又は低減し、かつ、そのようなフィードバックループが適切な低減措置により正当に対処されることを確保するような方法で開発されなければならない。
5. High-risk AI systems shall be resilient against attempts by unauthorised third parties to alter their use, outputs or performance by exploiting system vulnerabilities. The technical solutions aiming to ensure the cybersecurity of high-risk AI systems shall be appropriate to the relevant circumstances and the risks. The technical solutions to address AI specific vulnerabilities shall include, where appropriate, measures to prevent, detect, respond to, resolve and control for attacks trying to manipulate the training data set (data poisoning), or pre-trained components used in training (model poisoning), inputs designed to cause the AI model to make a mistake (adversarial examples or model evasion), confidentiality attacks or model flaws.
5. ハイリスクAIシステムは、システムの脆弱性を悪用してその使用、出力又は性能を改変しようとする権限のない第三者の試みに対して耐性を有するものでなければならない。 ハイリスクAIシステムのサイバーセキュリティを確保することを目的とする技術的解決策は、関連する状況及びリスクに適したものでなければならない。 AI特有の脆弱性に対処するための技術的解決策には、適切な場合には、訓練データセットを操作しようとする攻撃(データポイズニング)、訓練に使用される事前訓練済みの構成要素を操作しようとする攻撃(モデルポイズニング)、AIモデルに誤りを生じさせるように設計された入力(敵対的サンプル又はモデル回避)、機密性に対する攻撃又はモデルの欠陥を防止し、検知し、対応し、解決し、及び制御するための措置を含めなければならない。

Section 3: Obligations of providers and deployers of high-risk AI systems and other parties / 高リスクAIシステムの提供者及び配備者並びにその他の当事者の義務

Article 16: Obligations of providers of high-risk AI systems / ハイリスクAIシステムの提供者の義務

Providers of high-risk AI systems shall:
ハイリスクAIシステムの提供者は、次の事項を行わなければならない。
(a) ensure that their high-risk AI systems are compliant with the requirements set out in Section 2;
(a) 自らのハイリスクAIシステムが第2節に定める要件に適合していることを確保すること
(b) indicate on the high-risk AI system or, where that is not possible, on its packaging or its accompanying documentation, as applicable, their name, registered trade name or registered trade mark, the address at which they can be contacted;
(b) ハイリスクAIシステム上に、又はこれが不可能な場合には、該当する場合に応じてその包装若しくは添付文書上に、自己の名称、登録商号若しくは登録商標及び連絡先住所を表示すること
(c) have a quality management system in place which complies with Article 17;
(c) 第17条に適合する品質マネジメントシステムを備えること
(d) keep the documentation referred to in Article 18;
(d) 第18条にいう文書を保持すること
(e) when under their control, keep the logs automatically generated by their high-risk AI systems as referred to in Article 19;
(e) 自己の管理下にある場合には、第19条にいう自らのハイリスクAIシステムにより自動的に生成されるログを保持すること
(f) ensure that the high-risk AI system undergoes the relevant conformity assessment procedure as referred to in Article 43, prior to its being placed on the market or put into service;
(f) ハイリスクAIシステムが市場に上市され又は運用に供される前に、第43条にいう関連する適合性評価手続を受けることを確保すること
(g) draw up an EU declaration of conformity in accordance with Article 47;
(g) 第47条に従いEU適合宣言書を作成すること
(h) affix the CE marking to the high-risk AI system or, where that is not possible, on its packaging or its accompanying documentation, to indicate conformity with this Regulation, in accordance with Article 48;
(h) 本規則への適合を示すため、第48条に従い、ハイリスクAIシステムに、又はこれが不可能な場合には、その包装若しくは添付文書にCEマーキングを付すこと
(i) comply with the registration obligations referred to in Article 49(1);
(i) 第49条第1項にいう登録義務を遵守すること
(j) take the necessary corrective actions and provide information as required in Article 20;
(j) 第20条に要求される必要な是正措置を講じ、及び情報を提供すること
(k) upon a reasoned request of a national competent authority, demonstrate the conformity of the high-risk AI system with the requirements set out in Section 2;
(k) 国の管轄当局からの理由を付した要請があった場合には、ハイリスクAIシステムが第2節に定める要件に適合していることを証明すること
(l) ensure that the high-risk AI system complies with accessibility requirements in accordance with Directives (EU) 2016/2102 and (EU) 2019/882.
(l) ハイリスクAIシステムが指令(EU)2016/2102及び指令(EU)2019/882に従ったアクセシビリティ要件に適合していることを確保すること

Article 17: Quality management system / 品質管理システム

1. Providers of high-risk AI systems shall put a quality management system in place that ensures compliance with this Regulation. That system shall be documented in a systematic and orderly manner in the form of written policies, procedures and instructions, and shall include at least the following aspects:
1. ハイリスクAIシステムの提供者は、本規則の遵守を確保する品質管理システムを整備しなければならない。当該システムは、書面による方針、手続及び指示の形式により、体系的かつ整然とした方法で文書化しなければならず、少なくとも次の事項を含めなければならない。
(a) a strategy for regulatory compliance, including compliance with conformity assessment procedures and procedures for the management of modifications to the high-risk AI system;
(a) 適合性評価手続の遵守及びハイリスクAIシステムの変更管理のための手続を含む、規制遵守のための戦略
(b) techniques, procedures and systematic actions to be used for the design, design control and design verification of the high-risk AI system;
(b) ハイリスクAIシステムの設計、設計管理及び設計検証のために用いられる技術、手続及び体系的な措置
(c) techniques, procedures and systematic actions to be used for the development, quality control and quality assurance of the high-risk AI system;
(c) ハイリスクAIシステムの開発、品質管理及び品質保証のために用いられる技術、手続及び体系的な措置
(d) examination, test and validation procedures to be carried out before, during and after the development of the high-risk AI system, and the frequency with which they have to be carried out;
(d) ハイリスクAIシステムの開発の前、開発中及び開発後に実施すべき審査、試験及び検証の手続並びにそれらを実施すべき頻度
(e) technical specifications, including standards, to be applied and, where the relevant harmonised standards are not applied in full or do not cover all of the relevant requirements set out in Section 2, the means to be used to ensure that the high-risk AI system complies with those requirements;
(e) 適用すべき技術仕様(標準を含む)、及び、関連する整合規格が完全には適用されない場合又は第2節に定める関連要件の全てを網羅しない場合において、ハイリスクAIシステムが当該要件に適合することを確保するために用いる手段
(f) systems and procedures for data management, including data acquisition, data collection, data analysis, data labelling, data storage, data filtration, data mining, data aggregation, data retention and any other operation regarding the data that is performed before and for the purpose of the placing on the market or the putting into service of high-risk AI systems;
(f) データの取得、収集、分析、ラベル付け、保存、フィルタリング、マイニング、集約、保持その他ハイリスクAIシステムの上市又は運用開始前及びそのために行われるデータに関するあらゆる操作を含む、データ管理のためのシステム及び手続
(g) the risk management system referred to in Article 9;
(g) 第9条に規定するリスク管理システム
(h) the setting-up, implementation and maintenance of a post-market monitoring system, in accordance with Article 72;
(h) 第72条に従った市販後監視システムの構築、実施及び維持
(i) procedures related to the reporting of a serious incident in accordance with Article 73;
(i) 第73条に従った重大インシデントの報告に関する手続
(j) the handling of communication with national competent authorities, other relevant authorities, including those providing or supporting the access to data, notified bodies, other operators, customers or other interested parties;
(j) 国内所管当局、データへのアクセスを提供し又は支援する当局を含むその他の関連当局、公認機関、その他の事業者、顧客その他の利害関係者との連絡対応
(k) systems and procedures for record-keeping of all relevant documentation and information;
(k) 全ての関連する文書及び情報の記録保持のためのシステム及び手続
(l) resource management, including security-of-supply related measures;
(l) 供給の安定確保に関する措置を含む資源管理
(m) an accountability framework setting out the responsibilities of the management and other staff with regard to all the aspects listed in this paragraph.
(m) 本項に列挙する全ての事項に関する経営陣及びその他の職員の責任を定める説明責任の枠組み
2026年改正2. The implementation of the aspects referred to in paragraph 1 shall be proportionate to the size of the provider’s organisation, in particular, if the provider is an SME, including a start-up, or an SMC. Providers shall, in any event, respect the degree of rigour and the level of protection required to ensure the compliance of their high-risk AI systems with this Regulation.
2. 第1項に規定する事項の実施は、提供者の組織の規模、特に、提供者が中小企業(新興企業を含む)又は中小規模中堅企業(SMC)である場合の規模に比例したものでなければならない。提供者は、いかなる場合においても、その高リスクAIシステムの本規則への適合を確保するために求められる厳格さの程度及び保護の水準を遵守しなければならない。
3. Providers of high-risk AI systems that are subject to obligations regarding quality management systems or an equivalent function under relevant sectoral Union law may include the aspects listed in paragraph 1 as part of the quality management systems pursuant to that law.
3. 関連する分野別の連合法の下で品質管理システム又はこれと同等の機能に関する義務を負うハイリスクAIシステムの提供者は、第1項に列挙する事項を、当該法令に基づく品質管理システムの一部として含めることができる。
4. For providers that are financial institutions subject to requirements regarding their internal governance, arrangements or processes under Union financial services law, the obligation to put in place a quality management system, with the exception of paragraph 1, points (g), (h) and (i) of this Article, shall be deemed to be fulfilled by complying with the rules on internal governance arrangements or processes pursuant to the relevant Union financial services law. To that end, any harmonised standards referred to in Article 40 shall be taken into account.
4. 連合金融サービス法の下でその内部統治、体制又は手続に関する要件の対象となる金融機関である提供者については、品質管理システムを整備する義務は、本条第1項(g)、(h)及び(i)を除き、関連する連合金融サービス法に基づく内部統治体制又は手続に関する規則を遵守することによって満たされたものとみなす。この目的のため、第40条に規定する整合規格があればこれを考慮しなければならない。

Article 18: Documentation keeping / 文書の保持

1. The provider shall, for a period ending 10 years after the high-risk AI system has been placed on the market or put into service, keep at the disposal of the national competent authorities:
1. 提供者は、ハイリスクAIシステムが上市され又は運用が開始された後10年が経過するまでの期間、次の文書を国内所管当局が利用できる状態で保持しなければならない。
(a) the technical documentation referred to in Article 11;
(a) 第11条に規定する技術文書
(b) the documentation concerning the quality management system referred to in Article 17;
(b) 第17条に規定する品質管理システムに関する文書
(c) the documentation concerning the changes approved by notified bodies, where applicable;
(c) 該当する場合、公認機関が承認した変更に関する文書
(d) the decisions and other documents issued by the notified bodies, where applicable;
(d) 該当する場合、公認機関が発行した決定その他の文書
(e) the EU declaration of conformity referred to in Article 47.
(e) 第47条に規定するEU適合宣言
2. Each Member State shall determine conditions under which the documentation referred to in paragraph 1 remains at the disposal of the national competent authorities for the period indicated in that paragraph for the cases when a provider or its authorised representative established on its territory goes bankrupt or ceases its activity prior to the end of that period.
2. 各加盟国は、その領域内に設立された提供者又はその授権代理人が当該期間の終了前に破産し又は事業を停止した場合について、第1項に規定する文書が同項に定める期間、国内所管当局の利用に供され続けるための条件を定めなければならない。
3. Providers that are financial institutions subject to requirements regarding their internal governance, arrangements or processes under Union financial services law shall maintain the technical documentation as part of the documentation kept under the relevant Union financial services law.
3. 連合金融サービス法の下でその内部統治、体制又は手続に関する要件の対象となる金融機関である提供者は、技術文書を、関連する連合金融サービス法に基づき保持される文書の一部として維持しなければならない。

Article 19: Automatically generated logs / 自動的に生成されるログ

1. Providers of high-risk AI systems shall keep the logs referred to in Article 12(1), automatically generated by their high-risk AI systems, to the extent such logs are under their control. Without prejudice to applicable Union or national law, the logs shall be kept for a period appropriate to the intended purpose of the high-risk AI system, of at least six months, unless provided otherwise in the applicable Union or national law, in particular in Union law on the protection of personal data.
1. ハイリスクAIシステムの提供者は、第12条第1項に規定する、そのハイリスクAIシステムにより自動的に生成されるログを、当該ログが自己の管理下にある限りにおいて保持しなければならない。適用される連合法又は国内法の規定を妨げることなく、当該ログは、ハイリスクAIシステムの意図する目的に適した期間、少なくとも6箇月間保持しなければならない。ただし、適用される連合法又は国内法、特に個人データの保護に関する連合法において別段の定めがある場合は、この限りでない。
2. Providers that are financial institutions subject to requirements regarding their internal governance, arrangements or processes under Union financial services law shall maintain the logs automatically generated by their high-risk AI systems as part of the documentation kept under the relevant financial services law.
2. 連合金融サービス法の下でその内部統治、体制又は手続に関する要件の対象となる金融機関である提供者は、そのハイリスクAIシステムにより自動的に生成されるログを、関連する金融サービス法に基づき保持される文書の一部として維持しなければならない。

Article 20: Corrective actions and duty of information / 是正措置及び情報提供義務

1. Providers of high-risk AI systems which consider or have reason to consider that a high-risk AI system that they have placed on the market or put into service is not in conformity with this Regulation shall immediately take the necessary corrective actions to bring that system into conformity, to withdraw it, to disable it, or to recall it, as appropriate. They shall inform the distributors of the high-risk AI system concerned and, where applicable, the deployers, the authorised representative and importers accordingly.
1. 自ら上市し又は運用を開始したハイリスクAIシステムが本規則に適合していないと考える又はそのように考える理由を有するハイリスクAIシステムの提供者は、直ちに、当該システムを適合させるため、これを撤回するため、機能を停止させるため、又は回収するために必要な是正措置を、状況に応じて講じなければならない。提供者は、当該ハイリスクAIシステムの流通業者、及び該当する場合には配備者、授権代理人及び輸入業者に対し、その旨を通知しなければならない。
2. Where the high-risk AI system presents a risk within the meaning of Article 79(1) and the provider becomes aware of that risk, it shall immediately investigate the causes, in collaboration with the reporting deployer, where applicable, and inform the market surveillance authorities competent for the high-risk AI system concerned and, where applicable, the notified body that issued a certificate for that high-risk AI system in accordance with Article 44, in particular, of the nature of the non-compliance and of any relevant corrective action taken.
2. ハイリスクAIシステムが第79条第1項の意味におけるリスクを呈しており、提供者が当該リスクを認識した場合、提供者は、該当する場合には報告を行った配備者と連携して、直ちにその原因を調査するとともに、当該ハイリスクAIシステムを所管する市場監視当局、及び該当する場合には第44条に従って当該ハイリスクAIシステムの証明書を発行した公認機関に対し、特に不適合の内容及び講じた関連する是正措置について通知しなければならない。

Article 21: Cooperation with competent authorities / 所管当局との協力

1. Providers of high-risk AI systems shall, upon a reasoned request by a competent authority, provide that authority all the information and documentation necessary to demonstrate the conformity of the high-risk AI system with the requirements set out in Section 2, in a language which can be easily understood by the authority in one of the official languages of the institutions of the Union as indicated by the Member State concerned.
1. ハイリスクAIシステムの提供者は、所管当局からの理由を付した要求があった場合には、当該ハイリスクAIシステムが第2節に定める要件に適合していることを証明するために必要な全ての情報及び文書を、関係加盟国が示す連合の機関の公用語のうち当該当局が容易に理解できる言語で、当該当局に提供しなければならない。
2. Upon a reasoned request by a competent authority, providers shall also give the requesting competent authority, as applicable, access to the automatically generated logs of the high-risk AI system referred to in Article 12(1), to the extent such logs are under their control.
2. 所管当局からの理由を付した要求があった場合には、提供者は、該当する場合、第12条第1項に規定するハイリスクAIシステムの自動的に生成されたログについても、当該ログが自己の管理下にある限りにおいて、要求を行った所管当局に対しアクセスを提供しなければならない。
3. Any information obtained by a competent authority pursuant to this Article shall be treated in accordance with the confidentiality obligations set out in Article 78.
3. 所管当局が本条に従って取得した情報は、第78条に定める秘密保持義務に従って取り扱わなければならない。

Article 22: Authorised representatives of providers of high-risk AI systems / ハイリスクAIシステムの提供者の授権代理人

1. Prior to making their high-risk AI systems available on the Union market, providers established in third countries shall, by written mandate, appoint an authorised representative which is established in the Union.
1. 第三国に設立された提供者は、そのハイリスクAIシステムを連合市場において利用可能とする前に、書面による委任により、連合内に設立された授権代理人を選任しなければならない。
2. The provider shall enable its authorised representative to perform the tasks specified in the mandate received from the provider.
2. 提供者は、自己の認定代理人が提供者から受けた委任状に明記された任務を遂行できるようにしなければならない。
3. The authorised representative shall perform the tasks specified in the mandate received from the provider. It shall provide a copy of the mandate to the market surveillance authorities upon request, in one of the official languages of the institutions of the Union, as indicated by the competent authority. For the purposes of this Regulation, the mandate shall empower the authorised representative to carry out the following tasks:
3. 授権代理人は、提供者から受けた委任状に定める任務を遂行しなければならない。授権代理人は、要求があった場合には、所管当局が示す連合の機関の公用語の一つにより、委任状の写しを市場監視当局に提供しなければならない。本規則の適用上、委任状は、授権代理人に対し、次の任務を遂行する権限を付与するものでなければならない。
(a) verify that the EU declaration of conformity referred to in Article 47 and the technical documentation referred to in Article 11 have been drawn up and that an appropriate conformity assessment procedure has been carried out by the provider;
(a) 第47条に規定するEU適合宣言及び第11条に規定する技術文書が作成されていること、並びに提供者により適切な適合性評価手続が実施されていることを確認すること
(b) keep at the disposal of the competent authorities and national authorities or bodies referred to in Article 74(10), for a period of 10 years after the high-risk AI system has been placed on the market or put into service, the contact details of the provider that appointed the authorised representative, a copy of the EU declaration of conformity referred to in Article 47, the technical documentation and, if applicable, the certificate issued by the notified body;
(b) ハイリスクAIシステムが上市され又は運用が開始された後10年間、所管当局及び第74条第10項に規定する国内当局又は機関の利用に供するため、授権代理人を選任した提供者の連絡先、第47条に規定するEU適合宣言の写し、技術文書、及び該当する場合には公認機関が発行した証明書を保持すること
(c) provide a competent authority, upon a reasoned request, with all the information and documentation, including that referred to in point (b) of this subparagraph, necessary to demonstrate the conformity of a high-risk AI system with the requirements set out in Section 2, including access to the logs, as referred to in Article 12(1), automatically generated by the high-risk AI system, to the extent such logs are under the control of the provider;
(c) 理由を付した要求があった場合には、所管当局に対し、ハイリスクAIシステムが第2節に定める要件に適合していることを証明するために必要な全ての情報及び文書(本号(b)に規定するものを含む)を提供すること。これには、提供者の管理下にある限りにおいて、第12条第1項に規定するハイリスクAIシステムにより自動的に生成されたログへのアクセスを含む。
(d) cooperate with competent authorities, upon a reasoned request, in any action the latter take in relation to the high-risk AI system, in particular to reduce and mitigate the risks posed by the high-risk AI system;
(d) 理由を付した要求があった場合には、所管当局が当該ハイリスクAIシステムに関して講じる措置、特に当該ハイリスクAIシステムがもたらすリスクを低減し及び緩和するための措置に協力すること
(e) where applicable, comply with the registration obligations referred to in Article 49(1), or, if the registration is carried out by the provider itself, ensure that the information referred to in point 3 of Section A of Annex VIII is correct. The mandate shall empower the authorised representative to be addressed, in addition to or instead of the provider, by the competent authorities, on all issues related to ensuring compliance with this Regulation.
(e) 該当する場合には、第49条第1項に規定する登録義務を遵守すること、又は登録が提供者自身により行われる場合には、附属書VIIIセクションAの第3項に規定する情報が正確であることを確保すること 委任状は、授権代理人に対し、本規則の遵守の確保に関連する全ての事項について、提供者に加えて又はこれに代えて、所管当局から連絡を受ける権限を付与するものでなければならない。
4. The authorised representative shall terminate the mandate if it considers or has reason to consider the provider to be acting contrary to its obligations pursuant to this Regulation. In such a case, it shall immediately inform the relevant market surveillance authority, as well as, where applicable, the relevant notified body, about the termination of the mandate and the reasons therefor.
4. 授権代理人は、提供者が本規則に基づく義務に違反して行動していると考える又はそのように考える理由を有する場合には、委任を終了しなければならない。この場合において、授権代理人は、直ちに、関係する市場監視当局及び該当する場合には関係する公認機関に対し、委任の終了及びその理由を通知しなければならない。

Article 23: Obligations of importers / 輸入業者の義務

1. Before placing a high-risk AI system on the market, importers shall ensure that the system is in conformity with this Regulation by verifying that:
1. 輸入業者は、ハイリスクAIシステムを上市する前に、次の事項を確認することにより、当該システムが本規則に適合していることを確保しなければならない。
(a) the relevant conformity assessment procedure referred to in Article 43 has been carried out by the provider of the high-risk AI system;
(a) 第43条に規定する関連する適合性評価手続が当該ハイリスクAIシステムの提供者により実施されていること
(b) the provider has drawn up the technical documentation in accordance with Article 11 and Annex IV;
(b) 提供者が第11条及び附属書IVに従って技術文書を作成していること
(c) the system bears the required CE marking and is accompanied by the EU declaration of conformity referred to in Article 47 and instructions for use;
(c) 当該システムが所要のCEマーキングを付されており、第47条に規定するEU適合宣言及び使用説明書を伴っていること
(d) the provider has appointed an authorised representative in accordance with Article 22(1).
(d) 提供者が第22条第1項に従って授権代理人を選任していること
2. Where an importer has sufficient reason to consider that a highrisk AI system is not in conformity with this Regulation, or is falsified, or accompanied by falsified documentation, it shall not place the system on the market until it has been brought into conformity. Where the high-risk AI system presents a risk within the meaning of Article 79(1), the importer shall inform the provider of the system, the authorised representative and the market surveillance authorities to that effect.
2. 輸入者は、高リスクAIシステムが本規則に適合していないと考える十分な理由がある場合、又は当該システムが偽造されている若しくは偽造された文書を伴っていると考える十分な理由がある場合には、当該システムが適合するに至るまで、これを上市してはならない。当該高リスクAIシステムが第79条第1項の意味におけるリスクを提示する場合、輸入者は、その旨を当該システムの提供者、授権代理人及び市場監視当局に通知しなければならない。
3. Importers shall indicate their name, registered trade name or registered trade mark, and the address at which they can be contacted on the high-risk AI system and on its packaging or its accompanying documentation, where applicable.
3. 輸入業者は、自己の名称、登録商号若しくは登録商標及び連絡先の住所を、ハイリスクAIシステム及び該当する場合にはその包装又は添付文書に表示しなければならない。
4. Importers shall ensure that, while a high-risk AI system is under their responsibility, storage or transport conditions, where applicable, do not jeopardise its compliance with the requirements set out in Section 2.
4. 輸入業者は、ハイリスクAIシステムが自己の責任の下にある間、該当する場合には、保管又は輸送の条件が第2節に定める要件への適合を損なわないことを確保しなければならない。
5. Importers shall keep, for a period of 10 years after the high-risk AI system has been placed on the market or put into service, a copy of the certificate issued by the notified body, where applicable, of the instructions for use, and of the EU declaration of conformity referred to in Article 47.
5. 輸入業者は、ハイリスクAIシステムが上市され又は運用が開始された後10年間、該当する場合には公認機関が発行した証明書、使用説明書及び第47条に規定するEU適合宣言の写しを保持しなければならない。
6. Importers shall provide the relevant competent authorities, upon a reasoned request, with all the necessary information and documentation, including that referred to in paragraph 5, to demonstrate the conformity of a high-risk AI system with the requirements set out in Section 2 in a language which can be easily understood by them. For this purpose, they shall also ensure that the technical documentation can be made available to those authorities.
6. 輸入業者は、所管当局からの理由を付した要求があった場合には、ハイリスクAIシステムが第2節に定める要件に適合していることを証明するために必要な全ての情報及び文書(第5項に規定するものを含む)を、当該当局が容易に理解できる言語で提供しなければならない。この目的のため、輸入業者は、当該当局が技術文書を入手できるようにしなければならない。
7. Importers shall cooperate with the relevant competent authorities in any action those authorities take in relation to a high-risk AI system placed on the market by the importers, in particular to reduce and mitigate the risks posed by it.
7. 輸入業者は、自己が上市したハイリスクAIシステムに関して関連する所管当局が講じる措置、特に当該システムがもたらすリスクを低減し及び緩和するための措置に協力しなければならない。

Article 24: Obligations of distributors / 流通業者の義務

1. Before making a high-risk AI system available on the market, distributors shall verify that it bears the required CE marking, that it is accompanied by a copy of the EU declaration of conformity referred to in Article 47 and instructions for use, and that the provider and the importer of that system, as applicable, have complied with their respective obligations as laid down in Article 16, points (b) and (c) and Article 23(3).
1. 流通業者は、ハイリスクAIシステムを市場において利用可能とする前に、当該システムが所要のCEマーキングを付されていること、第47条に規定するEU適合宣言の写し及び使用説明書を伴っていること、並びに該当する場合には当該システムの提供者及び輸入業者が第16条(b)及び(c)並びに第23条第3項に定めるそれぞれの義務を遵守していることを確認しなければならない。
2. Where a distributor considers or has reason to consider, on the basis of the information in its possession, that a high-risk AI system is not in conformity with the requirements set out in Section 2, it shall not make the high-risk AI system available on the market until the system has been brought into conformity with those requirements. Furthermore, where the high-risk AI system presents a risk within the meaning of Article 79(1), the distributor shall inform the provider or the importer of the system, as applicable, to that effect.
2. 流通業者が、自己が保有する情報に基づき、ハイリスクAIシステムが第2節に定める要件に適合していないと考える又はそのように考える理由を有する場合には、流通業者は、当該システムが当該要件に適合するに至るまで、これを市場において利用可能としてはならない。さらに、ハイリスクAIシステムが第79条第1項の意味におけるリスクを呈する場合には、流通業者は、該当する場合、その旨を当該システムの提供者又は輸入業者に通知しなければならない。
3. Distributors shall ensure that, while a high-risk AI system is under their responsibility, storage or transport conditions, where applicable, do not jeopardise the compliance of the system with the requirements set out in Section 2.
3. 流通業者は、ハイリスクAIシステムが自己の責任の下にある間、該当する場合には、保管又は輸送の条件が第2節に定める要件への当該システムの適合を損なわないことを確保しなければならない。
4. A distributor that considers or has reason to consider, on the basis of the information in its possession, a high-risk AI system which it has made available on the market not to be in conformity with the requirements set out in Section 2, shall take the corrective actions necessary to bring that system into conformity with those requirements, to withdraw it or recall it, or shall ensure that the provider, the importer or any relevant operator, as appropriate, takes those corrective actions. Where the high-risk AI system presents a risk within the meaning of Article 79(1), the distributor shall immediately inform the provider or importer of the system and the authorities competent for the high-risk AI system concerned, giving details, in particular, of the noncompliance and of any corrective actions taken.
4. 流通業者は、自己が保有する情報に基づき、自ら上市した高リスクAIシステムが第2節に定める要件に適合していないと考える場合又はそのように考える理由がある場合には、当該システムをこれらの要件に適合させるために必要な是正措置を講じ、これを撤去し若しくはリコールするものとし、又は提供者、輸入者若しくは関連する運用者が、場合に応じて、当該是正措置を講じることを確保しなければならない。当該高リスクAIシステムが第79条第1項の意味におけるリスクを提示する場合、流通業者は、特に不適合の内容及び講じられた是正措置の詳細を示して、直ちに当該システムの提供者若しくは輸入者及び関連する高リスクAIシステムを所管する当局に通知しなければならない。
5. Upon a reasoned request from a relevant competent authority, distributors of a high-risk AI system shall provide that authority with all the information and documentation regarding their actions pursuant to paragraphs 1 to 4 necessary to demonstrate the conformity of that system with the requirements set out in Section 2.
5. 関連する所管当局からの理由を付した要求があった場合には、ハイリスクAIシステムの流通業者は、第1項から第4項までに規定する自己の措置に関し、当該システムが第2節に定める要件に適合していることを証明するために必要な全ての情報及び文書を、当該当局に提供しなければならない。
6. Distributors shall cooperate with the relevant competent authorities in any action those authorities take in relation to a high-risk AI system made available on the market by the distributors, in particular to reduce or mitigate the risk posed by it.
6. 流通業者は、自己が市場において利用可能としたハイリスクAIシステムに関して関連する所管当局が講じる措置、特に当該システムがもたらすリスクを低減し又は緩和するための措置に協力しなければならない。

Article 25: Responsibilities along the AI value chain / AIバリューチェーンに沿った責任

1. Any distributor, importer, deployer or other third-party shall be considered to be a provider of a high-risk AI system for the purposes of this Regulation and shall be subject to the obligations of the provider under Article 16, in any of the following circumstances:
1. 流通業者、輸入者、配備者又はその他の第三者は、次のいずれかの状況に該当する場合には、本規則の適用上、高リスクAIシステムの提供者とみなされ、第16条に基づく提供者の義務を負うものとする。
(a) they put their name or trademark on a high-risk AI system already placed on the market or put into service, without prejudice to contractual arrangements stipulating that the obligations are otherwise allocated;
(a) 既に上市され又は供用が開始された高リスクAIシステムに自己の名称又は商標を付する場合。ただし、義務が別途配分される旨を定める契約上の取決めを損なうものではない。
(b) they make a substantial modification to a high-risk AI system that has already been placed on the market or has already been put into service in such a way that it remains a high-risk AI system pursuant to Article 6;
(b) 既に上市され又は既に供用が開始された高リスクAIシステムに対し、第6条に従い当該システムが引き続き高リスクAIシステムであり続けるような態様で実質的な改変を行う場合。
(c) they modify the intended purpose of an AI system, including a general-purpose AI system, which has not been classified as high-risk and has already been placed on the market or put into service in such a way that the AI system concerned becomes a highrisk AI system in accordance with Article 6.
(c) 高リスクに分類されておらず既に上市され又は供用が開始された汎用AIシステムを含むAIシステムの意図された目的を、第6条に従い当該AIシステムが高リスクAIシステムとなるような態様で変更する場合。
2. Where the circumstances referred to in paragraph 1 occur, the provider that initially placed the AI system on the market or put it into service shall no longer be considered to be a provider of that specific AI system for the purposes of this Regulation. That initial provider shall closely cooperate with new providers and shall make available the necessary information and provide the reasonably expected technical access and other assistance that are required for the fulfilment of the obligations set out in this Regulation, in particular with regard to compliance with the conformity assessment of high-risk AI systems. In particular, the obligation laid down in the second subparagraph shall include, where relevant for the purposes specified therein, the following:
2. 第1項に規定する状況が生じた場合、当該AIシステムを当初上市し又は供用を開始した提供者は、本規則の適用上、当該特定のAIシステムの提供者とはみなされなくなるものとする。当該当初の提供者は、新たな提供者と緊密に協力しなければならず、本規則に定める義務、特に高リスクAIシステムの適合性評価への適合に関する義務の履行のために必要とされる情報を提供し、合理的に期待される技術的アクセス及びその他の支援を提供しなければならない。特に、前段に定める義務には、その目的に照らして関連する場合には、次の事項が含まれるものとする。
(a) making available of technical documentation sufficient to assess compliance with the requirements laid down in Article 16;
(a) 第16条に定める要件への適合性を評価するために十分な技術文書を提供すること。
(b) informing the new providers about known limitations and failure modes; and
(b) 新たな提供者に対し、既知の制限事項及び故障モードについて通知すること。
(c) providing the new providers with targeted technical access, including for testing and validation. This paragraph shall not apply in cases where the initial provider has clearly specified that its AI system is not to be changed into a high-risk AI system and therefore does not fall under the obligation to cooperate with the new providers and hand over the documentation.
(c) 新たな提供者に対し、テスト及び検証のためのものを含む、的を絞った技術的アクセスを提供すること。本項は、当初の提供者が、自己のAIシステムが高リスクAIシステムに変更されないことを明確に特定しており、したがって新たな提供者との協力及び文書の引渡しの義務に該当しない場合には、適用されない。
3. In the case of high-risk AI systems that are safety components of products covered by the Union harmonisation legislation listed in Section A of Annex I, the product manufacturer shall be considered to be the provider of the high-risk AI system, and shall be subject to the obligations under Article 16 under either of the following circumstances:
3. 附属書I第A節に列挙する連合調和法制の対象となる製品の安全部品である高リスクAIシステムの場合、次のいずれかの状況においては、当該製品の製造者が当該高リスクAIシステムの提供者とみなされ、第16条に基づく義務を負うものとする。
(a) the high-risk AI system is placed on the market together with the product under the name or trademark of the product manufacturer;
(a) 高リスクAIシステムが、当該製品の製造者の名称又は商標の下に、当該製品とともに上市される場合。
(b) the high-risk AI system is put into service under the name or trademark of the product manufacturer after the product has been placed on the market.
(b) 当該製品が上市された後、高リスクAIシステムが当該製品の製造者の名称又は商標の下に供用が開始される場合。
2026年改正4. The provider of a high-risk AI system and the third party that supplies an AI system, AI model, tools, services, components, or processes that are used or integrated in a high-risk AI system shall, by written agreement, specify the necessary information, capabilities, technical access and other assistance based on the generally acknowledged state of the art, in order to enable the provider of the high-risk AI system to fully comply with the obligations set out in this Regulation. This paragraph shall not apply to third parties making accessible to the public tools, services, processes, or components, other than general-purpose AI models, under a free and open-source licence.
4. 高リスクAIシステムの提供者と、当該高リスクAIシステムにおいて使用され若しくは統合されるAIシステム、AIモデル、ツール、サービス、構成部品又はプロセスを供給する第三者は、高リスクAIシステムの提供者が本規則に定める義務を完全に遵守できるようにするため、一般に認められた技術水準に基づき、必要な情報、能力、技術的アクセス及びその他の支援を書面による合意により特定しなければならない。本項は、汎用AIモデルを除くツール、サービス、プロセス又は構成部品を無償かつオープンソースのライセンスの下で公衆が利用可能な状態に置く第三者には適用されない。
2026年改正The AI Office may develop and recommend voluntary model terms for contracts between providers of high-risk AI systems and third parties that supply tools, services, components or processes that are used for or integrated into high-risk AI systems. When developing those voluntary model terms, the AI Office shall take into account possible contractual requirements applicable in specific sectors or business cases. The voluntary model terms shall be published and be available free of charge in an easily usable electronic format.
AI室は、高リスクAIシステムの提供者と、高リスクAIシステムのために使用され又はこれに統合されるツール、サービス、構成部品又はプロセスを供給する第三者との間の契約について、任意のモデル条項を策定し、及び推奨することができる。当該任意のモデル条項を策定するに当たり、AI室は、特定の分野又は事業形態に適用され得る契約上の要件を考慮するものとする。当該任意のモデル条項は、公表され、利用しやすい電子形式で無償で利用可能とされるものとする。
2026年改正5. Paragraphs 2 and 3 are without prejudice to the need to observe and protect intellectual property rights, confidential business information and trade secrets in accordance with Union and national law.
5. 第2項及び第3項は、連合法及び国内法に従って知的財産権、営業秘密情報及び企業秘密を遵守し、及び保護する必要性を損なうものではない。

Article 26: Obligations of deployers of high-risk AI systems / ハイリスクAIシステムの展開事業者の義務

2026年改正1. Deployers of high-risk AI systems shall take appropriate technical and organisational measures to ensure they use such systems in accordance with the instructions for use accompanying the systems, pursuant to paragraphs 3 and 6.
1. 高リスクAIシステムの配備者は、第3項及び第6項に従い、当該システムに付属する使用説明書に従って当該システムを使用することを確保するため、適切な技術的及び組織的措置を講じなければならない。
2026年改正2. Deployers shall assign human oversight to natural persons who have the necessary competence, training and authority, as well as the necessary support.
2. 配備者は、必要な能力、訓練及び権限を有し、かつ、必要な支援を受ける自然人に人的監視を割り当てなければならない。
2026年改正3. The obligations set out in paragraphs 1 and 2, are without prejudice to other deployer obligations under Union or national law and to the deployer’s freedom to organise its own resources and activities for the purpose of implementing the human oversight measures indicated by the provider.
3. 第1項及び第2項に定める義務は、連合法又は国内法に基づく配備者のその他の義務、及び提供者が示した人的監視措置を実施する目的で自己の資源及び活動を組織する配備者の自由を損なうものではない。
2026年改正4. Without prejudice to paragraphs 1 and 2, to the extent the deployer exercises control over the input data, that deployer shall ensure that input data is relevant and sufficiently representative in view of the intended purpose of the high-risk AI system.
4. 第1項及び第2項を損なうことなく、配備者が入力データを管理する限りにおいて、当該配備者は、高リスクAIシステムの意図された目的に照らして入力データが関連性を有し、かつ十分に代表性を有することを確保しなければならない。
2026年改正5. Deployers shall monitor the operation of the high-risk AI system on the basis of the instructions for use and, where relevant, inform providers in accordance with Article 72. Where deployers have reason to consider that the use of the high-risk AI system in accordance with the instructions may result in that AI system presenting a risk within the meaning of Article 79(1), they shall, without undue delay, inform the provider or distributor and the relevant market surveillance authority, and shall suspend the use of that system. Where deployers have identified a serious incident, they shall also immediately inform first the provider, and then the importer or distributor and the relevant market surveillance authorities of that incident. If the deployer is not able to reach the provider, Article 73 shall apply mutatis mutandis. This obligation shall not cover sensitive operational data of deployers of AI systems which are law enforcement authorities. For deployers that are financial institutions subject to requirements regarding their internal governance, arrangements or processes under Union financial services law, the monitoring obligation set out in the first subparagraph shall be deemed to be fulfilled by complying with the rules on internal governance arrangements, processes and mechanisms pursuant to the relevant financial service law.
5. 配備者は、使用説明書に基づき高リスクAIシステムの運用を監視するものとし、関連する場合には、第72条に従って提供者に通知しなければならない。配備者が、使用説明書に従った高リスクAIシステムの使用により、当該AIシステムが第79条第1項の意味におけるリスクを提示する結果となり得ると考える理由がある場合、配備者は、遅滞なく、提供者若しくは流通業者及び関連する市場監視当局に通知し、かつ、当該システムの使用を停止しなければならない。配備者が重大インシデントを特定した場合、配備者は、直ちに、まず提供者に、次いで輸入者若しくは流通業者及び関連する市場監視当局に当該インシデントを通知しなければならない。配備者が提供者に連絡することができない場合、第73条を準用する。本義務は、法執行当局である配備者の機密性の高い運用データには適用されない。連合金融サービス法に基づき内部統治、体制又はプロセスに関する要件の対象となる金融機関である配備者については、第1段落に定める監視義務は、関連する金融サービス法に基づく内部統治体制、プロセス及び仕組みに関する規則を遵守することにより履行されたものとみなされる。
6. Deployers of high-risk AI systems shall keep the logs automatically generated by that high-risk AI system to the extent such logs are under their control, for a period appropriate to the intended purpose of the high-risk AI system, of at least six months, unless provided otherwise in applicable Union or national law, in particular in Union law on the protection of personal data. Deployers that are financial institutions subject to requirements regarding their internal governance, arrangements or processes under Union financial services law shall maintain the logs as part of the documentation kept pursuant to the relevant Union financial service law.
6. 高リスクAIシステムの配備者は、当該高リスクAIシステムにより自動的に生成されるログについて、これらが自己の管理下にある限りにおいて、高リスクAIシステムの意図された目的に適した期間、少なくとも6箇月間保存しなければならない。ただし、適用される連合法若しくは国内法、特に個人データの保護に関する連合法に別段の定めがある場合は、この限りでない。連合金融サービス法に基づき内部統治、体制又はプロセスに関する要件の対象となる金融機関である配備者は、当該関連する連合金融サービス法に従って保存される文書の一部として当該ログを保持しなければならない。
7. Before putting into service or using a high-risk AI system at the workplace, deployers who are employers shall inform workers’ representatives and the affected workers that they will be subject to the use of the high-risk AI system. This information shall be provided, where applicable, in accordance with the rules and procedures laid down in Union and national law and practice on information of workers and their representatives.
7. 職場において高リスクAIシステムの供用を開始し又は使用する前に、使用者である配備者は、労働者代表及び影響を受ける労働者に対し、当該高リスクAIシステムの使用の対象となる旨を通知しなければならない。当該情報は、該当する場合には、労働者及びその代表者への情報提供に関する連合法及び国内法並びに慣行に定める規則及び手続に従って提供されなければならない。
8. Deployers of high-risk AI systems that are public authorities, or Union institutions, bodies, offices or agencies shall comply with the registration obligations referred to in Article 49. When such deployers find that the high-risk AI system that they envisage using has not been registered in the EU database referred to in Article 71, they shall not use that system and shall inform the provider or the distributor.
8. 公的機関である高リスクAIシステムの配備者、又は連合の機関、団体、事務所若しくは機関である配備者は、第49条に規定する登録義務を遵守しなければならない。当該配備者は、使用を予定している高リスクAIシステムが第71条に規定するEUデータベースに登録されていないことを認めた場合には、当該システムを使用してはならず、提供者又は流通業者に通知しなければならない。
9. Where applicable, deployers of high-risk AI systems shall use the information provided under Article 13 of this Regulation to comply with their obligation to carry out a data protection impact assessment under Article 35 of Regulation (EU) 2016/679 or Article 27 of Directive (EU) 2016/680.
9. 該当する場合には、高リスクAIシステムの配備者は、規則(EU)2016/679第35条又は指令(EU)2016/680第27条に基づくデータ保護影響評価を実施する義務を遵守するため、本規則第13条に基づき提供される情報を使用しなければならない。
10. Without prejudice to Directive (EU) 2016/680, in the framework of an investigation for the targeted search of a person suspected or convicted of having committed a criminal offence, the deployer of a high-risk AI system for post-remote biometric identification shall request an authorisation, ex ante, or without undue delay and no later than 48 hours, by a judicial authority or an administrative authority whose decision is binding and subject to judicial review, for the use of that system, except when it is used for the initial identification of a potential suspect based on objective and verifiable facts directly linked to the offence. Each use shall be limited to what is strictly necessary for the investigation of a specific criminal offence. If the authorisation requested pursuant to the first subparagraph is rejected, the use of the post-remote biometric identification system linked to that requested authorisation shall be stopped with immediate effect and the personal data linked to the use of the high-risk AI system for which the authorisation was requested shall be deleted. In no case shall such high-risk AI system for post-remote biometric identification be used for law enforcement purposes in an untargeted way, without any link to a criminal offence, a criminal proceeding, a genuine and present or genuine and foreseeable threat of a criminal offence, or the search for a specific missing person. It shall be ensured that no decision that produces an adverse legal effect on a person may be taken by the law enforcement authorities based solely on the output of such post-remote biometric identification systems.
10. 指令(EU)2016/680を損なうことなく、刑事犯罪を行った疑いのある者又は有罪判決を受けた者を対象とした捜索のための調査の枠組みにおいて、事後遠隔生体識別のための高リスクAIシステムの配備者は、当該システムの使用について、事前に、又は遅滞なく、遅くとも48時間以内に、司法当局又はその決定が拘束力を有し、かつ司法審査に服する行政当局による許可を請求しなければならない。ただし、当該犯罪行為に直接関連する客観的かつ検証可能な事実に基づき、潜在的な被疑者の初期識別のために使用される場合は、この限りでない。それぞれの使用は、特定の刑事犯罪の捜査のために厳格に必要な限度にとどめられなければならない。第1段落に従って請求された許可が拒否された場合、当該請求に係る事後遠隔生体識別システムの使用は直ちに停止されるものとし、当該許可が請求された高リスクAIシステムの使用に関連する個人データは削除されるものとする。事後遠隔生体識別のための当該高リスクAIシステムは、刑事犯罪、刑事訴訟手続、現実の若しくは現実に予見可能な刑事犯罪の脅威、又は特定の行方不明者の捜索との関連性を有することなく、無差別な方法で法執行の目的のために使用されてはならない。法執行当局が、当該事後遠隔生体識別システムの出力のみに基づいて、人に不利な法的効果を生じさせる決定を行うことができないことが確保されなければならない。
This paragraph is without prejudice to Article 9 of Regulation (EU) 2016/679 and Article 10 of Directive (EU) 2016/680 for the processing of biometric data. Regardless of the purpose or deployer, each use of such high-risk AI systems shall be documented in the relevant police file and shall be made available to the relevant market surveillance authority and the national data protection authority upon request, excluding the disclosure of sensitive operational data related to law enforcement. This subparagraph shall be without prejudice to the powers conferred by Directive (EU) 2016/680 on supervisory authorities. Deployers shall submit annual reports to the relevant market surveillance and national data protection authorities on their use of post-remote biometric identification systems, excluding the disclosure of sensitive operational data related to law enforcement. The reports may be aggregated to cover more than one deployment. Member States may introduce, in accordance with Union law, more restrictive laws on the use of post-remote biometric identification systems.
本項は、生体データの処理に関する規則(EU)2016/679第9条及び指令(EU)2016/680第10条を損なうものではない。目的又は配備者のいかんを問わず、当該高リスクAIシステムの各使用は、関連する警察ファイルに記録されるものとし、法執行に関連する機密性の高い運用データの開示を除き、請求に応じて関連する市場監視当局及び国内データ保護当局が利用できるようにされるものとする。本段落は、指令(EU)2016/680により監督当局に付与された権限を損なうものではない。配備者は、法執行に関連する機密性の高い運用データの開示を除き、事後遠隔生体識別システムの使用に関する年次報告書を、関連する市場監視当局及び国内データ保護当局に提出しなければならない。当該報告書は、複数の配備をまとめて対象とすることができる。加盟国は、連合法に従い、事後遠隔生体識別システムの使用に関するより制限的な法律を導入することができる。
11. Without prejudice to Article 50 of this Regulation, deployers of high-risk AI systems referred to in Annex III that make decisions or assist in making decisions related to natural persons shall inform the natural persons that they are subject to the use of the high-risk AI system. For high-risk AI systems used for law enforcement purposes Article 13 of Directive (EU) 2016/680 shall apply.
11. 本規則第50条を損なうことなく、自然人に関連する決定を行い又はその決定を支援する附属書IIIに規定する高リスクAIシステムの配備者は、当該自然人に対し、当該高リスクAIシステムの使用の対象となる旨を通知しなければならない。法執行目的で使用される高リスクAIシステムについては、指令(EU)2016/680第13条が適用される。
12. Deployers shall cooperate with the relevant competent authorities in any action those authorities take in relation to the high-risk AI system in order to implement this Regulation.
12. 配備者は、本規則を実施するために関連する管轄当局が高リスクAIシステムに関して講じる措置について、当該当局と協力しなければならない。

Article 27: Fundamental rights impact assessment for high-risk AI systems / ハイリスクAIシステムに係る基本的権利影響評価

1. Prior to deploying a high-risk AI system referred to in Article 6(2), with the exception of high-risk AI systems intended to be used in the area listed in point 2 of Annex III, deployers that are bodies governed by public law, or are private entities providing public services, and deployers of high-risk AI systems referred to in points 5 (b) and (c) of Annex III, shall perform an assessment of the impact on fundamental rights that the use of such system may produce. For that purpose, deployers shall perform an assessment consisting of:
1. 第6条第2項に規定する高リスクAIシステム(附属書III第2号に列挙する分野で使用することが意図された高リスクAIシステムを除く)を配備する前に、公法によって規律される団体である配備者、公共サービスを提供する私的事業体である配備者、並びに附属書III第5号(b)及び(c)に規定する高リスクAIシステムの配備者は、当該システムの使用が生じさせ得る基本的権利への影響についての評価を実施しなければならない。この目的のため、配備者は、次の事項からなる評価を実施しなければならない。
(a) a description of the deployer’s processes in which the high-risk AI system will be used in line with its intended purpose;
(a) 高リスクAIシステムがその意図された目的に沿って使用される配備者の業務プロセスの説明
(b) a description of the period of time within which, and the frequency with which, each high-risk AI system is intended to be used;
(b) 各高リスクAIシステムが使用されることが意図されている期間及び頻度の説明
(c) the categories of natural persons and groups likely to be affected by its use in the specific context;
(c) 特定の状況における当該使用によって影響を受ける可能性のある自然人及び集団の区分
(d) the specific risks of harm likely to have an impact on the categories of natural persons or groups of persons identified pursuant to point (c) of this paragraph, taking into account the information given by the provider pursuant to Article 13;
(d) 提供者が第13条に従って提供する情報を考慮した上で、本項(c)に従って特定された自然人又は人の集団の区分に影響を及ぼす可能性のある損害の具体的なリスク
(e) a description of the implementation of human oversight measures, according to the instructions for use;
(e) 使用説明書に従った人的監視措置の実施に関する説明
(f) the measures to be taken in the case of the materialisation of those risks, including the arrangements for internal governance and complaint mechanisms.
(f) 内部統治体制及び苦情処理メカニズムを含む、当該リスクが現実化した場合に講じられる措置
2. The obligation laid down in paragraph 1 applies to the first use of the high-risk AI system. The deployer may, in similar cases, rely on previously conducted fundamental rights impact assessments or existing impact assessments carried out by provider. If, during the use of the high-risk AI system, the deployer considers that any of the elements listed in paragraph 1 has changed or is no longer up to date, the deployer shall take the necessary steps to update the information.
2. 第1項に定める義務は、高リスクAIシステムの最初の使用に適用される。配備者は、類似の事案においては、以前に実施された基本的権利影響評価又は提供者が実施した既存の影響評価に依拠することができる。高リスクAIシステムの使用中に、配備者が第1項に列挙する要素のいずれかが変更された又は最新でなくなったと考える場合、配備者は、当該情報を更新するために必要な措置を講じなければならない。
3. Once the assessment referred to in paragraph 1 of this Article has been performed, the deployer shall notify the market surveillance authority of its results, submitting the filled-out template referred to in paragraph 5 of this Article as part of the notification. In the case referred to in Article 46(1), deployers may be exempt from that obligation to notify.
3. 本条第1項に規定する評価を実施した後、配備者は、その結果を市場監視当局に通知するものとし、通知の一部として、本条第5項に規定する記入済みのテンプレートを提出するものとする。第46条第1項に規定する場合には、配備者は当該通知義務を免除されることがある。
2026年改正4. If any of the obligations laid down in this Article is already met through the data protection impact assessment conducted pursuant to Article 35 of Regulation (EU) 2016/679 or Article 27 of Directive (EU) 2016/680, the deployer may, when conducting the fundamental rights impact assessment referred to in paragraph 1 of this Article, include cross-references to the relevant sections of that data protection impact assessment or include relevant parts thereof in the fundamental rights impact assessment.
4. 本条に定める義務のいずれかが、規則(EU)2016/679第35条又は指令(EU)2016/680第27条に基づき実施されたデータ保護影響評価によって既に満たされている場合には、配備者は、本条第1項に規定する基本的権利影響評価を実施するに当たり、当該データ保護影響評価の関連部分への相互参照を含めること、又はその関連部分を基本的権利影響評価に含めることができる。
2026年改正5. The AI Office shall develop a template for a questionnaire, including through an automated tool, to facilitate deployers in complying with their obligations under this Article in a simplified manner. This template shall, where relevant, give deployers the possibility to include cross-references to the relevant sections of the data protection impact assessment or include relevant parts thereof in the fundamental rights impact assessment pursuant to paragraph 4.
5. AI室は、配備者が本条に基づく義務を簡素化された方法で遵守することを容易にするため、自動化されたツールを含め、質問票のテンプレートを策定するものとする。当該テンプレートは、該当する場合には、配備者が第4項に従い、データ保護影響評価の関連部分への相互参照を含めること、又はその関連部分を基本的権利影響評価に含めることを可能にするものとする。

Section 4: Notifying authorities and notified bodies / 届出当局及び届出機関

Article 28: Notifying authorities / 届出当局

1. Each Member State shall designate or establish at least one notifying authority responsible for setting up and carrying out the necessary procedures for the assessment, designation and notification of conformity assessment bodies and for their monitoring. Those procedures shall be developed in cooperation between the notifying authorities of all Member States.
1. 各加盟国は、適合性評価機関の評価、指定及び通知並びにその監視のために必要な手続を確立し及び実施する責任を負う届出当局を少なくとも1つ指定し又は設置しなければならない。当該手続は、全ての加盟国の届出当局の間の協力の下で策定されなければならない。
2. Member States may decide that the assessment and monitoring referred to in paragraph 1 is to be carried out by a national accreditation body within the meaning of, and in accordance with, Regulation (EC) No 765/2008.
2. 加盟国は、第1項に規定する評価及び監視を、規則(EC)No 765/2008の意味における国内認定機関が実施することを決定することができる。
3. Notifying authorities shall be established, organised and operated in such a way that no conflict of interest arises with conformity assessment bodies, and that the objectivity and impartiality of their activities are safeguarded.
3. 届出当局は、適合性評価機関との間で利害の対立が生じないように、また、その活動の客観性及び公平性が確保されるように、設置され、組織され及び運営されなければならない。
4. Notifying authorities shall be organised in such a way that decisions relating to the notification of conformity assessment bodies are taken by competent persons different from those who carried out the assessment of those bodies.
4. 届出当局は、適合性評価機関の通知に関する決定が、当該機関の評価を行った者とは別の所轄の者によって行われるように組織されなければならない。
5. Notifying authorities shall offer or provide neither any activities that conformity assessment bodies perform, nor any consultancy services on a commercial or competitive basis.
5. 届出当局は、適合性評価機関が行う活動又は商業上若しくは競争上の基盤に基づくコンサルティングサービスのいずれも提供してはならない。
6. Notifying authorities shall safeguard the confidentiality of the information that they obtain, in accordance with Article 78.
6. 届出当局は、第78条に従い、自己が入手した情報の秘密性を保護しなければならない。
7. Notifying authorities shall have an adequate number of competent personnel at their disposal for the proper performance of their tasks. Competent personnel shall have the necessary expertise, where applicable, for their function, in fields such as information technologies, AI and law, including the supervision of fundamental rights.
7. 届出当局は、その任務を適切に遂行するために十分な数の有資格の職員を確保しなければならない。有資格の職員は、該当する場合には、情報技術、AI及び法律(基本的権利の監督を含む。)などの分野において、その職務に必要な専門知識を有していなければならない。
2026年改正8. Notifying authorities designated pursuant to this Regulation that are responsible for AI systems covered by the Union harmonisation legislation listed in Section A of Annex I shall ensure that the conformity assessment body that applies for designation both pursuant to this Regulation and the Union harmonisation legislation listed in Section A of Annex I is provided with the possibility to submit a single application and undergoes a unified assessment procedure to be designated pursuant to this Regulation and Union harmonisation legislation listed in Section A of Annex I, where the relevant Union harmonisation legislation provides for such single application and unified assessment procedure. To that end, notifying authorities designated pursuant to this Regulation and those designated pursuant to the Union harmonisation legislation listed in Section A of Annex I shall cooperate in their assessments. The single application and the unified assessment procedure referred to in this paragraph shall also be made available to notified bodies already designated pursuant to the Union harmonisation legislation listed in Section A of Annex I, when those notified bodies apply for designation pursuant to this Regulation, provided that the relevant Union harmonisation legislation provides for such a procedure. A conformity assessment body that is designated pursuant to more than one piece of Union harmonisation legislation listed in Section A of Annex I shall have to apply only once to be designated pursuant to this Regulation. A designation pursuant to this Regulation shall be applicable for all Union harmonisation legislation listed in Section A of Annex I for which the conformity assessment body is designated. The single application and the unified assessment procedure shall avoid any unnecessary duplications, build on the existing procedures for designation in accordance with the Union harmonisation legislation listed in Section A of Annex I and ensure compliance with the requirements relating to notified bodies both in accordance with this Regulation and the relevant Union harmonisation legislation.
8. 附属書I第A節に列挙された連合調和法令の対象となるAIシステムを所管する、本規則に基づき指定された届出当局は、本規則及び附属書I第A節に列挙された連合調和法令の双方に基づき指定を申請する適合性評価機関に対し、関連する連合調和法令が単一の申請及び統一評価手続を定めている場合には、単一の申請を提出し、本規則及び附属書I第A節に列挙された連合調和法令に基づく指定のための統一された評価手続を受ける可能性を提供することを確保するものとする。このため、本規則に基づき指定された届出当局及び附属書I第A節に列挙された連合調和法令に基づき指定された届出当局は、その評価において協力するものとする。本項に規定する単一の申請及び統一評価手続は、附属書I第A節に列挙された連合調和法令に基づき既に指定されている届出機関が本規則に基づく指定を申請する場合にも、関連する連合調和法令がそのような手続を定めていることを条件として、利用可能とされるものとする。附属書I第A節に列挙された複数の連合調和法令に基づき指定されている適合性評価機関は、本規則に基づく指定を受けるために一度のみ申請すればよいものとする。本規則に基づく指定は、当該適合性評価機関が指定されている附属書I第A節に列挙されたすべての連合調和法令について適用されるものとする。単一の申請及び統一評価手続は、不必要な重複を避け、附属書I第A節に列挙された連合調和法令に従った既存の指定手続を基礎とし、本規則及び関連する連合調和法令の双方に従い届出機関に関する要件の遵守を確保するものとする。
9. A notifying authority that has been designated pursuant to the Union harmonisation legislation listed in Section A of Annex I is also the notifying authority for the application of the single application and unified assessment procedure referred to in paragraph 8, unless the Member State designates another notifying authority for this Regulation.
9. 附属書I第A節に列挙された連合調和法令に基づき指定された届出当局は、加盟国が本規則のために別の届出当局を指定しない限り、第8項に規定する単一の申請及び統一評価手続の適用についても届出当局とする。

Article 29: Application of a conformity assessment body for notification / 通知のための適合性評価機関の申請

1. Conformity assessment bodies shall submit an application for notification to the notifying authority of the Member State in which they are established.
1. 適合性評価機関は、自己が設立された加盟国の届出当局に対し、通知のための申請を提出しなければならない。
2. The application for notification shall be accompanied by a description of the conformity assessment activities, the conformity assessment module or modules and the types of AI systems for which the conformity assessment body claims to be competent, as well as by an accreditation certificate, where one exists, issued by a national accreditation body attesting that the conformity assessment body fulfils the requirements laid down in Article 31. Any valid document related to existing designations of the applicant notified body under any other Union harmonisation legislation shall be added.
2. 通知のための申請には、適合性評価活動、適合性評価モジュール又はモジュール群、及び当該適合性評価機関が自らが有すると主張するAIシステムの種類についての記述を添付しなければならず、また、存在する場合には、当該適合性評価機関が第31条に定める要件を満たしていることを証する国内認定機関が発行した認定証明書を添付しなければならない。 他の連合調和法制に基づく申請者の届出機関としての既存の指定に関連する有効な文書は、これに追加しなければならない。
3. Where the conformity assessment body concerned cannot provide an accreditation certificate, it shall provide the notifying authority with all the documentary evidence necessary for the verification, recognition and regular monitoring of its compliance with the requirements laid down in Article 31.
3. 当該適合性評価機関が認定証明書を提出できない場合には、当該機関は、第31条に定める要件への適合性の検証、確認及び定期的な監視のために必要な全ての証拠書類を届出当局に提出しなければならない。
2026年改正4. For notified bodies which are designated pursuant to any other Union harmonisation legislation, all documents and certificates linked to those designations may be used to support and expedite their designation procedure under this Regulation, as appropriate. Notified bodies, which are designated pursuant to any of the Union harmonisation legislation listed in Section A of Annex I and which undergo the unified assessment procedure referred to in Article 28(8), shall submit the single application for assessment to the notifying authority designated pursuant to that Union harmonisation legislation. The notified body shall update the documentation referred to in paragraphs 2 and 3 of this Article whenever relevant changes occur, in order to enable the authority responsible for notified bodies to monitor and verify continuous compliance with all the requirements laid down in Article 31.
4. 他の連合調和法令に基づき指定された届出機関については、当該指定に関連するすべての文書及び証明書を、必要に応じ、本規則に基づく指定手続を支援し迅速化するために用いることができる。附属書I第A節に列挙された連合調和法令のいずれかに基づき指定され、かつ、第28条第8項に規定する統一評価手続を受ける届出機関は、当該連合調和法令に基づき指定された届出当局に対し、評価のための単一の申請を提出するものとする。届出機関は、届出機関を所管する当局が第31条に定めるすべての要件への継続的な遵守を監視及び検証できるようにするため、関連する変更が生じるたびに、本条第2項及び第3項に規定する文書を更新するものとする。

Article 30: Notification procedure / 通知手続

1. Notifying authorities may notify only conformity assessment bodies which have satisfied the requirements laid down in Article 31.
1. 届出当局は、第31条に定める要件を満たした適合性評価機関のみを通知することができる。
2026年改正2. Notifying authorities shall notify the Commission and the other Member States, based on the list of codes, categories, and corresponding types of AI systems referred to in Annex XIV, and using the electronic notification tool developed and managed by the Commission, of each conformity assessment body referred to in paragraph 1. The Commission is empowered to adopt delegated acts in accordance with Article 97 in order to amend Annex XIV, in light of technical progress, advances in knowledge or new scientific evidence by adding to the list of codes, categories, and corresponding types of AI systems a new code, a category or a type of AI system, withdrawing an existing code, category or a type of AI system from that list or moving a code or type of AI system from one category to another.
2. 届出当局は、附属書XIVに規定するAIシステムのコード、カテゴリー及びそれに対応する類型の一覧に基づき、かつ欧州委員会が開発し管理する電子届出ツールを用いて、第1項に規定する各適合性評価機関について、欧州委員会及び他の加盟国に届け出るものとする。欧州委員会は、技術の進歩、知見の進展又は新たな科学的証拠に照らし、附属書XIVに、AIシステムの新たなコード、カテゴリー若しくは類型を追加すること、既存のコード、カテゴリー若しくは類型を当該一覧から削除すること、又はコード若しくはAIシステムの類型をあるカテゴリーから別のカテゴリーへ移すことにより改正を行うため、第97条に従い委任行為を採択する権限を有する。
3. The notification referred to in paragraph 2 of this Article shall include full details of the conformity assessment activities, the conformity assessment module or modules, the types of AI systems concerned, and the relevant attestation of competence. Where a notification is not based on an accreditation certificate as referred to in Article 29(2), the notifying authority shall provide the Commission and the other Member States with documentary evidence which attests to the competence of the conformity assessment body and to the arrangements in place to ensure that that body will be monitored regularly and will continue to satisfy the requirements laid down in Article 31.
3. 本条第2項に規定する通知には、適合性評価活動、適合性評価モジュール又はモジュール群、関連するAIシステムの種類、及び関連する能力の証明について、詳細な情報を含めなければならない。通知が第29条第2項に規定する認定証明書に基づかない場合には、届出当局は、欧州委員会及び他の加盟国に対し、当該適合性評価機関の能力並びに当該機関が定期的に監視され第31条に定める要件を継続的に満たすことを確保するための取決めを証する証拠書類を提供しなければならない。
4. The conformity assessment body concerned may perform the activities of a notified body only where no objections are raised by the Commission or the other Member States within two weeks of a notification by a notifying authority where it includes an accreditation certificate referred to in Article 29(2), or within two months of a notification by the notifying authority where it includes documentary evidence referred to in Article 29(3).
4. 当該適合性評価機関は、第29条第2項に規定する認定証明書を含む届出当局による通知から2週間以内、又は第29条第3項に規定する証拠書類を含む届出当局による通知から2箇月以内に、欧州委員会又は他の加盟国から異議が提起されない場合に限り、届出機関としての活動を行うことができる。
5. Where objections are raised, the Commission shall, without delay, enter into consultations with the relevant Member States and the conformity assessment body. In view thereof, the Commission shall decide whether the authorisation is justified. The Commission shall address its decision to the Member State concerned and to the relevant conformity assessment body.
5. 異議が提起された場合には、欧州委員会は、遅滞なく、関係する加盟国及び当該適合性評価機関との協議に入らなければならない。これを踏まえ、欧州委員会は、当該承認が正当であるか否かを決定しなければならない。欧州委員会は、その決定を、関係する加盟国及び関係する適合性評価機関に宛てなければならない。

Article 31: Requirements relating to notified bodies / 届出機関に関する要件

1. A notified body shall be established under the national law of a Member State and shall have legal personality.
1. 届出機関は、加盟国の国内法に基づき設立され、法人格を有していなければならない。
2. Notified bodies shall satisfy the organisational, quality management, resources and process requirements that are necessary to fulfil their tasks, as well as suitable cybersecurity requirements.
2. 届出機関は、その任務を遂行するために必要な組織、品質管理、資源及びプロセスに関する要件、並びに適切なサイバーセキュリティ要件を満たさなければならない。
3. The organisational structure, allocation of responsibilities, reporting lines and operation of notified bodies shall ensure confidence in their performance, and in the results of the conformity assessment activities that the notified bodies conduct.
3. 届出機関の組織構造、責任の配分、報告系統及び運営は、その実績並びに届出機関が実施する適合性評価活動の結果に対する信頼を確保するものでなければならない。
2026年改正4. Notified bodies shall be independent of the provider of a high-risk AI system in relation to which they perform conformity assessment activities. Notified bodies shall also be independent of any other operator having an economic interest in high-risk AI systems assessed, as well as of any competitors of the provider. This shall not preclude the use of assessed high-risk AI systems that are necessary for the operations of the conformity assessment body, or the use of such high-risk AI systems for personal purposes.
4. 届出機関は、自己が適合性評価活動を実施する対象である高リスクAIシステムの提供者から独立していなければならない。届出機関は、また、評価対象の高リスクAIシステムについて経済的利害を有する他の事業者、及び当該提供者の競合者からも独立していなければならない。これは、適合性評価機関の業務に必要な評価済みの高リスクAIシステムの使用、又は個人的な目的のための当該高リスクAIシステムの使用を妨げるものではない。
2026年改正5. Neither a conformity assessment body, its top-level management nor the personnel responsible for carrying out its conformity assessment tasks shall be directly involved in the design, development, marketing or use of high-risk AI systems, nor shall they represent the parties engaged in those activities. They shall not engage in any activity that might conflict with their independence of judgement or integrity in relation to conformity assessment activities for which they are notified. This shall, in particular, apply to consultancy services.
5. 適合性評価機関、その最高経営層及びその適合性評価任務の遂行を担当する職員のいずれも、高リスクAIシステムの設計、開発、販売又は使用に直接関与してはならず、また、これらの活動に従事する当事者を代表してはならない。これらの者は、自らが通知された適合性評価活動に関する判断の独立性又は誠実性と抵触し得るいかなる活動にも従事してはならない。これは、特にコンサルティングサービスについて適用する。
2026年改正6. Notified bodies shall be organised and operated so as to safeguard the independence, objectivity and impartiality of their activities. Notified bodies shall document and implement a structure and procedures to safeguard impartiality and to promote and apply the principles of impartiality throughout their organisation, personnel and assessment activities.
6. 届出機関は、その活動の独立性、客観性及び公平性を確保するように組織され、運営されなければならない。届出機関は、公平性を確保し、組織全体、職員及び評価活動を通じて公平性の原則を促進し適用するための構造及び手続を文書化し実施しなければならない。
2026年改正7. Notified bodies shall have documented procedures in place ensuring that their personnel, committees, subsidiaries, subcontractors and any associated body or personnel of external bodies maintain, in accordance with Article 78, the confidentiality of the information which comes into their possession during the performance of conformity assessment activities, except when its disclosure is required by law. The staff of notified bodies shall be bound to observe professional secrecy with regard to all information obtained in carrying out their tasks under this Regulation, except in relation to the notifying authorities of the Member State in which their activities are carried out.
7. 届出機関は、その職員、委員会、子会社、下請業者、並びに関連する団体又は外部機関の職員が、適合性評価活動の遂行中に得た情報の秘密性を、第78条に従い、法律により開示が求められる場合を除き保持することを確保する文書化された手続を備えていなければならない。届出機関の職員は、その活動が行われる加盟国の届出当局に対する場合を除き、本規則に基づく任務の遂行において得た全ての情報について職業上の秘密を守る義務を負わなければならない。
2026年改正8. Notified bodies shall have procedures for the performance of activities which take due account of the size of a provider, the sector in which it operates, its structure, and the degree of complexity of the AI system concerned.
8. 届出機関は、提供者の規模、事業を行う部門、その組織構造及び対象となるAIシステムの複雑性の程度を十分に考慮した活動の遂行のための手続を備えていなければならない。
2026年改正9. Notified bodies shall take out appropriate liability insurance for their conformity assessment activities, unless liability is assumed by the Member State in which they are established in accordance with national law or that Member State is itself directly responsible for the conformity assessment.
9. 届出機関は、自己が設立されている加盟国が国内法に従って責任を負う場合、又は当該加盟国自らが適合性評価について直接責任を負う場合を除き、その適合性評価活動について適切な賠償責任保険に加入しなければならない。
2026年改正10. Notified bodies shall be capable of carrying out all their tasks under this Regulation with the highest degree of professional integrity and the requisite competence in the specific field, whether those tasks are carried out by notified bodies themselves or on their behalf and under their responsibility.
10. 届出機関は、その任務が届出機関自身によって遂行されるか、又は届出機関のために若しくはその責任の下で遂行されるかを問わず、本規則に基づく全ての任務を最高水準の職業上の誠実性及び当該特定分野において要求される能力をもって遂行できるものでなければならない。
2026年改正11. Notified bodies shall have sufficient internal competences to be able effectively to evaluate the tasks conducted by external parties on their behalf. The notified body shall have permanent availability of sufficient administrative, technical, legal and scientific personnel who possess experience and knowledge relating to the relevant types of AI systems, data and data computing, and relating to the requirements set out in Section 2.
11. 届出機関は、自己のために外部当事者が実施する任務を効果的に評価できるだけの十分な内部能力を有していなければならない。届出機関は、関連する種類のAIシステム、データ及びデータ計算、並びに第2節に定める要件に関する経験及び知識を有する十分な数の行政、技術、法律及び科学の職員を常時確保していなければならない。
12. Notified bodies shall participate in coordination activities as referred to in Article 38. They shall also take part directly, or be represented in, European standardisation organisations, or ensure that they are aware and up to date in respect of relevant standards.
12. 届出機関は、第38条に規定する調整活動に参加しなければならない。届出機関は、また、欧州標準化機関に直接参加し若しくは代表を通じて関与し、又は関連する規格について認識し最新の情報を得ていることを確保しなければならない。

Article 32: Presumption of conformity with requirements relating to notified bodies / 届出機関に関する要件への適合の推定

Where a conformity assessment body demonstrates its conformity with the criteria laid down in the relevant harmonised standards or parts thereof, the references of which have been published in the Official Journal of the European Union, it shall be presumed to comply with the requirements set out in Article 31 in so far as the applicable harmonised standards cover those requirements.
適合性評価機関が、欧州連合官報にその参照が公表されている関連する調和規格又はその一部への適合を証明する場合には、当該適用される調和規格が対象とする限りにおいて、当該適合性評価機関は第31条に定める要件を満たしているものと推定される。

Article 33: Subsidiaries of notified bodies and subcontracting / 届出機関の子会社及び下請け

1. Where a notified body subcontracts specific tasks connected with the conformity assessment or has recourse to a subsidiary, it shall ensure that the subcontractor or the subsidiary meets the requirements laid down in Article 31, and shall inform the notifying authority accordingly.
1. 届出機関は、適合性評価に関連する特定の業務を下請けに付し、又は子会社を利用する場合には、当該下請業者又は子会社が第31条に定める要件を満たすことを確保しなければならず、また、届出当局にその旨を通知しなければならない。
2. Notified bodies shall take full responsibility for the tasks performed by any subcontractors or subsidiaries.
2. 届出機関は、下請業者又は子会社が行う業務について全面的な責任を負うものとする。
3. Activities may be subcontracted or carried out by a subsidiary only with the agreement of the provider. Notified bodies shall make a list of their subsidiaries publicly available.
3. 活動は、提供者の同意がある場合に限り、下請けに付し、又は子会社により実施することができる。届出機関は、その子会社の一覧を公衆に利用可能な状態に置かなければならない。
4. The relevant documents concerning the assessment of the qualifications of the subcontractor or the subsidiary and the work carried out by them under this Regulation shall be kept at the disposal of the notifying authority for a period of five years from the termination date of the subcontracting.
4. 下請業者又は子会社の資格の評価及び本規則に基づき当該下請業者又は子会社が行った業務に関する関連文書は、下請けの終了日から5年間、届出当局の利用に供するために保管しなければならない。

Article 34: Operational obligations of notified bodies / 届出機関の運用上の義務

1. Notified bodies shall verify the conformity of high-risk AI systems in accordance with the conformity assessment procedures set out in Article 43.
1. 届出機関は、第43条に定める適合性評価手続に従い、高リスクAIシステムの適合性を検証しなければならない。
2. Notified bodies shall avoid unnecessary burdens for providers when performing their activities, and take due account of the size of the provider, the sector in which it operates, its structure and the degree of complexity of the high-risk AI system concerned, in particular in view of minimising administrative burdens and compliance costs for micro- and small enterprises within the meaning of Recommendation 2003/361/EC. The notified body shall, nevertheless, respect the degree of rigour and the level of protection required for the compliance of the high-risk AI system with the requirements of this Regulation.
2. 届出機関は、その活動を行うに当たり、提供者に対する不必要な負担を回避し、提供者の規模、その事業を行う分野、その構造及び当該高リスクAIシステムの複雑さの程度を正当に考慮しなければならず、特に勧告2003/361/ECの意味における零細企業及び小企業の行政上の負担及びコンプライアンス費用を最小化することを考慮するものとする。ただし、届出機関は、高リスクAIシステムが本規則の要件に適合することについて求められる厳格さの程度及び保護の水準を尊重しなければならない。
3. Notified bodies shall make available and submit upon request all relevant documentation, including the providers’ documentation, to the notifying authority referred to in Article 28 to allow that authority to conduct its assessment, designation, notification and monitoring activities, and to facilitate the assessment outlined in this Section.
3. 届出機関は、第28条に規定する届出当局がその評価、指定、通知及び監視の活動を行うこと、並びに本節に概説する評価を促進することを可能にするため、提供者の文書を含む全ての関連文書を、要請に応じて利用可能にし、及び提出しなければならない。

Article 35: Identification numbers and lists of notified bodies / 届出機関の識別番号及び一覧

1. The Commission shall assign a single identification number to each notified body, even where a body is notified under more than one Union act.
1. 委員会は、ある機関が複数の連合の法令に基づき通知されている場合であっても、各届出機関に単一の識別番号を割り当てるものとする。
2. The Commission shall make publicly available the list of the bodies notified under this Regulation, including their identification numbers and the activities for which they have been notified. The Commission shall ensure that the list is kept up to date.
2. 委員会は、本規則に基づき通知された機関の一覧(その識別番号及び通知された活動を含む。)を公衆に利用可能な状態に置くものとする。委員会は、当該一覧が最新の状態に保たれることを確保しなければならない。

Article 36: Changes to notifications / 通知の変更

1. The notifying authority shall notify the Commission and the other Member States of any relevant changes to the notification of a notified body via the electronic notification tool referred to in Article 30(2).
1. 届出当局は、第30条第2項に規定する電子通知ツールを通じて、届出機関の通知に対する関連する変更について、委員会及び他の加盟国に通知しなければならない。
2. The procedures laid down in Articles 29 and 30 shall apply to extensions of the scope of the notification. For changes to the notification other than extensions of its scope, the procedures laid down in paragraphs (3) to (9) shall apply.
2. 第29条及び第30条に定める手続は、通知の範囲の拡大に適用するものとする。 通知の変更のうちその範囲の拡大以外のものについては、第3項から第9項までに定める手続を適用するものとする。
3. Where a notified body decides to cease its conformity assessment activities, it shall inform the notifying authority and the providers concerned as soon as possible and, in the case of a planned cessation, at least one year before ceasing its activities. The certificates of the notified body may remain valid for a period of nine months after cessation of the notified body’s activities, on condition that another notified body has confirmed in writing that it will assume responsibilities for the high-risk AI systems covered by those certificates. The latter notified body shall complete a full assessment of the high-risk AI systems affected by the end of that nine-month-period before issuing new certificates for those systems. Where the notified body has ceased its activity, the notifying authority shall withdraw the designation.
3. 届出機関がその適合性評価活動を停止することを決定する場合には、できる限り速やかに、また、計画的な停止の場合には停止の少なくとも1年前までに、届出当局及び関係する提供者に通知しなければならない。届出機関の証明書は、別の届出機関が当該証明書の対象である高リスクAIシステムについて責任を引き受ける旨を書面で確認した場合には、当該届出機関の活動停止後9箇月間、有効なまま存続することができる。後者の届出機関は、当該9箇月の期間の終了までに、影響を受ける高リスクAIシステムについて完全な評価を完了した上で、当該システムについて新たな証明書を発行しなければならない。届出機関がその活動を停止した場合には、届出当局はその指定を撤回しなければならない。
4. Where a notifying authority has sufficient reason to consider that a notified body no longer meets the requirements laid down in Article 31, or that it is failing to fulfil its obligations, the notifying authority shall without delay investigate the matter with the utmost diligence. In that context, it shall inform the notified body concerned about the objections raised and give it the possibility to make its views known. If the notifying authority comes to the conclusion that the notified body no longer meets the requirements laid down in Article 31 or that it is failing to fulfil its obligations, it shall restrict, suspend or withdraw the designation as appropriate, depending on the seriousness of the failure to meet those requirements or fulfil those obligations. It shall immediately inform the Commission and the other Member States accordingly.
4. 届出当局が、届出機関がもはや第31条に定める要件を満たしていない、又はその義務を履行していないと考える十分な理由を有する場合には、届出当局は遅滞なく、最大限の注意をもって当該事項を調査しなければならない。その過程において、届出当局は、提起された異議について当該関係する届出機関に通知し、その見解を表明する機会を与えなければならない。届出当局が、当該届出機関がもはや第31条に定める要件を満たしていない、又はその義務を履行していないとの結論に至った場合には、届出当局は、当該要件又は義務の不履行の重大性に応じて、指定を制限し、停止し、又は撤回しなければならない。届出当局は、直ちに委員会及び他の加盟国にその旨を通知しなければならない。
5. Where its designation has been suspended, restricted, or fully or partially withdrawn, the notified body shall inform the providers concerned within 10 days.
5. その指定が停止され、制限され、又は全部若しくは一部撤回された場合には、届出機関は、10日以内に関係する提供者にその旨を通知しなければならない。
6. In the event of the restriction, suspension or withdrawal of a designation, the notifying authority shall take appropriate steps to ensure that the files of the notified body concerned are kept, and to make them available to notifying authorities in other Member States and to market surveillance authorities at their request.
6. 指定の制限、停止又は撤回の場合には、届出当局は、当該届出機関のファイルが保管されること、及び他の加盟国の届出当局並びに市場監視当局の要請に応じてこれらに利用可能とされることを確保するため、適切な措置を講じなければならない。
7. In the event of the restriction, suspension or withdrawal of a designation, the notifying authority shall:
7. 指定の制限、停止又は撤回の場合には、届出当局は、次の事項を行わなければならない。
(a) assess the impact on the certificates issued by the notified body;
(a) 当該届出機関が発行した証明書への影響を評価すること
(b) submit a report on its findings to the Commission and the other Member States within three months of having notified the changes to the designation;
(b) 指定の変更を通知した日から3箇月以内に、その調査結果に関する報告書を委員会及び他の加盟国に提出すること
(c) require the notified body to suspend or withdraw, within a reasonable period of time determined by the authority, any certificates which were unduly issued, in order to ensure the continuing conformity of high-risk AI systems on the market;
(c) 市場に出ている高リスクAIシステムの継続的な適合性を確保するため、届出当局が定める合理的な期間内に、不当に発行された証明書を停止し、又は撤回することを当該届出機関に要求すること
(d) inform the Commission and the Member States about certificates the suspension or withdrawal of which it has required;
(d) 停止又は撤回を要求した証明書について、委員会及び加盟国に通知すること
(e) provide the national competent authorities of the Member State in which the provider has its registered place of business with all relevant information about the certificates of which it has required the suspension or withdrawal; that authority shall take the appropriate measures, where necessary, to avoid a potential risk to health, safety or fundamental rights.
(e) 提供者がその登録された事業所を有する加盟国の国内所管当局に対し、停止又は撤回を要求した証明書に関する全ての関連情報を提供すること。当該所管当局は、健康、安全又は基本的権利に対する潜在的なリスクを回避するために必要な場合には、適切な措置を講じなければならない。
8. With the exception of certificates unduly issued, and where a designation has been suspended or restricted, the certificates shall remain valid in one of the following circumstances:
8. 不当に発行された証明書を除き、指定が停止され、又は制限された場合には、証明書は、次のいずれかの状況において有効なまま存続するものとする。
(a) the notifying authority has confirmed, within one month of the suspension or restriction, that there is no risk to health, safety or fundamental rights in relation to certificates affected by the suspension or restriction, and the notifying authority has outlined a timeline for actions to remedy the suspension or restriction; or
(a) 届出当局が、停止又は制限から1箇月以内に、当該停止又は制限の影響を受ける証明書に関して健康、安全又は基本的権利に対するリスクが存在しないことを確認し、かつ、当該停止又は制限を是正するための措置の日程を示した場合
(b) the notifying authority has confirmed that no certificates relevant to the suspension will be issued, amended or re-issued during the course of the suspension or restriction, and states whether the notified body has the capability of continuing to monitor and remain responsible for existing certificates issued for the period of the suspension or restriction; in the event that the notifying authority determines that the notified body does not have the capability to support existing certificates issued, the provider of the system covered by the certificate shall confirm in writing to the national competent authorities of the Member State in which it has its registered place of business, within three months of the suspension or restriction, that another qualified notified body is temporarily assuming the functions of the notified body to monitor and remain responsible for the certificates during the period of suspension or restriction.
(b) 届出当局が、当該停止に関連する証明書は当該停止又は制限の期間中に発行され、変更され、又は再発行されないことを確認し、かつ、当該届出機関が、停止又は制限の期間中に既に発行された証明書を引き続き監視し、これについて責任を負う能力を有するか否かを明示した場合。届出当局が、当該届出機関がそのような既発行の証明書を支持する能力を有しないと判断する場合には、当該証明書の対象であるシステムの提供者は、停止又は制限から3箇月以内に、自らが登録された事業所を有する加盟国の国内所管当局に対し、別の適格な届出機関が、当該停止又は制限の期間中、当該証明書の監視及びこれについての責任を負う機能を一時的に引き受けることを書面で確認しなければならない。
9. With the exception of certificates unduly issued, and where a designation has been withdrawn, the certificates shall remain valid for a period of nine months under the following circumstances:
9. 不当に発行された証明書を除き、指定が撤回された場合には、証明書は、次の状況の下で9箇月間有効なまま存続するものとする。
(a) the national competent authority of the Member State in which the provider of the high-risk AI system covered by the certificate has its registered place of business has confirmed that there is no risk to health, safety or fundamental rights associated with the high-risk AI systems concerned; and
(a) 当該証明書の対象である高リスクAIシステムの提供者がその登録された事業所を有する加盟国の国内所管当局が、関係する高リスクAIシステムに関連して健康、安全又は基本的権利に対するリスクが存在しないことを確認したこと、及び
(b) another notified body has confirmed in writing that it will assume immediate responsibility for those AI systems and completes its assessment within 12 months of the withdrawal of the designation. In the circumstances referred to in the first subparagraph, the national competent authority of the Member State in which the provider of the system covered by the certificate has its place of business may extend the provisional validity of the certificates for additional periods of three months, which shall not exceed 12 months in total. The national competent authority or the notified body assuming the functions of the notified body affected by the change of designation shall immediately inform the Commission, the other Member States and the other notified bodies thereof.
(b) 別の届出機関が、当該AIシステムについて直ちに責任を引き受ける旨を書面で確認し、かつ、指定の撤回から12箇月以内にその評価を完了すること 第1号に規定する状況においては、当該証明書の対象であるシステムの提供者がその事業所を有する加盟国の国内所管当局は、証明書の暫定的な有効性を、それぞれ3箇月の追加期間について、合計で12箇月を超えない範囲で延長することができる。 指定の変更により影響を受ける届出機関の機能を引き受ける国内所管当局又は届出機関は、直ちに委員会、他の加盟国及び他の届出機関にその旨を通知しなければならない。

Article 37: Challenge to the competence of notified bodies / 届出機関の能力に対する異議

1. The Commission shall, where necessary, investigate all cases where there are reasons to doubt the competence of a notified body or the continued fulfilment by a notified body of the requirements laid down in Article 31 and of its applicable responsibilities.
1. 委員会は、必要な場合には、届出機関の能力又は届出機関による第31条に定める要件及びその適用される責任の継続的な履行について疑義を生じさせる理由がある全ての事案を調査しなければならない。
2. The notifying authority shall provide the Commission, on request, with all relevant information relating to the notification or the maintenance of the competence of the notified body concerned.
2. 届出当局は、委員会の要請に応じ、関係する届出機関の通知又はその能力の維持に関連する全ての関連情報を委員会に提供しなければならない。
3. The Commission shall ensure that all sensitive information obtained in the course of its investigations pursuant to this Article is treated confidentially in accordance with Article 78.
3. 委員会は、本条に基づく調査の過程で取得した全ての機微な情報が、第78条に従って秘密として取り扱われることを確保しなければならない。
4. Where the Commission ascertains that a notified body does not meet or no longer meets the requirements for its notification, it shall inform the notifying Member State accordingly and request it to take the necessary corrective measures, including the suspension or withdrawal of the notification if necessary. Where the Member State fails to take the necessary corrective measures, the Commission may, by means of an implementing act, suspend, restrict or withdraw the designation. That implementing act shall be adopted in accordance with the examination procedure referred to in Article 98(2).
4. 委員会が、届出機関がその通知のための要件を満たしていない、又はもはや満たしていないと確認する場合には、委員会は、当該通知を行った加盟国にその旨を通知し、必要な場合には通知の停止又は撤回を含む必要な是正措置を講じるよう要請しなければならない。当該加盟国が必要な是正措置を講じない場合には、委員会は、実施法によって、指定を停止し、制限し、又は撤回することができる。当該実施法は、第98条第2項に規定する審査手続に従って採択されるものとする。

Article 38: Coordination of notified bodies / 届出機関の調整

1. The Commission shall ensure that, with regard to high-risk AI systems, appropriate coordination and cooperation between notified bodies active in the conformity assessment procedures pursuant to this Regulation are put in place and properly operated in the form of a sectoral group of notified bodies.
1. 委員会は、高リスクAIシステムに関し、本規則に基づく適合性評価手続に従事する届出機関の間の適切な調整及び協力が、届出機関の部門別グループの形式で確立され、適切に運営されることを確保しなければならない。
2. Each notifying authority shall ensure that the bodies notified by it participate in the work of a group referred to in paragraph 1, directly or through designated representatives.
2. 各届出当局は、自らが通知した機関が、直接に又は指定された代表者を通じて、第1項に規定するグループの作業に参加することを確保しなければならない。
3. The Commission shall provide for the exchange of knowledge and best practices between notifying authorities.
3. 委員会は、届出当局間の知識及びベストプラクティスの交換を提供するものとする。

Article 39: Conformity assessment bodies of third countries / 第三国の適合性評価機関

Conformity assessment bodies established under the law of a third country with which the Union has concluded an agreement may be authorised to carry out the activities of notified bodies under this Regulation, provided that they meet the requirements laid down in Article 31 or they ensure an equivalent level of compliance.
連合が協定を締結した第三国の法令に基づき設立された適合性評価機関は、第31条に定める要件を満たすか、又は同等の水準の遵守を確保する場合には、本規則に基づく届出機関の活動を実施することを認められることができる。

Section 5: Standards, conformity assessment, certificates, registration / 規格、適合性評価、証明書及び登録

Article 40: Harmonised standards and standardisation deliverables / 整合規格及び標準化成果物

1. High-risk AI systems or general-purpose AI models which are in conformity with harmonised standards or parts thereof the references of which have been published in the Official Journal of the European Union in accordance with Regulation (EU) No 1025/2012 shall be presumed to be in conformity with the requirements set out in Section 2 of this Chapter or, as applicable, with the obligations set out in of Chapter V, Sections 2 and 3, of this Regulation, to the extent that those standards cover those requirements or obligations.
1. 規則(EU)No 1025/2012に従い欧州連合官報にその参照が公表された整合規格又はその一部に適合する高リスクAIシステム又は汎用目的AIモデルは、当該規格が本章第2節に定める要件又は該当する場合には本規則第V章第2節及び第3節に定める義務を対象とする限度において、これらの要件又は義務に適合するものと推定されるものとする。
2. In accordance with Article 10 of Regulation (EU) No 1025/2012, the Commission shall issue, without undue delay, standardisation requests covering all requirements set out in Section 2 of this Chapter and, as applicable, standardisation requests covering obligations set out in Chapter V, Sections 2 and 3, of this Regulation. The standardisation request shall also ask for deliverables on reporting and documentation processes to improve AI systems’ resource performance, such as reducing the high-risk AI system’s consumption of energy and of other resources during its lifecycle, and on the energy-efficient development of general-purpose AI models. When preparing a standardisation request, the Commission shall consult the Board and relevant stakeholders, including the advisory forum.
2. 規則(EU)No1025/2012第10条に従い、欧州委員会は、遅滞なく、本章第2節に定めるすべての要件を対象とする標準化要請、及び該当する場合には、本規則第V章第2節及び第3節に定める義務を対象とする標準化要請を発出するものとする。当該標準化要請は、高リスクAIシステムのライフサイクル中のエネルギー及び他の資源の消費の削減等、AIシステムの資源パフォーマンスを改善するための報告及び文書化のプロセスに関する成果物、並びに汎用AIモデルのエネルギー効率的な開発に関する成果物についても要請するものとする。標準化要請を準備するに当たり、欧州委員会は理事会及び諮問フォーラムを含む関連する利害関係者と協議するものとする。
When issuing a standardisation request to European standardisation organisations, the Commission shall specify that standards have to be clear, consistent, including with the standards developed in the various sectors for products covered by the existing Union harmonisation legislation listed in Annex I, and aiming to ensure that high-risk AI systems or general-purpose AI models placed on the market or put into service in the Union meet the relevant requirements or obligations laid down in this Regulation. The Commission shall request the European standardisation organisations to provide evidence of their best efforts to fulfil the objectives referred to in the first and the second subparagraph of this paragraph in accordance with Article 24 of Regulation (EU) No 1025/2012.
欧州標準化機関に対して標準化要請を発出するに当たり、欧州委員会は、規格が明確であり、附属書Iに列挙された既存の連合調和法令の対象となる製品について各分野で策定された規格を含めて整合性があり、かつ、連合において上市され又は供用が開始される高リスクAIシステム又は汎用AIモデルが本規則に定める関連要件又は義務を満たすことを確保することを目指すものでなければならないことを明示するものとする。欧州委員会は、欧州標準化機関に対し、規則(EU)No1025/2012第24条に従い、本項第1段落及び第2段落に規定する目的を達成するための最善の努力の証拠を提供するよう要請するものとする。
2026年改正The Commission shall request, in accordance with Regulation (EU) No 1025/2012 of the European Parliament and of the Council (1) and without undue delay, the European standardisation organisations to develop standardisation deliverables, including, as appropriate, harmonised standards, to facilitate the joint compliance and presumption of conformity with the requirements or obligations set out in Chapter III, Sections 2 and 3 of this Regulation, and the relevant requirements and obligations laid down in the Union harmonisation legislation listed in Annex I to this Regulation.
欧州委員会は、欧州議会及び理事会の規則(EU)No1025/2012(1)に従い、かつ遅滞なく、欧州標準化機関に対し、本規則第III章第2節及び第3節に定める要件若しくは義務、並びに本規則附属書Iに列挙された連合調和法令に定める関連する要件及び義務との共同遵守及び適合性推定を容易にするため、該当する場合には調和規格を含む標準化の成果物を策定するよう要請するものとする。
3. The participants in the standardisation process shall seek to promote investment and innovation in AI, including through increasing legal certainty, as well as the competitiveness and growth of the Union market, to contribute to strengthening global cooperation on standardisation and taking into account existing international standards in the field of AI that are consistent with Union values, fundamental rights and interests, and to enhance multi-stakeholder governance ensuring a balanced representation of interests and the effective participation of all relevant stakeholders in accordance with Articles 5, 6, and 7 of Regulation (EU) No 1025/2012.
3. 標準化プロセスの参加者は、法的確実性の向上を含むAIへの投資及び革新の促進、並びに連合市場の競争力及び成長の促進に努め、標準化に関する国際協力の強化に寄与し、連合の価値、基本的権利及び利益と整合的なAIの分野における既存の国際規格を考慮に入れ、並びに規則(EU)No 1025/2012第5条、第6条及び第7条に従い、利害の均衡のとれた代表及び全ての関連する利害関係者の効果的な参加を確保するマルチステークホルダー・ガバナンスを強化するよう努めなければならない。

Article 41: Common specifications / 共通仕様

1. The Commission may adopt, implementing acts establishing common specifications for the requirements set out in Section 2 of this Chapter or, as applicable, for the obligations set out in Sections 2 and 3 of Chapter V where the following conditions have been fulfilled:
1. 委員会は、次の各条件が満たされている場合には、本章第2節に定める要求事項について、又は該当する場合には第V章第2節及び第3節に定める義務について、共通仕様を定める実施法を採択することができる。
(a) the Commission has requested, pursuant to Article 10(1) of Regulation (EU) No 1025/2012, one or more European standardisation organisations to draft a harmonised standard for the requirements set out in Section 2 of this Chapter, or, as applicable, for the obligations set out in Sections 2 and 3 of Chapter V, and:
(a) 委員会が、規則(EU)No 1025/2012第10条(1)に従い、一又は複数の欧州標準化機関に対し、本章第2節に定める要求事項について、又は該当する場合には第V章第2節及び第3節に定める義務について、整合規格の起草を要請しており、かつ、
(i) the request has not been accepted by any of the European standardisation organisations; or
(i) いずれの欧州標準化機関も当該要請を受諾していないこと、又は
(1) Regulation (EU) No 1025/2012 of the European Parliament and of the Council of 25 October 2012 on European standardisation, amending Council Directives 89/686/EEC and 93/15/EEC and Directives 94/9/EC, 94/25/EC, 95/16/EC, 97/23/EC, 98/34/EC, 2004/22/EC, 2007/23/EC, 2009/23/EC and 2009/105/EC of the European Parliament and of the Council and repealing Council Decision 87/95/EEC and Decision No 1673/2006/EC of the European Parliament and of the Council (OJ L 316, 14.11.2012, p. 12, ELI: http://data.europa.eu/eli/reg/2012/1025/oj).
(1) 欧州標準化に関する2012年10月25日の欧州議会及び理事会の規則(EU)No1025/2012であって、理事会指令89/686/EEC及び93/15/EEC並びに欧州議会及び理事会の指令94/9/EC、94/25/EC、95/16/EC、97/23/EC、98/34/EC、2004/22/EC、2007/23/EC、2009/23/EC及び2009/105/ECを改正し、並びに理事会決定87/95/EEC及び欧州議会及び理事会の決定No1673/2006/ECを廃止するもの(OJ L 316, 14.11.2012, p. 12, ELI: http://data.europa.eu/eli/reg/2012/1025/oj)。
(ii) the harmonised standards addressing that request are not delivered within the deadline set in accordance with Article 10(1) of Regulation (EU) No 1025/2012; or
(ii) 当該要請に対応する整合規格が、規則(EU)No 1025/2012第10条(1)に従い定められた期限内に提出されないこと、又は
(iii) the relevant harmonised standards insufficiently address fundamental rights concerns; or
(iii) 関連する整合規格が基本権に係る懸念に十分に対応していないこと、又は
(iv) the harmonised standards do not comply with the request; and
(iv) 整合規格が当該要請に適合していないこと、及び
(b) no reference to harmonised standards covering the requirements referred to in Section 2 of this Chapter or, as applicable, the obligations referred to in Sections 2 and 3 of Chapter V has been published in the Official Journal of the European Union in accordance with Regulation (EU) No 1025/2012, and no such reference is expected to be published within a reasonable period. When drafting the common specifications, the Commission shall consult the advisory forum referred to in Article 67. The implementing acts referred to in the first subparagraph of this paragraph shall be adopted in accordance with the examination procedure referred to in Article 98(2).
(b) 本章第2節にいう要求事項、又は該当する場合には第V章第2節及び第3節にいう義務をカバーする整合規格への参照が、規則(EU)No 1025/2012に従い欧州連合官報に公示されておらず、かつ、合理的な期間内に当該参照が公示される見込みがないこと。 共通仕様を起草するに当たり、委員会は第67条にいう諮問フォーラムに諮問しなければならない。 本項第一号にいう実施法は、第98条(2)にいう審査手続に従って採択されるものとする。
2. Before preparing a draft implementing act, the Commission shall inform the committee referred to in Article 22 of Regulation (EU) No 1025/2012 that it considers the conditions laid down in paragraph 1 of this Article to be fulfilled.
2. 委員会は、実施法の草案を作成する前に、本条第1項に定める条件が満たされていると考える旨を、規則(EU)No 1025/2012第22条にいう委員会に通知しなければならない。
3. High-risk AI systems or general-purpose AI models which are in conformity with the common specifications referred to in paragraph 1, or parts of those specifications, shall be presumed to be in conformity with the requirements set out in Section 2 of this Chapter or, as applicable, to comply with the obligations referred to in Sections 2 and 3 of Chapter V, to the extent those common specifications cover those requirements or those obligations.
3. 第1項にいう共通仕様又はその一部に適合する高リスクAIシステム又は汎用AIモデルは、当該共通仕様が当該要求事項又は当該義務をカバーする限りにおいて、本章第2節に定める要求事項に適合し、又は該当する場合には第V章第2節及び第3節にいう義務を遵守しているものと推定される。
4. Where a harmonised standard is adopted by a European standardisation organisation and proposed to the Commission for the publication of its reference in the Official Journal of the European Union, the Commission shall assess the harmonised standard in accordance with Regulation (EU) No 1025/2012. When reference to a harmonised standard is published in the Official Journal of the European Union, the Commission shall repeal the implementing acts referred to in paragraph 1, or parts thereof which cover the same requirements set out in Section 2 of this Chapter or, as applicable, the same obligations set out in Sections 2 and 3 of Chapter V.
4. 欧州標準化機関が整合規格を採択し、その参照の欧州連合官報への公示を委員会に提案した場合には、委員会は、規則(EU)No 1025/2012に従い当該整合規格を評価しなければならない。整合規格への参照が欧州連合官報に公示された場合には、委員会は、本章第2節に定める同一の要求事項、又は該当する場合には第V章第2節及び第3節に定める同一の義務をカバーする第1項にいう実施法又はその一部を廃止しなければならない。
5. Where providers of high-risk AI systems or general-purpose AI models do not comply with the common specifications referred to in paragraph 1, they shall duly justify that they have adopted technical solutions that meet the requirements referred to in Section 2 of this Chapter or, as applicable, comply with the obligations set out in Sections 2 and 3 of Chapter V to a level at least equivalent thereto.
5. 高リスクAIシステム又は汎用AIモデルの提供者が第1項にいう共通仕様を遵守しない場合には、当該提供者は、本章第2節にいう要求事項を満たし、又は該当する場合には第V章第2節及び第3節に定める義務を、少なくともこれと同等の水準で遵守する技術的解決策を採用したことを、正当な根拠をもって証明しなければならない。
6. Where a Member State considers that a common specification does not entirely meet the requirements set out in Section 2 or, as applicable, comply with obligations set out in Sections 2 and 3 of Chapter V, it shall inform the Commission thereof with a detailed explanation. The Commission shall assess that information and, if appropriate, amend the implementing act establishing the common specification concerned.
6. 加盟国が、共通仕様が第2節に定める要求事項を完全には満たしていない、又は該当する場合には第V章第2節及び第3節に定める義務を完全には遵守していないと考える場合には、当該加盟国は、詳細な説明を付してその旨を委員会に通知しなければならない。委員会は、当該情報を評価し、必要な場合には、当該共通仕様を定める実施法を改正しなければならない。

Article 42: Presumption of conformity with certain requirements / 特定の要求事項への適合性の推定

1. High-risk AI systems that have been trained and tested on data reflecting the specific geographical, behavioural, contextual or functional setting within which they are intended to be used shall be presumed to comply with the relevant requirements laid down in Article 10(4).
1. 意図された使用の対象となる特定の地理的、行動的、状況的又は機能的環境を反映するデータを用いて訓練及び試験された高リスクAIシステムは、第10条(4)に定める関連する要求事項に適合しているものと推定される。
2. High-risk AI systems that have been certified or for which a statement of conformity has been issued under a cybersecurity scheme pursuant to Regulation (EU) 2019/881 and the references of which have been published in the Official Journal of the European Union shall be presumed to comply with the cybersecurity requirements set out in Article 15 of this Regulation in so far as the cybersecurity certificate or statement of conformity or parts thereof cover those requirements.
2. 規則(EU)2019/881に基づくサイバーセキュリティ認証制度の下で認証を受け、若しくは適合宣言書が発行され、かつ、その参照が欧州連合官報に公示された高リスクAIシステムは、当該サイバーセキュリティ証明書若しくは適合宣言書又はその一部が本規則第15条に定めるサイバーセキュリティ要求事項をカバーする限りにおいて、当該要求事項に適合しているものと推定される。
2026年改正3. Where high-risk AI systems fall within the scope of Regulation (EU) 2024/2847 and the conditions laid down in Article 12(1) of that Regulation are fulfilled, such systems shall be deemed to comply with the cybersecurity requirements set out in Article 15 of this Regulation.
3. 高リスクAIシステムが規則(EU)2024/2847の適用範囲に含まれ、かつ、当該規則第12条第1項に定める条件が満たされる場合には、当該システムは本規則第15条に定めるサイバーセキュリティ要件を遵守しているものとみなされる。

Article 43: Conformity assessment / 適合性評価

1. For high-risk AI systems listed in point 1 of Annex III, where, in demonstrating the compliance of a high-risk AI system with the requirements set out in Section 2, the provider has applied harmonised standards referred to in Article 40, or, where applicable, common specifications referred to in Article 41, the provider shall opt for one of the following conformity assessment procedures based on:
1. 附属書III第1項に列挙される高リスクAIシステムについて、提供者が、高リスクAIシステムの第2節に定める要求事項への適合性を証明するに当たり、第40条にいう整合規格、又は該当する場合には第41条にいう共通仕様を適用した場合には、当該提供者は、次のいずれかに基づく適合性評価手続を選択しなければならない。
(a) the internal control referred to in Annex VI; or
(a) 附属書VIにいう内部管理、又は
(b) the assessment of the quality management system and the assessment of the technical documentation, with the involvement of a notified body, referred to in Annex VII. In demonstrating the compliance of a high-risk AI system with the requirements set out in Section 2, the provider shall follow the conformity assessment procedure set out in Annex VII where:
(b) 附属書VIIにいう、届出機関の関与を伴う品質マネジメントシステムの評価及び技術文書の評価 高リスクAIシステムの第2節に定める要求事項への適合性を証明するに当たり、提供者は、次の場合には附属書VIIに定める適合性評価手続に従わなければならない。
(a) harmonised standards referred to in Article 40 do not exist, and common specifications referred to in Article 41 are not available;
(a) 第40条にいう整合規格が存在せず、かつ第41条にいう共通仕様も利用可能でない場合
(b) the provider has not applied, or has applied only part of, the harmonised standard;
(b) 提供者が整合規格を適用していない場合、又はその一部のみを適用した場合
(c) the common specifications referred to in point (a) exist, but the provider has not applied them;
(c) (a)にいう共通仕様が存在するにもかかわらず、提供者がこれを適用していない場合
(d) one or more of the harmonised standards referred to in point (a) has been published with a restriction, and only on the part of the standard that was restricted.
(d) (a)号に規定する調和規格の一又は複数が制限付きで公表されている場合には、当該規格のうち制限された部分に限る。
For the purposes of the conformity assessment procedure referred to in Annex VII, the provider may choose any of the notified bodies. However, where the high-risk AI system is intended to be put into service by law enforcement, immigration or asylum authorities or by Union institutions, bodies, offices or agencies, the market surveillance authority referred to in Article 74(8) or (9), as applicable, shall act as a notified body.
附属書VIIに規定する適合性評価手続の目的上、提供者はいずれの届出機関も選択することができる。ただし、高リスクAIシステムが法執行、出入国管理若しくは庇護当局又は連合の機関、団体、事務所若しくは機関によって供用が開始されることが意図されている場合には、該当する場合に応じ第74条第8項又は第9項に規定する市場監視当局が届出機関として行動するものとする。
2. For high-risk AI systems referred to in points 2 to 8 of Annex III, providers shall follow the conformity assessment procedure based on internal control as referred to in Annex VI, which does not provide for the involvement of a notified body.
2. 附属書III第2項から第8項までにいう高リスクAIシステムについては、提供者は、届出機関の関与を要しない附属書VIにいう内部管理に基づく適合性評価手続に従わなければならない。
2026年改正3. For high-risk AI systems covered by the Union harmonisation legislation listed in Section A of Annex I, the provider of the system shall follow the relevant conformity assessment procedure as required in accordance with the relevant Union harmonisation legislation. The requirements set out in Section 2 of this Chapter shall apply to those high-risk AI systems and shall be part of that assessment. Assessment of the quality management system set out in Article 17 shall also be undertaken, and points 3, 4.3, 4.4. and 4.5, the fifth paragraph of point 4.6 and point 5 of Annex VII shall apply. For the purposes of that conformity assessment, notified bodies which have been notified under the Union harmonisation legislation listed in Section A of Annex I shall have the power to assess the conformity of high-risk AI systems with the requirements set out in Section 2 of this Chapter, provided that the compliance of those notified bodies with the requirements laid down in Article 31(4), (5), (10) and (11) has been assessed in the context of the notification procedure in accordance with the relevant Union harmonisation legislation, which is evidenced through the assessment as part of the existing notification. Without prejudice to Article 28, such notified bodies which have been notified under the Union harmonisation legislation in Section A of Annex I, shall apply for designation in accordance with Section 4 of this Chapter by 28 January 2028. Where Union harmonisation legislation listed in Section A of Annex I provides the product manufacturer with an option to rely on a conformity assessment that does not involve a third-party, provided that that manufacturer has applied harmonised standards to ensure compliance with all the relevant requirements, that manufacturer may use that option only if it has also applied harmonised standards or, where applicable, common specifications referred to in Article 41, covering all requirements set out in Section 2 of this Chapter. The classification of a product as a high-risk AI system in accordance with Article 6(1) does not affect the choice of the conformity assessment procedure provided to the manufacturers of products covered by Union harmonisation legislation listed in Section A of Annex I, including, where applicable, an option to rely on harmonised standards. The manufacturers of such products are not required to choose a conformity assessment procedure involving third-party conformity assessment only because the product includes a high-risk AI system as a safety component, if this is not required by the Union harmonisation legislation listed in Section A of Annex I.
3. 附属書I第A節に列挙された連合調和法令の対象となる高リスクAIシステムについて、当該システムの提供者は、関連する連合調和法令に従って要求される関連の適合性評価手続に従うものとする。本章第2節に定める要件は、当該高リスクAIシステムに適用されるものとし、当該評価の一部とされるものとする。第17条に定める品質管理システムの評価も実施されるものとし、附属書VIIの3、4.3、4.4及び4.5の各号、4.6の第5段落並びに5号が適用されるものとする。当該適合性評価の目的上、附属書I第A節に列挙された連合調和法令に基づき届出がなされた届出機関は、当該届出機関の第31条第4項、第5項、第10項及び第11項に定める要件への適合性が、関連する連合調和法令に従った届出手続の過程において評価されており、既存の届出の一部としての評価によりそれが証明されている場合には、本章第2節に定める要件について高リスクAIシステムの適合性を評価する権限を有するものとする。第28条を損なうことなく、附属書I第A節の連合調和法令に基づき届出がなされたそのような届出機関は、2028年1月28日までに、本章第4節に従い指定を申請するものとする。附属書I第A節に列挙された連合調和法令が、製造業者がすべての関連要件への適合を確保するために調和規格を適用していることを条件として、第三者を関与させない適合性評価に依拠する選択肢を製品製造業者に提供している場合、当該製造業者は、本章第2節に定めるすべての要件を対象とする調和規格、又は該当する場合には第41条に規定する共通仕様も適用している場合に限り、当該選択肢を用いることができる。第6条第1項に従った高リスクAIシステムとしての製品の分類は、附属書I第A節に列挙された連合調和法令の対象となる製品の製造業者に提供される適合性評価手続の選択(該当する場合には調和規格に依拠する選択肢を含む。)に影響を及ぼさない。当該製品の製造業者は、製品が安全構成部品として高リスクAIシステムを含んでいるという理由のみでは、附属書I第A節に列挙された連合調和法令によって要求されていない限り、第三者による適合性評価を伴う適合性評価手続を選択することを要求されない。
Where a high-risk AI system is both covered by the Union harmonisation legislation listed in Section A of Annex I and it falls within one of the categories listed in Annex III, the provider of that system shall follow the relevant conformity assessment procedure as required pursuant to the relevant Union harmonisation legislation listed in Section A of Annex I.
高リスクAIシステムが附属書I第A節に列挙された連合調和法令の対象となると同時に、附属書IIIに列挙されたカテゴリーの一つに該当する場合には、当該システムの提供者は、附属書I第A節に列挙された関連する連合調和法令に従って要求される関連の適合性評価手続に従うものとする。
4. High-risk AI systems that have already been subject to a conformity assessment procedure shall undergo a new conformity assessment procedure in the event of a substantial modification, regardless of whether the modified system is intended to be further distributed or continues to be used by the current deployer. For high-risk AI systems that continue to learn after being placed on the market or put into service, changes to the high-risk AI system and its performance that have been pre-determined by the provider at the moment of the initial conformity assessment and are part of the information contained in the technical documentation referred to in point 2(f) of Annex IV, shall not constitute a substantial modification.
4. 既に適合性評価手続の対象となった高リスクAIシステムは、実質的な改変が行われた場合には、改変後のシステムが引き続き流通に供されることが意図されているか、又は現在の実施者により引き続き使用されるかを問わず、新たな適合性評価手続を受けなければならない。 上市又は運用開始後も継続して学習する高リスクAIシステムについては、初回の適合性評価の時点で提供者があらかじめ定めており、かつ附属書IV第2項(f)にいう技術文書に含まれる情報の一部である当該高リスクAIシステム及びその性能に係る変更は、実質的な改変を構成しない。
5. The Commission is empowered to adopt delegated acts in accordance with Article 97 in order to amend Annexes VI and VII by updating them in light of technical progress.
5. 委員会は、第97条に従い、技術の進歩に照らして附属書VI及び附属書VIIを更新することによりこれらを改正するための委任法を採択する権限を有する。
6. The Commission is empowered to adopt delegated acts in accordance with Article 97 in order to amend paragraphs 1 and 2 of this Article in order to subject high-risk AI systems referred to in points 2 to 8 of Annex III to the conformity assessment procedure referred to in Annex VII or parts thereof. The Commission shall adopt such delegated acts taking into account the effectiveness of the conformity assessment procedure based on internal control referred to in Annex VI in preventing or minimising the risks to health and safety and protection of fundamental rights posed by such systems, as well as the availability of adequate capacities and resources among notified bodies.
6. 委員会は、第97条に従い、附属書III第2項から第8項までにいう高リスクAIシステムを附属書VIIにいう適合性評価手続又はその一部の対象とするために、本条第1項及び第2項を改正するための委任法を採択する権限を有する。委員会は、当該委任法を採択するに当たり、当該システムがもたらす健康及び安全並びに基本権の保護に対するリスクを防止し又は最小化する上での附属書VIにいう内部管理に基づく適合性評価手続の実効性、並びに届出機関における十分な能力及び資源の有無を考慮しなければならない。

Article 44: Certificates / 証明書

1. Certificates issued by notified bodies in accordance with Annex VII shall be drawn-up in a language which can be easily understood by the relevant authorities in the Member State in which the notified body is established.
1. 届出機関が附属書VIIに従って発行する証明書は、当該届出機関が設立されている加盟国の関連当局が容易に理解できる言語で作成しなければならない。
2. Certificates shall be valid for the period they indicate, which shall not exceed five years for AI systems covered by Annex I, and four years for AI systems covered by Annex III. At the request of the provider, the validity of a certificate may be extended for further periods, each not exceeding five years for AI systems covered by Annex I, and four years for AI systems covered by Annex III, based on a re-assessment in accordance with the applicable conformity assessment procedures. Any supplement to a certificate shall remain valid, provided that the certificate which it supplements is valid.
2. 証明書は、その示す期間について有効とし、当該期間は、附属書Iの対象となるAIシステムについては5年を、附属書IIIの対象となるAIシステムについては4年を、それぞれ超えてはならない。提供者の請求に基づき、証明書の有効期間は、適用される適合性評価手続に従った再評価に基づき、それぞれ附属書Iの対象となるAIシステムについては5年を、附属書IIIの対象となるAIシステムについては4年を超えない期間ごとに、更新することができる。証明書に対する補遺は、当該補遺の対象となる証明書が有効である限り、有効であり続ける。
2026年改正3. Where a notified body finds that an AI system no longer meets the requirements set out in Section 2, it shall, taking account of the principle of proportionality, suspend or withdraw the certificate issued or impose restrictions on it, unless compliance with those requirements is ensured by appropriate corrective action taken by the provider of the system within an appropriate deadline set by the notified body. The notified body shall give reasons for its decision. An appeal procedure against decisions of the notified bodies, including on conformity certificates issued, shall be available.
3. 届出機関は、AIシステムが第2節に定める要求事項をもはや満たしていないと認める場合には、比例原則を考慮しつつ、発行した証明書を停止し若しくは撤回し、又はこれに制限を課さなければならない。ただし、届出機関が定める適切な期限内に当該システムの提供者が適切な是正措置を講じることにより、当該要求事項への適合が確保される場合は、この限りでない。届出機関は、その決定について理由を示さなければならない。 届出機関の決定(発行された適合証明書に関するものを含む。)に対する不服申立手続が利用可能でなければならない。

Article 45: Information obligations of notified bodies / 届出機関の情報提供義務

2026年改正1. Notified bodies shall inform the notifying authority of the following:
1. 届出機関は、届出当局に対し、次の事項を通知しなければならない。
2026年改正(a) any Union technical documentation assessment certificates, any supplements to those certificates, and any quality management system approvals issued in accordance with the requirements of Annex VII;
(a) 附属書VIIの要求事項に従って発行された連合技術文書評価証明書、当該証明書に対する補遺、及び品質マネジメントシステムの承認
2026年改正(b) any refusal, restriction, suspension or withdrawal of a Union technical documentation assessment certificate or a quality management system approval issued in accordance with the requirements of Annex VII;
(b) 附属書VIIの要求事項に従って発行された連合技術文書評価証明書又は品質マネジメントシステムの承認についての拒否、制限、停止又は撤回
2026年改正(c) any circumstances affecting the scope of or conditions for notification;
(c) 届出の範囲又は条件に影響を及ぼす事情
2026年改正(d) any request for information which they have received from market surveillance authorities regarding conformity assessment activities;
(d) 適合性評価活動に関して市場監視当局から受領した情報提供の請求
2026年改正(e) on request, conformity assessment activities performed within the scope of their notification and any other activity performed, including cross-border activities and subcontracting.
(e) 請求に応じ、届出の範囲内で実施した適合性評価活動及び実施したその他の活動(国境を越える活動及び下請けを含む。)
2026年改正2. Each notified body shall inform the other notified bodies of:
2. 各届出機関は、他の届出機関に対し、次の事項を通知しなければならない。
2026年改正(a) quality management system approvals which it has refused, suspended or withdrawn, and, upon request, of quality system approvals which it has issued;
(a) 自らが拒否し、停止し、又は撤回した品質マネジメントシステムの承認、及び請求に応じ、自らが発行した品質システムの承認
2026年改正(b) Union technical documentation assessment certificates or any supplements thereto which it has refused, withdrawn, suspended or otherwise restricted, and, upon request, of the certificates and/or supplements thereto which it has issued.
(b) 自らが拒否し、撤回し、停止し、又はその他の制限を課した連合技術文書評価証明書若しくはこれに対する補遺、及び請求に応じ、自らが発行した証明書及び/又はこれに対する補遺
2026年改正3. Each notified body shall provide the other notified bodies carrying out similar conformity assessment activities covering the same types of AI systems with relevant information on issues relating to negative and, on request, positive conformity assessment results.
3. 各届出機関は、同種のAIシステムを対象として類似の適合性評価活動を行う他の届出機関に対し、否定的な適合性評価の結果に関する事案について、また請求に応じ肯定的な適合性評価の結果についても、関連する情報を提供しなければならない。
2026年改正4. Notified bodies shall safeguard the confidentiality of the information that they obtain, in accordance with Article 78.
4. 届出機関は、第78条に従い、自らが取得した情報の秘密性を保護しなければならない。

Article 46: Derogation from conformity assessment procedure / 適合性評価手続からの適用除外

1. By way of derogation from Article 43 and upon a duly justified request, any market surveillance authority may authorise the placing on the market or the putting into service of specific high-risk AI systems within the territory of the Member State concerned, for exceptional reasons of public security or the protection of life and health of persons, environmental protection or the protection of key industrial and infrastructural assets. That authorisation shall be for a limited period while the necessary conformity assessment procedures are being carried out, taking into account the exceptional reasons justifying the derogation. The completion of those procedures shall be undertaken without undue delay.
1. 第43条にかかわらず、正当な根拠のある請求に基づき、市場監視当局は、公共の安全、人の生命及び健康の保護、環境保護、又は重要な産業上及びインフラ上の資産の保護に係る例外的な理由により、関係加盟国の領域内において特定の高リスクAIシステムの上市又は運用開始を許可することができる。当該許可は、当該適用除外を正当化する例外的な理由を考慮しつつ、必要な適合性評価手続が実施されている間の限られた期間について与えられるものとする。当該手続の完了は、不当な遅滞なく行われなければならない。
2. In a duly justified situation of urgency for exceptional reasons of public security or in the case of specific, substantial and imminent threat to the life or physical safety of natural persons, law-enforcement authorities or civil protection authorities may put a specific high-risk AI system into service without the authorisation referred to in paragraph 1, provided that such authorisation is requested during or after the use without undue delay. If the authorisation referred to in paragraph 1 is refused, the use of the high-risk AI system shall be stopped with immediate effect and all the results and outputs of such use shall be immediately discarded.
2. 公共の安全に係る例外的な理由による正当な根拠のある緊急事態、又は自然人の生命若しくは身体的安全に対する具体的、重大かつ切迫した脅威が存在する場合には、法執行当局又は市民保護当局は、第1項にいう許可を得ることなく、特定の高リスクAIシステムを運用に供することができる。ただし、当該使用中又は使用後に、不当な遅滞なく当該許可が請求されることを条件とする。第1項にいう許可が拒否された場合には、当該高リスクAIシステムの使用は直ちに停止されなければならず、当該使用によるすべての結果及び出力は直ちに廃棄されなければならない。
3. The authorisation referred to in paragraph 1 shall be issued only if the market surveillance authority concludes that the high-risk AI system complies with the requirements of Section 2. The market surveillance authority shall inform the Commission and the other Member States of any authorisation issued pursuant to paragraphs 1 and 2. This obligation shall not cover sensitive operational data in relation to the activities of law-enforcement authorities.
3. 第1項にいう許可は、市場監視当局が当該高リスクAIシステムが第2節の要求事項に適合していると結論付けた場合に限り発行されるものとする。市場監視当局は、第1項及び第2項に従って発行した許可について、委員会及び他の加盟国に通知しなければならない。この義務は、法執行当局の活動に関する機微な運用上のデータには適用されない。
4. Where, within 15 calendar days of receipt of the information referred to in paragraph 3, no objection has been raised by either a Member State or the Commission in respect of an authorisation issued by a market surveillance authority of a Member State in accordance with paragraph 1, that authorisation shall be deemed justified.
4. 第3項にいう情報の受領から15暦日以内に、加盟国の市場監視当局が第1項に従って発行した許可について、加盟国又は委員会のいずれからも異議が提起されなかった場合には、当該許可は正当化されたものとみなされる。
5. Where, within 15 calendar days of receipt of the notification referred to in paragraph 3, objections are raised by a Member State against an authorisation issued by a market surveillance authority of another Member State, or where the Commission considers the authorisation to be contrary to Union law, or the conclusion of the Member States regarding the compliance of the system as referred to in paragraph 3 to be unfounded, the Commission shall, without delay, enter into consultations with the relevant Member State. The operators concerned shall be consulted and have the possibility to present their views. Having regard thereto, the Commission shall decide whether the authorisation is justified. The Commission shall address its decision to the Member State concerned and to the relevant operators.
5. 第3項にいう通知の受領から15暦日以内に、ある加盟国が他の加盟国の市場監視当局が発行した許可に対して異議を提起した場合、又は委員会が当該許可が連合法に反すると考える場合、若しくは第3項にいうシステムの適合性に関する加盟国の結論が根拠を欠くと考える場合には、委員会は、遅滞なく、関係加盟国と協議を開始しなければならない。関係する事業者に対しては意見を述べる機会が与えられなければならない。委員会は、これらを考慮した上で、当該許可が正当化されるか否かを決定しなければならない。委員会は、その決定を関係加盟国及び関係する事業者に対して発しなければならない。
6. Where the Commission considers the authorisation unjustified, it shall be withdrawn by the market surveillance authority of the Member State concerned.
6. 委員会が当該許可を正当化されないと考える場合には、関係加盟国の市場監視当局は、当該許可を撤回しなければならない。
7. For high-risk AI systems related to products covered by Union harmonisation legislation listed in Section A of Annex I, only the derogations from the conformity assessment established in that Union harmonisation legislation shall apply.
7. 附属書I第A節に列挙される連合調和法令の対象となる製品に関連する高リスクAIシステムについては、当該連合調和法令に定める適合性評価からの適用除外のみが適用される。

Article 47: EU declaration of conformity / EU適合宣言書

1. The provider shall draw up a written machine readable, physical or electronically signed EU declaration of conformity for each high-risk AI system, and keep it at the disposal of the national competent authorities for 10 years after the high-risk AI system has been placed on the market or put into service. The EU declaration of conformity shall identify the high-risk AI system for which it has been drawn up. A copy of the EU declaration of conformity shall be submitted to the relevant national competent authorities upon request.
1. 提供者は、高リスクAIシステムごとに、機械可読な、物理的又は電子署名された書面によるEU適合宣言書を作成し、当該高リスクAIシステムが上市され又は運用開始された後10年間、国内所管当局の利用に供するため、これを保管しなければならない。EU適合宣言書には、これが作成された対象となる高リスクAIシステムを特定する事項を記載しなければならない。EU適合宣言書の写しは、請求に応じ、関連する国内所管当局に提出しなければならない。
2. The EU declaration of conformity shall state that the high-risk AI system concerned meets the requirements set out in Section 2. The EU declaration of conformity shall contain the information set out in Annex V, and shall be translated into a language that can be easily understood by the national competent authorities of the Member States in which the high-risk AI system is placed on the market or made available.
2. EU適合宣言書には、対象となる高リスクAIシステムが第2節に定める要求事項を満たしている旨を記載しなければならない。EU適合宣言書には附属書Vに定める情報を含めなければならず、また、当該高リスクAIシステムが上市され又は利用可能とされる加盟国の国内所管当局が容易に理解できる言語に翻訳されなければならない。
3. Where high-risk AI systems are subject to other Union harmonisation legislation which also requires an EU declaration of conformity, a single EU declaration of conformity shall be drawn up in respect of all Union law applicable to the high-risk AI system. The declaration shall contain all the information required to identify the Union harmonisation legislation to which the declaration relates.
3. 高リスクAIシステムが、EU適合宣言書の作成をも求める他の連合調和法令の対象となる場合には、当該高リスクAIシステムに適用されるすべての連合法について、単一のEU適合宣言書を作成しなければならない。当該宣言書には、当該宣言書が関係する連合調和法令を特定するために必要なすべての情報を含めなければならない。
4. By drawing up the EU declaration of conformity, the provider shall assume responsibility for compliance with the requirements set out in Section 2. The provider shall keep the EU declaration of conformity up-to-date as appropriate.
4. 提供者は、EU適合宣言書を作成することにより、第2節に定める要求事項への適合について責任を負うものとする。提供者は、必要に応じてEU適合宣言書を最新の状態に保たなければならない。
5. The Commission is empowered to adopt delegated acts in accordance with Article 97 in order to amend Annex V by updating the content of the EU declaration of conformity set out in that Annex, in order to introduce elements that become necessary in light of technical progress.
5. 委員会は、第97条に従い、技術の進歩に照らして必要となる要素を導入するため、附属書Vに定めるEU適合宣言書の内容を更新することにより附属書Vを改正するための委任法を採択する権限を有する。

Article 48: CE marking / CEマーキング

1. The CE marking shall be subject to the general principles set out in Article 30 of Regulation (EC) No 765/2008.
1. CEマーキングは、規則(EC)No 765/2008第30条に定める一般原則に従うものとする。
2. For high-risk AI systems provided digitally, a digital CE marking shall be used, only if it can easily be accessed via the interface from which that system is accessed or via an easily accessible machinereadable code or other electronic means.
2. デジタル方式で提供される高リスクAIシステムについては、デジタルCEマーキングは、当該システムがアクセスされるインターフェースを通じて、又は容易にアクセス可能な機械可読コード若しくは他の電子的手段を通じて容易にアクセスできる場合に限り、用いられるものとする。
3. The CE marking shall be affixed visibly, legibly and indelibly for high-risk AI systems. Where that is not possible or not warranted on account of the nature of the high-risk AI system, it shall be affixed to the packaging or to the accompanying documentation, as appropriate.
3. CEマーキングは、高リスクAIシステムについて、視認可能、判読可能かつ消去不能な方法で付されなければならない。これが当該高リスクAIシステムの性質上不可能である場合又は妥当でない場合には、これを、該当する場合に応じ、包装又は添付書類に付さなければならない。
4. Where applicable, the CE marking shall be followed by the identification number of the notified body responsible for the conformity assessment procedures set out in Article 43. The identification number of the notified body shall be affixed by the body itself or, under its instructions, by the provider or by the provider’s authorised representative. The identification number shall also be indicated in any promotional material which mentions that the high-risk AI system fulfils the requirements for CE marking.
4. 該当する場合には、CEマーキングの後に、第43条に定める適合性評価手続を担当する届出機関の識別番号を付さなければならない。届出機関の識別番号は、当該機関自身により、又はその指示の下で提供者若しくは提供者の認定代理人により付されなければならない。当該識別番号は、当該高リスクAIシステムがCEマーキングの要求事項を満たしている旨を記載するあらゆる販促資料にも表示されなければならない。
5. Where high-risk AI systems are subject to other Union law which also provides for the affixing of the CE marking, the CE marking shall indicate that the high-risk AI system also fulfil the requirements of that other law.
5. 高リスクAIシステムが、CEマーキングの表示をも定める他の連合法の対象となる場合には、CEマーキングは、当該高リスクAIシステムが当該他の法の要求事項をも満たしていることを示すものとする。

Article 49: Registration / 登録

1. Before placing on the market or putting into service a high-risk AI system listed in Annex III, with the exception of high-risk AI systems referred to in point 2 of Annex III, the provider or, where applicable, the authorised representative shall register themselves and their system in the EU database referred to in Article 71.
1. 附属書IIIに掲げるハイリスクAIシステム(附属書III第2項に規定するハイリスクAIシステムを除く。)を市場に投入し、又は使用に供する前に、提供者又は該当する場合には認定代理人は、自己及び当該システムを第71条に規定するEUデータベースに登録しなければならない。
2. Before placing on the market or putting into service an AI system for which the provider has concluded that it is not high-risk according to Article 6(3), that provider or, where applicable, the authorised representative shall register themselves and that system in the EU database referred to in Article 71.
2. 提供者が第6条第3項に従いハイリスクに該当しないと判断したAIシステムを市場に投入し、又は使用に供する前に、当該提供者又は該当する場合には認定代理人は、自己及び当該システムを第71条に規定するEUデータベースに登録しなければならない。
3. Before putting into service or using a high-risk AI system listed in Annex III, with the exception of high-risk AI systems listed in point 2 of Annex III, deployers that are public authorities, Union institutions, bodies, offices or agencies or persons acting on their behalf shall register themselves, select the system and register its use in the EU database referred to in Article 71.
3. 附属書IIIに掲げるハイリスクAIシステム(附属書III第2項に掲げるハイリスクAIシステムを除く。)を使用に供し、又は使用する前に、公的機関、連合の機関、団体、事務所若しくは機関又はこれらのために行動する者であって配置者であるものは、自己を登録し、当該システムを選択し、かつ、その使用を第71条に規定するEUデータベースに登録しなければならない。
4. For high-risk AI systems referred to in points 1, 6 and 7 of Annex III, in the areas of law enforcement, migration, asylum and border control management, the registration referred to in paragraphs 1, 2 and 3 of this Article shall be in a secure non-public section of the EU database referred to in Article 71 and shall include only the following information, as applicable, referred to in:
4. 附属書III第1項、第6項及び第7項に規定するハイリスクAIシステムであって、法執行、移民、庇護及び国境管理の分野に係るものについては、本条第1項、第2項及び第3項に規定する登録は、第71条に規定するEUデータベースの非公開の安全な区分において行うものとし、かつ、該当する場合には、次に掲げる情報のみを含むものとする。
(a) Section A, points 1 to 10, of Annex VIII, with the exception of points 6, 8 and 9;
(a) 附属書VIIIのセクションA第1項から第10項まで(第6項、第8項及び第9項を除く。)
(b) Section B, points 1 to 5, and points 8 and 9 of Annex VIII;
(b) 附属書VIIIのセクションB第1項から第5項まで並びに第8項及び第9項
(c) Section C, points 1 to 3, of Annex VIII;
(c) 附属書VIIIのセクションC第1項から第3項まで
(d) points 1, 2, 3 and 5, of Annex IX. Only the Commission and national authorities referred to in Article 74(8) shall have access to the respective restricted sections of the EU database listed in the first subparagraph of this paragraph.
(d) 附属書IXの第1項、第2項、第3項及び第5項 本項第1号に掲げるEUデータベースの各制限区分には、欧州委員会及び第74条第8項に規定する国内当局のみがアクセスすることができるものとする。
5. High-risk AI systems referred to in point 2 of Annex III shall be registered at national level.
5. 附属書III2号に規定する高リスクAIシステムは、国内レベルで登録されるものとする。

05 Chapter IV: Transparency Obligations For Providers And Deployers Of Certain AI Systems

Article 50: Transparency obligations for providers and deployers of certain AI systems / 特定のAIシステムの提供者及び配置者の透明性に係る義務

1. Providers shall ensure that AI systems intended to interact directly with natural persons are designed and developed in such a way that the natural persons concerned are informed that they are interacting with an AI system, unless this is obvious from the point of view of a natural person who is reasonably well-informed, observant and circumspect, taking into account the circumstances and the context of use. This obligation shall not apply to AI systems authorised by law to detect, prevent, investigate or prosecute criminal offences, subject to appropriate safeguards for the rights and freedoms of third parties, unless those systems are available for the public to report a criminal offence.
1. 提供者は、自然人と直接対話することを目的とするAIシステムについて、状況及び使用の文脈を考慮した上で合理的に十分な情報を有し、注意深く、かつ、慎重な自然人の観点から明白である場合を除き、関係する自然人がAIシステムと対話していることを認識できるように設計及び開発されることを確保しなければならない。この義務は、第三者の権利及び自由に対する適切な保護措置を条件として、犯罪行為の検知、防止、捜査又は訴追のために法律により認められたAIシステムには適用しない。ただし、当該システムが公衆による犯罪行為の通報のために利用可能である場合を除く。
2. Providers of AI systems, including general-purpose AI systems, generating synthetic audio, image, video or text content, shall ensure that the outputs of the AI system are marked in a machine-readable format and detectable as artificially generated or manipulated. Providers shall ensure their technical solutions are effective, interoperable, robust and reliable as far as this is technically feasible, taking into account the specificities and limitations of various types of content, the costs of implementation and the generally acknowledged state of the art, as may be reflected in relevant technical standards. This obligation shall not apply to the extent the AI systems perform an assistive function for standard editing or do not substantially alter the input data provided by the deployer or the semantics thereof, or where authorised by law to detect, prevent, investigate or prosecute criminal offences.
2. 汎用AIシステムを含む、合成の音声、画像、映像又はテキストのコンテンツを生成するAIシステムの提供者は、当該AIシステムの出力が機械可読な形式で標識され、かつ、人工的に生成され又は操作されたものであると検知可能であることを確保しなければならない。提供者は、種々の種類のコンテンツの特性及び限界、実施の費用並びに関連する技術基準に反映され得る一般に認められた最新技術水準を考慮した上で、技術的に実行可能な限りにおいて、自らの技術的解決策が有効、相互運用可能、堅牢かつ信頼できるものであることを確保しなければならない。この義務は、AIシステムが標準的な編集のための補助機能を果たすにすぎない場合若しくは配置者が提供した入力データ又はその意味内容を実質的に変更しない場合、又は犯罪行為の検知、防止、捜査若しくは訴追のために法律により認められている場合には、その限りにおいて適用しない。
3. Deployers of an emotion recognition system or a biometric categorisation system shall inform the natural persons exposed thereto of the operation of the system, and shall process the personal data in accordance with Regulations (EU) 2016/679 and (EU) 2018/1725 and Directive (EU) 2016/680, as applicable. This obligation shall not apply to AI systems used for biometric categorisation and emotion recognition, which are permitted by law to detect, prevent or investigate criminal offences, subject to appropriate safeguards for the rights and freedoms of third parties, and in accordance with Union law.
3. 感情認識システム又は生体分類システムの配置者は、これらにさらされる自然人に対し、当該システムの運用について情報を提供しなければならず、また、該当する場合には、規則(EU)2016/679及び規則(EU)2018/1725並びに指令(EU)2016/680に従って個人データを処理しなければならない。この義務は、第三者の権利及び自由に対する適切な保護措置を条件として、かつ連合法に従い、犯罪行為の検知、防止又は捜査のために法律により認められている生体分類及び感情認識に用いられるAIシステムには適用しない。
4. Deployers of an AI system that generates or manipulates image, audio or video content constituting a deep fake, shall disclose that the content has been artificially generated or manipulated. This obligation shall not apply where the use is authorised by law to detect, prevent, investigate or prosecute criminal offence. Where the content forms part of an evidently artistic, creative, satirical, fictional or analogous work or programme, the transparency obligations set out in this paragraph are limited to disclosure of the existence of such generated or manipulated content in an appropriate manner that does not hamper the display or enjoyment of the work.
4. ディープフェイクを構成する画像、音声又は動画コンテンツを生成又は操作するAIシステムの配備者は、当該コンテンツが人工的に生成又は操作されたものであることを開示するものとする。この義務は、犯罪行為の検知、防止、捜査又は訴追のために法律により使用が認可されている場合には適用されない。当該コンテンツが明らかに芸術的、創作的、風刺的、フィクション的又はこれらに類する作品若しくは番組の一部を構成する場合には、本項に定める透明性義務は、作品の表示又は享受を妨げない適切な方法で、当該生成又は操作されたコンテンツの存在を開示することに限定される。
Deployers of an AI system that generates or manipulates text which is published with the purpose of informing the public on matters of public interest shall disclose that the text has been artificially generated or manipulated. This obligation shall not apply where the use is authorised by law to detect, prevent, investigate or prosecute criminal offences or where the AI-generated content has undergone a process of human review or editorial control and where a natural or legal person holds editorial responsibility for the publication of the content.
公共の利益に関する事項について公衆に情報を提供する目的で公表されるテキストを生成又は操作するAIシステムの配備者は、当該テキストが人工的に生成又は操作されたものであることを開示するものとする。この義務は、犯罪行為の検知、防止、捜査若しくは訴追のために法律により使用が認可されている場合、又はAI生成コンテンツが人間による審査若しくは編集上の管理のプロセスを経ており、かつ、自然人若しくは法人がコンテンツの公表について編集上の責任を負っている場合には適用されない。
5. The information referred to in paragraphs 1 to 4 shall be provided to the natural persons concerned in a clear and distinguishable manner at the latest at the time of the first interaction or exposure. The information shall conform to the applicable accessibility requirements.
5. 第1項から第4項までに規定する情報は、最初の対話又は曝露の時までに、明確かつ識別可能な方法で関係する自然人に提供されなければならない。当該情報は、適用されるアクセシビリティ要件に適合するものとする。
6. Paragraphs 1 to 4 shall not affect the requirements and obligations set out in Chapter III, and shall be without prejudice to other transparency obligations laid down in Union or national law for deployers of AI systems.
6. 第1項から第4項までの規定は、第III章に定める要件及び義務に影響を及ぼすものではなく、また、AIシステムの配置者について連合法又は国内法に定める他の透明性に係る義務を妨げるものではない。
2026年改正7. The Commission shall encourage and facilitate the drawing up of codes of practice at Union level to facilitate the effective implementation of the obligations regarding the detection, marking and labelling of artificially generated or manipulated content. The Commission, taking utmost account of the opinion of the Board, shall assess whether adherence to those codes of practice is adequate to ensure compliance with the obligations laid down in paragraphs 2 and 4 of this Article, in accordance with the procedure laid down in Article 56(6). If it deems the code of practice to be inadequate, the Commission may adopt an implementing act specifying common rules for the implementation of those obligations in accordance with the examination procedure laid down in Article 98(2).
7. 欧州委員会は、人工的に生成又は操作されたコンテンツの検知、マーキング及びラベリングに関する義務の効果的な実施を容易にするため、連合レベルでの行動規範の策定を奨励し、及び促進するものとする。欧州委員会は、理事会の意見を最大限考慮した上で、当該行動規範への遵守が本条第2項及び第4項に定める義務の遵守を確保するために十分であるかどうかを、第56条第6項に定める手続に従って評価するものとする。欧州委員会が行動規範を不十分であると判断する場合には、欧州委員会は、第98条第2項に定める審査手続に従い、当該義務の実施に関する共通規則を定める実施行為を採択することができる。

06 Chapter V: General-Purpose AI Models

Section 1: Classification rules / 分類規則

Article 51: Classification of general-purpose AI models as general-purpose AI models with systemic risk / システミックリスクを伴う汎用目的AIモデルとしての汎用目的AIモデルの分類

1. A general-purpose AI model shall be classified as a generalpurpose AI model with systemic risk if it meets any of the following conditions:
1. 汎用AIモデルは、次のいずれかの条件を満たす場合には、システミックリスクを伴う汎用AIモデルに分類されるものとする。
(a) it has high impact capabilities evaluated on the basis of appropriate technical tools and methodologies, including indicators and benchmarks;
(a) 指標及びベンチマークを含む適切な技術的手段及び方法論に基づき評価された高い影響力を有する能力を有すること。
(b) based on a decision of the Commission, ex officio or following a qualified alert from the scientific panel, it has capabilities or an impact equivalent to those set out in point (a) having regard to the criteria set out in Annex XIII.
(b) 欧州委員会の決定に基づき、職権により、又は科学パネルからの適格な警告に基づき、附属書XIIIに定める基準を考慮した上で、(a)号に定める能力又は影響力に相当する能力又は影響力を有すること。
2. A general-purpose AI model shall be presumed to have high impact capabilities pursuant to paragraph 1, point (a), when the cumulative amount of computation used for its training measured in floating point operations is greater than 1025.
2. 汎用AIモデルは、その訓練に用いられた累積計算量が浮動小数点演算で測定して1025を超える場合には、第1項(a)号に従い高い影響力を有する能力を有するものと推定される。
3. The Commission shall adopt delegated acts in accordance with Article 97 to amend the thresholds listed in paragraphs 1 and 2 of this Article, as well as to supplement benchmarks and indicators in light of evolving technological developments, such as algorithmic improvements or increased hardware efficiency, when necessary, for these thresholds to reflect the state of the art.
3. 欧州委員会は、これらの閾値を最新の技術水準に反映させるために必要な場合には、アルゴリズムの改善又はハードウェア効率の向上等の技術的発展の進展に照らし、本条第1項及び第2項に列挙する閾値を改正し、並びにベンチマーク及び指標を補完するため、第97条に従い委任行為を採択するものとする。

Article 52: Procedure / 手続

1. Where a general-purpose AI model meets the condition referred to in Article 51(1), point (a), the relevant provider shall notify the Commission without delay and in any event within two weeks after that requirement is met or it becomes known that it will be met. That notification shall include the information necessary to demonstrate that the relevant requirement has been met. If the Commission becomes aware of a general-purpose AI model presenting systemic risks of which it has not been notified, it may decide to designate it as a model with systemic risk.
1. 汎用目的AIモデルが第51条第1項(a)に規定する要件を満たす場合には、当該提供者は、遅滞なく、かつ、いかなる場合にも当該要件が満たされてから又はそれが満たされることが判明してから2週間以内に、欧州委員会に通知しなければならない。当該通知には、関連する要件が満たされたことを証明するために必要な情報を含めなければならない。欧州委員会は、通知を受けていないシステミックリスクを呈する汎用目的AIモデルの存在を認識した場合には、これをシステミックリスクを伴うモデルとして指定することを決定することができる。
2. The provider of a general-purpose AI model that meets the condition referred to in Article 51(1), point (a), may present, with its notification, sufficiently substantiated arguments to demonstrate that, exceptionally, although it meets that requirement, the general-purpose AI model does not present, due to its specific characteristics, systemic risks and therefore should not be classified as a general-purpose AI model with systemic risk.
2. 第51条第1項(a)に規定する要件を満たす汎用目的AIモデルの提供者は、その通知とともに、当該要件を満たしているにもかかわらず、例外的に、その特有の特性により当該汎用目的AIモデルがシステミックリスクを呈しないためシステミックリスクを伴う汎用目的AIモデルに分類されるべきでないことを証明するに足る十分な根拠のある主張を提示することができる。
3. Where the Commission concludes that the arguments submitted pursuant to paragraph 2 are not sufficiently substantiated and the relevant provider was not able to demonstrate that the general-purpose AI model does not present, due to its specific characteristics, systemic risks, it shall reject those arguments, and the general-purpose AI model shall be considered to be a general-purpose AI model with systemic risk.
3. 欧州委員会が、第2項に基づき提出された主張が十分に根拠付けられていないと結論付け、かつ当該提供者が当該汎用目的AIモデルがその特有の特性によりシステミックリスクを呈しないことを証明することができなかった場合には、欧州委員会は当該主張を却下するものとし、当該汎用目的AIモデルはシステミックリスクを伴う汎用目的AIモデルとみなされるものとする。
4. The Commission may designate a general-purpose AI model as presenting systemic risks, ex officio or following a qualified alert from the scientific panel pursuant to Article 90(1), point (a), on the basis of criteria set out in Annex XIII. The Commission is empowered to adopt delegated acts in accordance with Article 97 in order to amend Annex XIII by specifying and updating the criteria set out in that Annex.
4. 欧州委員会は、附属書XIIIに定める基準に基づき、職権により又は第90条第1項(a)に規定する科学委員会からの適格な警告を受けて、汎用目的AIモデルをシステミックリスクを呈するものとして指定することができる。 欧州委員会は、附属書XIIIに定める基準を明確化し、及び更新することにより同附属書を改正するため、第97条に従い委任法を採択する権限を有する。
5. Upon a reasoned request of a provider whose model has been designated as a general-purpose AI model with systemic risk pursuant to paragraph 4, the Commission shall take the request into account and may decide to reassess whether the general-purpose AI model can still be considered to present systemic risks on the basis of the criteria set out in Annex XIII. Such a request shall contain objective, detailed and new reasons that have arisen since the designation decision. Providers may request reassessment at the earliest six months after the designation decision. Where the Commission, following its reassessment, decides to maintain the designation as a general-purpose AI model with systemic risk, providers may request reassessment at the earliest six months after that decision.
5. 第4項に基づきシステミックリスクを伴う汎用目的AIモデルとして指定されたモデルの提供者からの理由を付した要請があった場合には、欧州委員会は当該要請を考慮するものとし、附属書XIIIに定める基準に基づき当該汎用目的AIモデルが引き続きシステミックリスクを呈するとみなされるか否かについて再評価することを決定することができる。当該要請には、指定決定後に生じた客観的、具体的かつ新たな理由を含めなければならない。提供者は、指定決定から早くとも6か月後に再評価を要請することができる。欧州委員会が再評価の結果、システミックリスクを伴う汎用目的AIモデルとしての指定を維持することを決定した場合には、提供者は当該決定から早くとも6か月後に再評価を要請することができる。
6. The Commission shall ensure that a list of general-purpose AI models with systemic risk is published and shall keep that list up to date, without prejudice to the need to observe and protect intellectual property rights and confidential business information or trade secrets in accordance with Union and national law.
6. 欧州委員会は、連合法及び国内法に従って知的財産権並びに機密の営業情報又は営業秘密を尊重し保護する必要性を損なうことなく、システミックリスクを伴う汎用AIモデルの一覧が公表されることを確保し、当該一覧を最新の状態に保つものとする。

Section 2: Obligations for providers of general-purpose AI models / 汎用目的AIモデルの提供者の義務

Article 53: Obligations for providers of general-purpose AI models / 汎用目的AIモデルの提供者の義務

1. Providers of general-purpose AI models shall:
1. 汎用目的AIモデルの提供者は、次のことを行わなければならない。
(a) draw up and keep up-to-date the technical documentation of the model, including its training and testing process and the results of its evaluation, which shall contain, at a minimum, the information set out in Annex XI for the purpose of providing it, upon request, to the AI Office and the national competent authorities;
(a) AI室及び国内の管轄当局に対し請求に応じて提供する目的で、モデルの訓練及び試験の過程並びにその評価の結果を含む技術文書を作成し、かつ最新の状態に保つこと。当該技術文書には、少なくとも附属書XIに定める情報を含めなければならない。
(b) draw up, keep up-to-date and make available information and documentation to providers of AI systems who intend to integrate the general-purpose AI model into their AI systems. Without prejudice to the need to observe and protect intellectual property rights and confidential business information or trade secrets in accordance with Union and national law, the information and documentation shall:
(b) 汎用目的AIモデルを自己のAIシステムに組み込むことを意図するAIシステムの提供者に対し、情報及び文書を作成し、最新の状態に保ち、かつ提供すること。連合法及び国内法に従い知的財産権並びに秘密の営業情報又は営業秘密を遵守し及び保護する必要性を妨げることなく、当該情報及び文書は、次の要件を満たすものとする。
(i) enable providers of AI systems to have a good understanding of the capabilities and limitations of the general-purpose AI model and to comply with their obligations pursuant to this Regulation; and
(i) AIシステムの提供者が当該汎用目的AIモデルの能力及び限界について十分な理解を得ること並びに本規則に基づく自己の義務を遵守することを可能にすること。
(ii) contain, at a minimum, the elements set out in Annex XII;
(ii) 少なくとも附属書XIIに定める要素を含むこと。
(c) put in place a policy to comply with Union law on copyright and related rights, and in particular to identify and comply with, including through state-of-the-art technologies, a reservation of rights expressed pursuant to Article 4(3) of Directive (EU) 2019/790;
(c) 著作権及び関連する権利に関する連合法を遵守するための方針を策定すること。特に、指令(EU)2019/790第4条第3項に従って表明された権利の留保を、最新技術を含む手段により特定し、かつ遵守すること。
(d) draw up and make publicly available a sufficiently detailed summary about the content used for training of the general-purpose AI model, according to a template provided by the AI Office.
(d) AI室が提供する様式に従い、当該汎用目的AIモデルの訓練に使用されたコンテンツに関する十分に詳細な要約を作成し、かつ公衆に利用可能にすること。
2. The obligations set out in paragraph 1, points (a) and (b), shall not apply to providers of AI models that are released under a free and open-source licence that allows for the access, usage, modification, and distribution of the model, and whose parameters, including the weights, the information on the model architecture, and the information on model usage, are made publicly available. This exception shall not apply to general-purpose AI models with systemic risks.
2. 第1項(a)及び(b)に定める義務は、モデルへのアクセス、使用、改変及び頒布を認める無償かつオープンソースのライセンスの下で公開され、かつ、その重みを含むパラメータ、モデルのアーキテクチャに関する情報及びモデルの使用に関する情報が公衆に利用可能にされているAIモデルの提供者には適用しない。ただし、この例外は、システミックリスクを伴う汎用目的AIモデルには適用しない。
3. Providers of general-purpose AI models shall cooperate as necessary with the Commission and the national competent authorities in the exercise of their competences and powers pursuant to this Regulation.
3. 汎用目的AIモデルの提供者は、本規則に基づく欧州委員会及び国内の管轄当局の権限の行使に関し、必要な範囲で協力しなければならない。
4. Providers of general-purpose AI models may rely on codes of practice within the meaning of Article 56 to demonstrate compliance with the obligations set out in paragraph 1 of this Article, until a harmonised standard is published. Compliance with European harmonised standards grants providers the presumption of conformity to the extent that those standards cover those obligations. Providers of general-purpose AI models who do not adhere to an approved code of practice or do not comply with a European harmonised standard shall demonstrate alternative adequate means of compliance for assessment by the Commission.
4. 汎用目的AIモデルの提供者は、調和規格が公表されるまでの間、本条第1項に定める義務の遵守を証明するために、第56条にいう実務規範に依拠することができる。欧州の調和規格の遵守は、当該規格が当該義務を対象とする範囲において、提供者に適合性の推定を与える。承認された実務規範を遵守せず、又は欧州の調和規格を遵守しない汎用目的AIモデルの提供者は、欧州委員会による評価のために代替の適切な遵守手段を証明しなければならない。
5. For the purpose of facilitating compliance with Annex XI, in particular points 2 (d) and (e) thereof, the Commission is empowered to adopt delegated acts in accordance with Article 97 to detail measurement and calculation methodologies with a view to allowing for comparable and verifiable documentation.
5. 附属書XI、特に同附属書第2項(d)及び(e)の遵守を容易にする目的で、欧州委員会は、比較可能かつ検証可能な文書化を可能にするため、測定及び算定の方法論を詳細に定める委任法を、第97条に従い採択する権限を有する。
6. The Commission is empowered to adopt delegated acts in accordance with Article 97(2) to amend Annexes XI and XII in light of evolving technological developments.
6. 欧州委員会は、技術の進展に照らし、附属書XI及び附属書XIIを改正するため、第97条第2項に従い委任法を採択する権限を有する。
7. Any information or documentation obtained pursuant to this Article, including trade secrets, shall be treated in accordance with the confidentiality obligations set out in Article 78.
7. 本条に基づき取得された情報又は文書(営業秘密を含む。)は、第78条に定める秘密保持義務に従って取り扱われるものとする。

Article 54: Authorised representatives of providers of general-purpose AI models / 汎用目的AIモデルの提供者の認定代理人

1. Prior to placing a general-purpose AI model on the Union market, providers established in third countries shall, by written mandate, appoint an authorised representative which is established in the Union.
1. 第三国に設立された提供者は、汎用目的AIモデルを連合市場に投入する前に、書面による委任により、連合内に設立された認定代理人を選任しなければならない。
2. The provider shall enable its authorised representative to perform the tasks specified in the mandate received from the provider.
2. 提供者は、自己の認定代理人が提供者から受けた委任状に明記された任務を遂行できるようにしなければならない。
3. The authorised representative shall perform the tasks specified in the mandate received from the provider. It shall provide a copy of the mandate to the AI Office upon request, in one of the official languages of the institutions of the Union. For the purposes of this Regulation, the mandate shall empower the authorised representative to carry out the following tasks:
3. 認定代理人は、提供者から受けた委任状に明記された任務を遂行しなければならない。認定代理人は、請求に応じ、連合の機関の公用語の一つにより、当該委任状の写しをAI室に提供しなければならない。本規則の適用上、当該委任状は、認定代理人に対し次に掲げる任務を遂行する権限を付与しなければならない。
(a) verify that the technical documentation specified in Annex XI has been drawn up and all obligations referred to in Article 53 and, where applicable, Article 55 have been fulfilled by the provider;
(a) 附属書XIに定める技術文書が作成されており、かつ、第53条及び該当する場合には第55条に規定するすべての義務が提供者により履行されていることを確認すること。
(b) keep a copy of the technical documentation specified in Annex XI at the disposal of the AI Office and national competent authorities, for a period of 10 years after the general-purpose AI model has been placed on the market, and the contact details of the provider that appointed the authorised representative;
(b) 附属書XIに定める技術文書の写し並びに認定代理人を選任した提供者の連絡先を、当該汎用目的AIモデルが市場に投入された後10年間、AI室及び国内の管轄当局の利用に供するために保管すること。
(c) provide the AI Office, upon a reasoned request, with all the information and documentation, including that referred to in point (b), necessary to demonstrate compliance with the obligations in this Chapter;
(c) 理由を付した請求があった場合には、本章に定める義務の遵守を証明するために必要な情報及び文書((b)にいうものを含む。)をAI室に提供すること。
(d) cooperate with the AI Office and competent authorities, upon a reasoned request, in any action they take in relation to the general-purpose AI model, including when the model is integrated into AI systems placed on the market or put into service in the Union.
(d) 理由を付した請求があった場合には、当該汎用目的AIモデルに関してAI室及び管轄当局が講じるいかなる措置(当該モデルが連合において市場に投入され又は使用に供されるAIシステムに組み込まれる場合を含む。)にも協力すること。
4. The mandate shall empower the authorised representative to be addressed, in addition to or instead of the provider, by the AI Office or the competent authorities, on all issues related to ensuring compliance with this Regulation.
4. 当該委任状は、本規則の遵守の確保に関するすべての事項について、提供者に加えて又は提供者に代えて、AI室又は管轄当局が認定代理人に連絡することができる権限を付与しなければならない。
5. The authorised representative shall terminate the mandate if it considers or has reason to consider the provider to be acting contrary to its obligations pursuant to this Regulation. In such a case, it shall also immediately inform the AI Office about the termination of the mandate and the reasons therefor.
5. 認定代理人は、提供者が本規則に基づく自己の義務に反して行動していると認め、又はそのように認める理由がある場合には、当該委任を終了しなければならない。この場合において、認定代理人は、委任の終了及びその理由について、直ちにAI室に通知しなければならない。
6. The obligation set out in this Article shall not apply to providers of general-purpose AI models that are released under a free and open-source licence that allows for the access, usage, modification, and distribution of the model, and whose parameters, including the weights, the information on the model architecture, and the information on model usage, are made publicly available, unless the general-purpose AI models present systemic risks.
6. 本条に定める義務は、モデルへのアクセス、使用、改変及び配布を可能にする無償かつオープンソースのライセンスの下で公開され、かつ、その重みを含むパラメータ、モデルのアーキテクチャに関する情報及びモデルの使用に関する情報が公衆に利用可能とされている汎用AIモデルの提供者には適用されない。ただし、当該汎用AIモデルがシステミックリスクを呈する場合はこの限りでない。

Section 3: Obligations of providers of general-purpose AI models with systemic risk / システミックリスクを伴う汎用目的AIモデルの提供者の義務

Article 55: Obligations of providers of general-purpose AI models with systemic risk / システミックリスクを伴う汎用目的AIモデルの提供者の義務

1. In addition to the obligations listed in Articles 53 and 54, providers of general-purpose AI models with systemic risk shall:
1. 第53条及び第54条に掲げる義務に加えて、システミックリスクを伴う汎用目的AIモデルの提供者は、次のことを行わなければならない。
(a) perform model evaluation in accordance with standardised protocols and tools reflecting the state of the art, including conducting and documenting adversarial testing of the model with a view to identifying and mitigating systemic risks;
(a) システミックリスクを特定し、及び低減することを目的として、モデルの敵対的試験の実施及び文書化を含め、最新技術水準を反映した標準化された手順及び手段に従ってモデルの評価を実施すること。
(b) assess and mitigate possible systemic risks at Union level, including their sources, that may stem from the development, the placing on the market, or the use of general-purpose AI models with systemic risk;
(b) システミックリスクを伴う汎用目的AIモデルの開発、市場への投入又は使用に起因し得る、連合レベルにおける生じ得るシステミックリスク(その発生源を含む。)を評価し、及び低減すること。
(c) keep track of, document, and report, without undue delay, to the AI Office and, as appropriate, to national competent authorities, relevant information about serious incidents and possible corrective measures to address them;
(c) 重大インシデント及びこれに対処するために取り得る是正措置に関する関連情報を、不当な遅滞なく記録し、文書化し、かつAI室及び該当する場合には国内の管轄当局に報告すること。
(d) ensure an adequate level of cybersecurity protection for the general-purpose AI model with systemic risk and the physical infrastructure of the model.
(d) システミックリスクを伴う汎用目的AIモデル及び当該モデルの物理的インフラストラクチャについて、適切な水準のサイバーセキュリティ保護を確保すること。
2. Providers of general-purpose AI models with systemic risk may rely on codes of practice within the meaning of Article 56 to demonstrate compliance with the obligations set out in paragraph 1 of this Article, until a harmonised standard is published. Compliance with European harmonised standards grants providers the presumption of conformity to the extent that those standards cover those obligations. Providers of general-purpose AI models with systemic risks who do not adhere to an approved code of practice or do not comply with a European harmonised standard shall demonstrate alternative adequate means of compliance for assessment by the Commission.
2. システミックリスクを伴う汎用目的AIモデルの提供者は、調和規格が公表されるまでの間、本条第1項に定める義務の遵守を証明するために、第56条にいう実務規範に依拠することができる。欧州の調和規格の遵守は、当該規格が当該義務を対象とする範囲において、提供者に適合性の推定を与える。承認された実務規範を遵守せず、又は欧州の調和規格を遵守しないシステミックリスクを伴う汎用目的AIモデルの提供者は、欧州委員会による評価のために代替の適切な遵守手段を証明しなければならない。
3. Any information or documentation obtained pursuant to this Article, including trade secrets, shall be treated in accordance with the confidentiality obligations set out in Article 78.
3. 本条に従って取得された情報又は文書は、営業秘密を含め、第78条に定める秘密保持義務に従って取り扱われるものとする。

Section 4: Codes of practice / 実務規範

Article 56: Codes of practice / 実務規範

1. The AI Office shall encourage and facilitate the drawing up of codes of practice at Union level in order to contribute to the proper application of this Regulation, taking into account international approaches.
1. AI室は、国際的な取組みを考慮しつつ、本規則の適正な適用に資するため、連合レベルでの行動規範の策定を奨励し、及び促進するものとする。
2. The AI Office and the Board shall aim to ensure that the codes of practice cover at least the obligations provided for in Articles 53 and 55, including the following issues:
2. AI室及び理事会は、行動規範が少なくとも第53条及び第55条に定める義務(以下の事項を含む。)を対象とすることを確保することを目指すものとする。
(a) the means to ensure that the information referred to in Article 53(1), points (a) and (b), is kept up to date in light of market and technological developments;
(a) 第53条第1項(a)号及び(b)号に規定する情報が、市場及び技術の発展に照らして最新の状態に保たれることを確保する手段
(b) the adequate level of detail for the summary about the content used for training;
(b) 訓練に用いられたコンテンツに関する要約の適切な詳細レベル
(c) the identification of the type and nature of the systemic risks at Union level, including their sources, where appropriate;
(c) 該当する場合には、その発生源を含め、連合レベルにおけるシステミックリスクの種類及び性質の特定
(d) the measures, procedures and modalities for the assessment and management of the systemic risks at Union level, including the documentation thereof, which shall be proportionate to the risks, take into consideration their severity and probability and take into account the specific challenges of tackling those risks in light of the possible ways in which such risks may emerge and materialise along the AI value chain.
(d) 連合レベルにおけるシステミックリスクの評価及び管理のための措置、手続及び方法(その文書化を含む。)であって、リスクに比例し、その深刻度及び発生可能性を考慮に入れ、かつ、当該リスクがAIバリューチェーンに沿って生じ及び顕在化し得る方法に照らし、それらのリスクへの対処に係る特有の課題を考慮に入れるもの
3. The AI Office may invite all providers of general-purpose AI models, as well as relevant national competent authorities, to participate in the drawing-up of codes of practice. Civil society organisations, industry, academia and other relevant stakeholders, such as downstream providers and independent experts, may support the process.
3. AI室は、すべての汎用AIモデルの提供者、並びに関連する国内の所管当局を、行動規範の策定に参加するよう招請することができる。市民社会組織、産業界、学界その他の関連する利害関係者(下流の提供者及び独立の専門家等)は、当該プロセスを支援することができる。
4. The AI Office and the Board shall aim to ensure that the codes of practice clearly set out their specific objectives and contain commitments or measures, including key performance indicators as appropriate, to ensure the achievement of those objectives, and that they take due account of the needs and interests of all interested parties, including affected persons, at Union level.
4. AI室及び理事会は、行動規範がその具体的な目的を明確に定め、かつ、必要に応じ主要業績評価指標を含め、当該目的の達成を確保するための約束事項又は措置を含んでいること、並びに、連合レベルにおける影響を受ける者を含むすべての利害関係者の需要及び利益を正当に考慮していることを確保することを目指すものとする。
5. The AI Office shall aim to ensure that participants to the codes of practice report regularly to the AI Office on the implementation of the commitments and the measures taken and their outcomes, including as measured against the key performance indicators as appropriate. Key performance indicators and reporting commitments shall reflect differences in size and capacity between various participants.
5. AI室は、行動規範の参加者が、約束事項及び講じた措置並びにその成果について、該当する場合には主要業績評価指標に照らして測定したものを含め、AI室に対し定期的に報告することを確保することを目指すものとする。主要業績評価指標及び報告義務は、種々の参加者間の規模及び能力の相違を反映するものとする。
2026年改正6. The Commission and the Board shall regularly monitor and evaluate the achievement of the objectives of the codes of practice by the participants and their contribution to the proper application of this Regulation. The Commission, taking utmost account of the opinion of the Board, shall assess whether the codes of practice cover the obligations provided for in Articles 53 and 55, and shall regularly monitor and evaluate the achievement of their objectives. The Commission shall publish its assessment of the adequacy of the codes of practice.
6. 欧州委員会及び理事会は、参加者による行動規範の目的の達成及び本規則の適正な適用への貢献を定期的に監視及び評価するものとする。欧州委員会は、理事会の意見を最大限考慮した上で、行動規範が第53条及び第55条に定める義務を対象としているかどうかを評価するものとし、その目的の達成を定期的に監視及び評価するものとする。欧州委員会は、行動規範の妥当性に関するその評価を公表するものとする。
7. The AI Office may invite all providers of general-purpose AI models to adhere to the codes of practice. For providers of general-purpose AI models not presenting systemic risks this adherence may be limited to the obligations provided for in Article 53, unless they declare explicitly their interest to join the full code.
7. AI室は、すべての汎用AIモデルの提供者に対し、行動規範を遵守するよう招請することができる。システミックリスクを呈しない汎用AIモデルの提供者については、当該遵守は、それらの提供者が完全な行動規範に加わる意思を明示的に表明しない限り、第53条に定める義務に限定することができる。
8. The AI Office shall, as appropriate, also encourage and facilitate the review and adaptation of the codes of practice, in particular in light of emerging standards. The AI Office shall assist in the assessment of available standards.
8. AI室は、該当する場合には、特に新たに出現する規格に照らし、行動規範の見直し及び改訂を奨励し、及び促進するものとする。AI室は、利用可能な規格の評価を支援するものとする。
9. Codes of practice shall be ready at the latest by 2 May 2025. The AI Office shall take the necessary steps, including inviting providers pursuant to paragraph 7.
9. 行動規範は、遅くとも2025年5月2日までに用意されるものとする。AI室は、第7項に従った提供者の招請を含め、必要な措置を講じるものとする。
If, by 2 August 2025, a code of practice cannot be finalised, or if the AI Office deems it is not adequate following its assessment under paragraph 6 of this Article, the Commission may provide, by means of implementing acts, common rules for the implementation of the obligations provided for in Articles 53 and 55, including the issues set out in paragraph 2 of this Article. Those implementing acts shall be adopted in accordance with the examination procedure referred to in Article 98(2).
2025年8月2日までに行動規範を最終化できない場合、又はAI室が本条第6項に基づく評価の結果、当該行動規範が不十分であると判断する場合には、欧州委員会は、実施行為により、本条第2項に定める事項を含め、第53条及び第55条に定める義務の実施に関する共通規則を定めることができる。当該実施行為は、第98条第2項に規定する審査手続に従って採択されるものとする。

07 Chapter VI: Measures In Support Of Innovation

Article 57: AI regulatory sandboxes / AI規制サンドボックス

2026年改正1. Member States shall ensure that their competent authorities establish at least one AI regulatory sandbox at national level, which shall be operational by 2 August 2027. That sandbox may also be established jointly with the competent authorities of other Member States. The Commission may provide technical support, advice and tools for the establishment and operation of AI regulatory sandboxes.
1. 加盟国は、その所管当局が国内レベルで少なくとも一つのAI規制サンドボックスを設置することを確保するものとし、当該サンドボックスは2027年8月2日までに運用可能とされるものとする。当該サンドボックスは、他の加盟国の所管当局と共同で設置することもできる。欧州委員会は、AI規制サンドボックスの設置及び運用のための技術的支援、助言及びツールを提供することができる。
The obligation under the first subparagraph may also be fulfilled by participating in an existing sandbox in so far as that participation provides an equivalent level of national coverage for the participating Member States.
第1段落に定める義務は、既存のサンドボックスへの参加が参加加盟国に対して同等の国内カバレッジを提供する限りにおいて、当該サンドボックスへの参加によって果たすこともできる。
2. Additional AI regulatory sandboxes at regional or local level, or established jointly with the competent authorities of other Member States may also be established.
2. 地域又は地方レベルの追加的なAI規制サンドボックス、又は他の加盟国の所管当局と共同で設置されるAI規制サンドボックスを設置することもできる。
2026年改正3. The European Data Protection Supervisor may establish an AI regulatory sandbox for Union institutions, bodies, offices and agencies. For this purpose, references to national competent authorities in this Chapter shall be construed as references to the European Data Protection Supervisor. 3a. The AI Office may establish an AI regulatory sandbox at Union level for AI systems covered by Article 75(1). For this purpose, references to national competent authorities in this Chapter shall be construed, where relevant, as references to the AI Office. That AI regulatory sandbox shall be implemented in close cooperation with relevant competent authorities, in particular where compliance with Union legislation other than this Regulation is supervised in the AI regulatory sandbox, and shall provide priority access to SMEs, including start-ups, and SMCs. The establishment of a Union level AI regulatory sandbox by the AI Office shall be without prejudice to the competences of Member States to establish and supervise AI regulatory sandboxes for AI systems under their supervision.
3. 欧州データ保護監督官は、連合の機関、団体、事務所及び機関のためのAI規制サンドボックスを設置することができる。この目的のため、本章における国内所管当局への言及は、欧州データ保護監督官への言及と解釈されるものとする。3a. AI室は、第75条第1項の対象となるAIシステムについて、連合レベルでAI規制サンドボックスを設置することができる。この目的のため、本章における国内所管当局への言及は、該当する場合には、AI室への言及と解釈されるものとする。当該AI規制サンドボックスは、特に本規則以外の連合法令の遵守が当該AI規制サンドボックス内で監督される場合には、関連する所管当局と緊密に協力して実施されるものとし、中小企業(新興企業を含む。)及び中小規模中堅企業(SMC)に優先的なアクセスを提供するものとする。AI室による連合レベルのAI規制サンドボックスの設置は、加盟国がその監督下にあるAIシステムのためにAI規制サンドボックスを設置し及び監督する権限を損なうものではない。
4. Member States shall ensure that the competent authorities referred to in paragraphs 1 and 2 allocate sufficient resources to comply with this Article effectively and in a timely manner. Where appropriate, national competent authorities shall cooperate with other relevant authorities, and may allow for the involvement of other actors within the AI ecosystem. This Article shall not affect other regulatory sandboxes established under Union or national law. Member States shall ensure an appropriate level of cooperation between the authorities supervising those other sandboxes and the national competent authorities.
4. 加盟国は、第1項及び第2項にいう所管当局が、本条を効果的かつ適時に遵守するために十分な資源を配分することを確保しなければならない。適切な場合には、国内所管当局は、他の関連当局と協力しなければならず、AIエコシステム内の他の主体の関与を認めることができる。本条は、連合法又は国内法に基づいて設置された他の規制サンドボックスに影響を及ぼすものではない。加盟国は、当該他のサンドボックスを監督する当局と国内所管当局との間の適切な水準の協力を確保しなければならない。
2026年改正5. AI regulatory sandboxes established under this Article shall provide for a controlled environment that fosters innovation and facilitates the development, training, testing and validation of innovative AI systems for a limited time before their being placed on the market or put into service pursuant to a specific sandbox plan agreed between the providers or prospective providers and the competent authorities, ensuring that appropriate safeguards are in place. Such sandboxes may include testing in real world conditions supervised therein. Where applicable, the sandbox plan shall incorporate the real-world testing plan referred to in Articles 60 and 60a.
5. 本条に基づき設置されるAI規制サンドボックスは、提供者又は将来の提供者と所管当局との間で合意された特定のサンドボックス計画に従い、上市又は供用開始の前の限られた期間、革新的なAIシステムの開発、訓練、試験及び検証を促進し、イノベーションを助長する管理された環境を提供するものとし、適切な保護措置が講じられていることを確保するものとする。当該サンドボックスは、そこで監督される実世界条件下での試験を含むことができる。該当する場合には、サンドボックス計画は、第60条及び第60a条に規定する実世界試験計画を組み込むものとする。
6. Competent authorities shall provide, as appropriate, guidance, supervision and support within the AI regulatory sandbox with a view to identifying risks, in particular to fundamental rights, health and safety, testing, mitigation measures, and their effectiveness in relation to the obligations and requirements of this Regulation and, where relevant, other Union and national law supervised within the sandbox.
6. 所管当局は、必要に応じ、特に基本的権利、健康及び安全に対するリスクの特定、試験、低減措置並びに本規則の義務及び要件並びに、関連する場合には、サンドボックス内で監督される他の連合法及び国内法との関係におけるそれらの有効性を目的として、AI規制サンドボックス内で指導、監督及び支援を提供しなければならない。
7. Competent authorities shall provide providers and prospective providers participating in the AI regulatory sandbox with guidance on regulatory expectations and how to fulfil the requirements and obligations set out in this Regulation. Upon request of the provider or prospective provider of the AI system, the competent authority shall provide a written proof of the activities successfully carried out in the sandbox. The competent authority shall also provide an exit report detailing the activities carried out in the sandbox and the related results and learning outcomes. Providers may use such documentation to demonstrate their compliance with this Regulation through the conformity assessment process or relevant market surveillance activities. In this regard, the exit reports and the written proof provided by the national competent authority shall be taken positively into account by market surveillance authorities and notified bodies, with a view to accelerating conformity assessment procedures to a reasonable extent.
7. 所管当局は、AI規制サンドボックスに参加する提供者及び将来の提供者に対し、規制上の期待事項並びに本規則に定める要件及び義務の履行方法について指導を提供しなければならない。 AIシステムの提供者又は将来の提供者の求めに応じ、所管当局は、サンドボックス内で首尾よく実施された活動についての書面による証明を提供しなければならない。所管当局はまた、サンドボックス内で実施された活動及び関連する結果並びに得られた知見を詳述する退出報告書を提供しなければならない。提供者は、当該文書を用いて、適合性評価手続又は関連する市場監視活動を通じて本規則への適合を実証することができる。この点に関し、国内所管当局が提供する退出報告書及び書面による証明は、適合性評価手続を合理的な範囲で加速することを目的として、市場監視当局及び届出機関によって肯定的に考慮されなければならない。
8. Subject to the confidentiality provisions in Article 78, and with the agreement of the provider or prospective provider, the Commission and the Board shall be authorised to access the exit reports and shall take them into account, as appropriate, when exercising their tasks under this Regulation. If both the provider or prospective provider and the national competent authority explicitly agree, the exit report may be made publicly available through the single information platform referred to in this Article.
8. 第78条の秘密保持規定に従い、かつ、提供者又は将来の提供者の同意を得て、欧州委員会及び理事会は退出報告書にアクセスする権限を有し、本規則に基づく任務を遂行するに当たり、必要に応じてこれを考慮しなければならない。提供者若しくは将来の提供者及び国内所管当局の双方が明示的に合意する場合には、退出報告書は、本条にいう単一情報プラットフォームを通じて公開することができる。
9. The establishment of AI regulatory sandboxes shall aim to contribute to the following objectives:
9. AI規制サンドボックスの設置は、以下の目的に寄与することを目指すものとする。
(a) improving legal certainty to achieve regulatory compliance with this Regulation or, where relevant, other applicable Union and national law;
(a) 本規則又は、関連する場合には他の適用のある連合法及び国内法との規制上の適合を達成するための法的確実性の向上
(b) supporting the sharing of best practices through cooperation with the authorities involved in the AI regulatory sandbox;
(b) AI規制サンドボックスに関与する当局との協力を通じたベストプラクティスの共有の支援
(c) fostering innovation and competitiveness and facilitating the development of an AI ecosystem;
(c) イノベーション及び競争力の促進並びにAIエコシステムの発展の促進
(d) contributing to evidence-based regulatory learning;
(d) 証拠に基づく規制上の学習への貢献
2026年改正(e) facilitating and accelerating access to the Union market for AI systems, in particular when provided by SMEs, including start-ups, and SMCs.
(e) 特に中小企業(新興企業を含む。)及び中小規模中堅企業(SMC)により提供される場合において、AIシステムの連合市場へのアクセスを容易にし及び加速すること。
2026年改正10. National competent authorities shall ensure that, to the extent the innovative AI systems involve the processing of personal data or otherwise fall under the supervisory remit of other national authorities or competent authorities providing or supporting access to data, the competent data protection authorities and those other national or competent authorities are associated with the operation of the AI regulatory sandbox and involved in the supervision of those aspects to the extent of their respective tasks and powers.
10. 国内所管当局は、革新的なAIシステムが個人データの取扱いを伴う限り、又はデータへのアクセスを提供若しくは支援する他の国内当局若しくは所管当局の監督権限の範囲に別途該当する限り、所管のデータ保護当局及びこれらの他の国内当局若しくは所管当局が、それぞれの任務及び権限の範囲内で、AI規制サンドボックスの運用に関与し、及びこれらの側面の監督に関与することを確保するものとする。
11. The AI regulatory sandboxes shall not affect the supervisory or corrective powers of the competent authorities supervising the sandboxes, including at regional or local level. Any significant risks to health and safety and fundamental rights identified during the development and testing of such AI systems shall result in an adequate mitigation. National competent authorities shall have the power to temporarily or permanently suspend the testing process, or the participation in the sandbox if no effective mitigation is possible, and shall inform the AI Office of such decision. National competent authorities shall exercise their supervisory powers within the limits of the relevant law, using their discretionary powers when implementing legal provisions in respect of a specific AI regulatory sandbox project, with the objective of supporting innovation in AI in the Union.
11. AI規制サンドボックスは、地域又は地方レベルを含め、当該サンドボックスを監督する所管当局の監督上又は是正上の権限に影響を及ぼすものではない。当該AIシステムの開発及び試験の過程で特定された健康及び安全並びに基本的権利に対する重大なリスクは、適切な低減措置につながらなければならない。国内所管当局は、効果的な低減措置が不可能な場合には、試験プロセス又はサンドボックスへの参加を一時的又は恒久的に停止する権限を有し、当該決定についてAI室に通知しなければならない。国内所管当局は、連合内のAIにおけるイノベーションを支援するという目的をもって、特定のAI規制サンドボックス・プロジェクトに関する法令の実施に当たりその裁量権を行使しつつ、関連法の範囲内でその監督権限を行使しなければならない。
12. Providers and prospective providers participating in the AI regulatory sandbox shall remain liable under applicable Union and national liability law for any damage inflicted on third parties as a result of the experimentation taking place in the sandbox. However, provided that the prospective providers observe the specific plan and the terms and conditions for their participation and follow in good faith the guidance given by the national competent authority, no administrative fines shall be imposed by the authorities for infringements of this Regulation. Where other competent authorities responsible for other Union and national law were actively involved in the supervision of the AI system in the sandbox and provided guidance for compliance, no administrative fines shall be imposed regarding that law.
12. AI規制サンドボックスに参加する提供者及び将来の提供者は、サンドボックス内で行われる実験の結果として第三者に生じた損害について、適用のある連合及び国内の賠償責任法に基づき、引き続き責任を負う。ただし、将来の提供者が、その参加のための特定の計画並びに諸条件を遵守し、かつ、国内所管当局による指導に誠実に従う場合には、当局は本規則の違反について行政制裁金を科してはならない。他の連合法及び国内法を所管する他の所管当局がサンドボックス内のAIシステムの監督に積極的に関与し、適合のための指導を提供していた場合には、当該法律に関する行政制裁金は科されないものとする。
13. The AI regulatory sandboxes shall be designed and implemented in such a way that, where relevant, they facilitate cross-border cooperation between national competent authorities.
13. AI規制サンドボックスは、関連する場合には、国内所管当局間の国境を越えた協力を促進するように設計及び実施されなければならない。
14. National competent authorities, the European Data Protection Supervisor and the AI Office, shall, as appropriate and within their respective competences, coordinate their activities and cooperate within the framework of the Board. They may support the joint establishment and operation of AI regulatory sandboxes, including in different sectors, and exchange best practices on related matters.
14. 国内所管当局、欧州データ保護監督官及びAI室は、該当する場合には、それぞれの権限の範囲内で、理事会の枠組みの中でその活動を調整し、及び協力するものとする。これらは、異なる分野にわたるものを含め、AI規制サンドボックスの共同設置及び運用を支援し、並びに関連事項に関するベストプラクティスを交換することができる。
15. National competent authorities shall inform the AI Office and the Board of the establishment of a sandbox, and may ask them for support and guidance. The AI Office shall make publicly available a list of planned and existing sandboxes and keep it up to date in order to encourage more interaction in the AI regulatory sandboxes and cross-border cooperation.
15. 国内所管当局は、サンドボックスの設置についてAI室及び理事会に通知しなければならず、これらに対して支援及び指導を求めることができる。AI室は、AI規制サンドボックスにおける相互作用及び国境を越えた協力を促進するため、計画中及び既存のサンドボックスの一覧を公開し、これを最新の状態に保たなければならない。
16. National competent authorities shall submit annual reports to the AI Office and to the Board, from one year after the establishment of the AI regulatory sandbox and every year thereafter until its termination, and a final report. Those reports shall provide information on the progress and results of the implementation of those sandboxes, including best practices, incidents, lessons learnt and recommendations on their setup and, where relevant, on the application and possible revision of this Regulation, including its delegated and implementing acts, and on the application of other Union law supervised by the competent authorities within the sandbox. The national competent authorities shall make those annual reports or abstracts thereof available to the public, online. The Commission shall, where appropriate, take the annual reports into account when exercising its tasks under this Regulation.
16. 国内所管当局は、AI規制サンドボックスの設置から1年後以降、その終了までの毎年及び最終報告書を、AI室及び理事会に提出しなければならない。当該報告書は、当該サンドボックスの実施の進捗及び結果(ベストプラクティス、事故、得られた教訓及びその設置に関する勧告を含む)並びに、関連する場合には、委任行為及び実施行為を含む本規則の適用及び改正の可能性、並びにサンドボックス内で所管当局によって監督される他の連合法の適用に関する情報を提供しなければならない。国内所管当局は、当該年次報告書又はその要約をオンラインで公衆が入手可能な状態にしなければならない。欧州委員会は、適切な場合には、本規則に基づく任務を遂行するに当たり当該年次報告書を考慮しなければならない。
17. The Commission shall develop a single and dedicated interface containing all relevant information related to AI regulatory sandboxes to allow stakeholders to interact with AI regulatory sandboxes and to raise enquiries with competent authorities, and to seek non-binding guidance on the conformity of innovative products, services, business models embedding AI technologies, in accordance with Article 62(1), point (c). The Commission shall proactively coordinate with national competent authorities, where relevant.
17. 欧州委員会は、関係者がAI規制サンドボックスと相互作用し、所管当局に照会を行い、並びに第62条第1項(c)に従いAI技術を組み込んだ革新的な製品、サービス及びビジネスモデルの適合性について拘束力のない指導を求めることを可能にするため、AI規制サンドボックスに関連するすべての関連情報を含む単一の専用インターフェースを開発しなければならない。欧州委員会は、関連する場合には、国内所管当局と積極的に調整しなければならない。

Article 58: Detailed arrangements for, and functioning of, AI regulatory sandboxes / AI規制サンドボックスの詳細な取決め及び運用

2026年改正1. In order to avoid fragmentation across the Union, the Commission shall adopt implementing acts specifying the detailed arrangements for the establishment, development, implementation, operation, governance, and supervision of the AI regulatory sandboxes. Those implementing acts shall include common principles on the following issues:
1. 連合全体における断片化を回避するため、欧州委員会は、AI規制サンドボックスの設置、開発、実施、運用、ガバナンス及び監督に関する詳細な取決めを規定する実施行為を採択するものとする。当該実施行為には、次の事項に関する共通の原則を含めるものとする。
(a) eligibility and selection criteria for participation in the AI regulatory sandbox;
(a) AI規制サンドボックスへの参加に係る適格性及び選定基準
(b) procedures for the application, participation, monitoring, exiting from and termination of the AI regulatory sandbox, including the sandbox plan and the exit report;
(b) AI規制サンドボックスへの申請、参加、監視、退出及び終了(サンドボックス計画及び退出報告書を含む)に係る手続
(c) the terms and conditions applicable to the participants;
(c) 参加者に適用される条件
2026年改正(d) the detailed rules applicable to the governance of AI regulatory sandboxes covered pursuant to Article 57, including as regards the involvement of and supervision by the competent data protection authorities, where relevant, and the coordination and cooperation at national and Union level.
(d) 第57条に基づき対象となるAI規制サンドボックスのガバナンスに適用される詳細な規則。これには、該当する場合には、管轄データ保護当局の関与及び監督、並びに国及び連合レベルでの調整及び協力に関する事項を含む。
Those implementing acts shall be adopted in accordance with the examination procedure referred to in Article 98(2).
当該実施行為は、第98条第2項に規定する審査手続に従って採択されるものとする。
2. The implementing acts referred to in paragraph 1 shall ensure:
2. 第1項にいう実施行為は、以下を確保しなければならない。
(a) that AI regulatory sandboxes are open to any applying provider or prospective provider of an AI system who fulfils eligibility and selection criteria, which shall be transparent and fair, and that national competent authorities inform applicants of their decision within three months of the application;
(a) AI規制サンドボックスが、透明かつ公正な適格性及び選定基準を満たす、申請を行うすべての提供者又は将来の提供者に開かれていること、並びに国内所管当局が申請から3か月以内にその決定を申請者に通知すること
(b) that AI regulatory sandboxes allow broad and equal access and keep up with demand for participation; providers and prospective providers may also submit applications in partnerships with deployers and other relevant third parties;
(b) AI規制サンドボックスが広範かつ平等なアクセスを認め、参加需要に対応し続けること、並びに提供者及び将来の提供者が、導入者及びその他の関連する第三者とのパートナーシップにおいても申請を行うことができること
(c) that the detailed arrangements for, and conditions concerning AI regulatory sandboxes support, to the best extent possible, flexibility for national competent authorities to establish and operate their AI regulatory sandboxes;
(c) AI規制サンドボックスに関する詳細な取決め及び条件が、国内所管当局がそのAI規制サンドボックスを設置及び運用する上での柔軟性を可能な限り支援すること
(d) that access to the AI regulatory sandboxes is free of charge for SMEs, including start-ups, without prejudice to exceptional costs that national competent authorities may recover in a fair and proportionate manner;
(d) AI規制サンドボックスへのアクセスが、中小企業(新興企業を含む)にとって無償であること。ただし、国内所管当局が公正かつ比例的な方法で回収し得る例外的な費用を妨げるものではない
(e) that they facilitate providers and prospective providers, by means of the learning outcomes of the AI regulatory sandboxes, in complying with conformity assessment obligations under this Regulation and the voluntary application of the codes of conduct referred to in Article 95;
(e) AI規制サンドボックスの学習成果により、本規則に基づく適合性評価義務の遵守及び第95条にいう行動規範の任意適用において、提供者及び将来の提供者を支援すること
(f) that AI regulatory sandboxes facilitate the involvement of other relevant actors within the AI ecosystem, such as notified bodies and standardisation organisations, SMEs, including start-ups, enterprises, innovators, testing and experimentation facilities, research and experimentation labs and European Digital Innovation Hubs, centres of excellence, individual researchers, in order to allow and facilitate cooperation with the public and private sectors;
(f) AI規制サンドボックスが、公的部門及び民間部門との協力を可能にし、これを促進するため、届出機関及び標準化団体、中小企業(新興企業を含む)、企業、イノベーター、試験及び実験施設、研究及び実験ラボ並びに欧州デジタルイノベーションハブ、卓越センター、個々の研究者等、AIエコシステム内のその他の関連する主体の関与を促進すること
(g) that procedures, processes and administrative requirements for application, selection, participation and exiting the AI regulatory sandbox are simple, easily intelligible, and clearly communicated in order to facilitate the participation of SMEs, including start-ups, with limited legal and administrative capacities and are streamlined across the Union, in order to avoid fragmentation and that participation in an AI regulatory sandbox established by a Member State, or by the European Data Protection Supervisor is mutually and uniformly recognised and carries the same legal effects across the Union;
(g) AI規制サンドボックスへの申請、選定、参加及び退出に係る手続、プロセス及び行政上の要件が、限られた法務及び行政上の能力しか有しない中小企業(新興企業を含む)の参加を容易にするために簡素であり、容易に理解可能であり、かつ明確に伝達されること、並びに分断を回避するために連合全体で合理化されること、及び加盟国又は欧州データ保護監督機関によって設置されたAI規制サンドボックスへの参加が、連合全体で相互かつ画一的に承認され、同一の法的効果を有すること
2026年改正(h) that participation in the AI regulatory sandbox is limited to a period that is appropriate to the complexity and scale of the project and that may be extended by the national competent authority;
(h) AI規制サンドボックスへの参加が、プロジェクトの複雑性及び規模に見合った期間に限定され、国内所管当局によって延長され得ること
2026年改正(i) that AI regulatory sandboxes facilitate the development of tools and infrastructure for testing, benchmarking, assessing and explaining dimensions of AI systems relevant for regulatory learning, such as accuracy, robustness and cybersecurity, as well as measures to mitigate risks to fundamental rights and society at large.
(i) AI規制サンドボックスが、正確性、頑健性及びサイバーセキュリティ等の規制上の学習に関連するAIシステムの諸側面を試験、ベンチマーク、評価及び説明するためのツール及びインフラの開発、並びに基本的権利及び社会全体に対するリスクを低減するための措置の開発を促進すること
2026年改正3. Prospective providers in the AI regulatory sandboxes, in particular SMEs and start-ups, shall be directed, where relevant, to pre-deployment services such as guidance on the implementation of this Regulation, to other value-adding services such as help with standardisation documents and certification, testing and experimentation facilities, European Digital Innovation Hubs and centres of excellence.
3. AI規制サンドボックスにおける将来の提供者、特に中小企業及び新興企業は、関連する場合には、本規則の実施に関する指導等の展開前サービス、並びに標準化文書及び認証に関する支援、試験・実験施設、欧州デジタル・イノベーション・ハブ及び卓越拠点等のその他の付加価値サービスに誘導されなければならない。
2026年改正4. Where national competent authorities consider authorising testing in real world conditions supervised within the framework of an AI regulatory sandbox to be established under this Article, they shall specifically agree the terms and conditions of such testing and, in particular, the appropriate safeguards with the participants, with a view to protecting fundamental rights, health and safety. Where appropriate, they shall cooperate with other national competent authorities with a view to ensuring consistent practices across the Union.
4. 国内所管当局は、本条に基づいて設置されるAI規制サンドボックスの枠組み内で監督される実環境における試験の実施を許可することを検討する場合には、基本的権利、健康及び安全の保護を目的として、当該試験の諸条件、特に適切な保護措置について、参加者と個別に合意しなければならない。適切な場合には、連合全体にわたる一貫した実務を確保することを目的として、他の国内所管当局と協力しなければならない。

Article 59: Further processing of personal data for developing certain AI systems in the public interest in the AI regulatory sandbox / AI規制サンドボックスにおける公共の利益のための一定のAIシステムの開発のための個人データの更なる処理

2026年改正1. In the AI regulatory sandbox, personal data lawfully collected for other purposes may be processed solely for the purpose of developing, training and testing certain AI systems in the sandbox when all of the following conditions are met:
1. AI規制サンドボックスにおいては、他の目的のために適法に収集された個人データは、以下のすべての条件が満たされる場合に限り、サンドボックス内での一定のAIシステムの開発、訓練及び試験の目的のためにのみ処理することができる。
2026年改正(a) AI systems shall be developed for safeguarding substantial public interest by a public authority or another natural or legal person and in one or more of the following areas:
(a) 当該AIシステムは、公的機関又はその他の自然人若しくは法人により、重大な公共の利益を保護するために、以下の一又は複数の分野で開発されなければならない。
2026年改正(i) public safety and public health, including disease detection, diagnosis prevention, control and treatment and improvement of health care systems;
(i) 公衆衛生及び公衆安全(疾病の検出、診断、予防、管理及び治療並びに医療制度の改善を含む)
2026年改正(ii) a high level of protection and improvement of the quality of the environment, protection of biodiversity, protection against pollution, green transition measures, climate change mitigation and adaptation measures;
(ii) 環境の質の高水準の保護及び改善、生物多様性の保護、汚染に対する保護、グリーン移行措置、気候変動の緩和及び適応措置
2026年改正(iii) energy sustainability;
(iii) エネルギーの持続可能性
2026年改正(iv) safety and resilience of transport systems and mobility, critical infrastructure and networks;
(iv) 輸送システム及びモビリティ、重要インフラ及びネットワークの安全性及び強靭性
2026年改正(v) efficiency and quality of public administration and public services;
(v) 行政及び公共サービスの効率性及び質
(b) the data processed are necessary for complying with one or more of the requirements referred to in Chapter III, Section 2 where those requirements cannot effectively be fulfilled by processing anonymised, synthetic or other non-personal data;
(b) 処理されるデータが、第III章第2節にいう一又は複数の要件を遵守するために必要であり、かつ当該要件が匿名化データ、合成データ又はその他の非個人データの処理によっては効果的に満たされ得ないこと
(c) there are effective monitoring mechanisms to identify if any high risks to the rights and freedoms of the data subjects, as referred to in Article 35 of Regulation (EU) 2016/679 and in Article 39 of Regulation (EU) 2018/1725, may arise during the sandbox experimentation, as well as response mechanisms to promptly mitigate those risks and, where necessary, stop the processing;
(c) 規則(EU)2016/679第35条及び規則(EU)2018/1725第39条にいうデータ主体の権利及び自由に対する重大なリスクがサンドボックスでの実験中に生じ得るか否かを特定する効果的な監視の仕組み、並びに当該リスクを速やかに低減し、必要な場合には処理を停止するための対応の仕組みが存在すること
(d) any personal data to be processed in the context of the sandbox are in a functionally separate, isolated and protected data processing environment under the control of the prospective provider and only authorised persons have access to those data;
(d) サンドボックスに関連して処理される個人データが、将来の提供者の管理下にある機能的に分離され、隔離され、かつ保護されたデータ処理環境にあり、権限を有する者のみが当該データにアクセスできること
(e) providers can further share the originally collected data only in accordance with Union data protection law; any personal data created in the sandbox cannot be shared outside the sandbox;
(e) 提供者が、当初収集されたデータを連合データ保護法に従ってのみ更に共有できること、及びサンドボックス内で生成された個人データがサンドボックスの外に共有されないこと
(f) any processing of personal data in the context of the sandbox neither leads to measures or decisions affecting the data subjects nor does it affect the application of their rights laid down in Union law on the protection of personal data;
(f) サンドボックスに関連する個人データの処理が、データ主体に影響を及ぼす措置又は決定につながらず、また個人データの保護に関する連合法に定めるデータ主体の権利の適用に影響を及ぼさないこと
(g) any personal data processed in the context of the sandbox are protected by means of appropriate technical and organisational measures and deleted once the participation in the sandbox has terminated or the personal data has reached the end of its retention period;
(g) サンドボックスに関連して処理される個人データが、適切な技術的及び組織的措置により保護され、サンドボックスへの参加が終了した時点又は個人データがその保存期間の末日に達した時点で削除されること
(h) the logs of the processing of personal data in the context of the sandbox are kept for the duration of the participation in the sandbox, unless provided otherwise by Union or national law;
(h) サンドボックスに関連する個人データの処理の記録が、連合法又は国内法により別段の定めがない限り、サンドボックスへの参加の期間中保存されること
(i) a complete and detailed description of the process and rationale behind the training, testing and validation of the AI system is kept together with the testing results as part of the technical documentation referred to in Annex IV;
(i) AIシステムの訓練、試験及び検証の背後にあるプロセス及び論拠に関する完全かつ詳細な記述が、附属書IVにいう技術文書の一部として試験結果とともに保存されること
(j) a short summary of the AI project developed in the sandbox, its objectives and expected results is published on the website of the competent authorities; this obligation shall not cover sensitive operational data in relation to the activities of law enforcement, border control, immigration or asylum authorities.
(j) サンドボックス内で開発されたAIプロジェクトの概要、その目的及び期待される結果の短い要約が所管当局のウェブサイトで公表されること。この義務は、法執行、国境管理、移民又は庇護当局の活動に関連する機微な運用データを対象としない。
2. For the purposes of the prevention, investigation, detection or prosecution of criminal offences or the execution of criminal penalties, including safeguarding against and preventing threats to public security, under the control and responsibility of law enforcement authorities, the processing of personal data in AI regulatory sandboxes shall be based on a specific Union or national law and subject to the same cumulative conditions as referred to in paragraph 1.
2. 犯罪の防止、捜査、検知若しくは訴追又は刑罰の執行(公共の安全に対する脅威からの防護及びその予防を含む)を目的とする場合であって、法執行当局の管理及び責任の下で行われる場合には、AI規制サンドボックスにおける個人データの処理は、特定の連合法又は国内法に基づき、かつ第1項にいうものと同一の累積的条件に従うものとする。
3. Paragraph 1 is without prejudice to Union or national law which excludes processing of personal data for other purposes than those explicitly mentioned in that law, as well as to Union or national law laying down the basis for the processing of personal data which is necessary for the purpose of developing, testing or training of innovative AI systems or any other legal basis, in compliance with Union law on the protection of personal data.
3. 第1項は、当該法律において明示的に言及されている目的以外の目的のための個人データの処理を除外する連合法若しくは国内法、並びに革新的なAIシステムの開発、試験若しくは訓練の目的のために必要な個人データの処理の根拠を定める連合法若しくは国内法、又は個人データの保護に関する連合法に適合するその他の法的根拠に影響を及ぼすものではない。

Article 60: Testing of high-risk AI systems in real world conditions outside AI regulatory sandboxes / AI規制サンドボックスの外部における実環境でのハイリスクAIシステムの試験

2026年改正1. Testing of high-risk AI systems in real world conditions outside AI regulatory sandboxes may be conducted by providers or prospective providers of high-risk AI systems listed in Annex III or covered by Union harmonisation legislation listed in Section A of Annex I, in accordance with this Article and the real-world testing plan referred to in this Article, without prejudice to the prohibitions under Article 5.
1. AI規制サンドボックス外における実世界条件での高リスクAIシステムの試験は、附属書IIIに列挙され、又は附属書I第A節に列挙する連合調和法制の対象となる高リスクAIシステムの提供者若しくは将来の提供者が、第5条に基づく禁止事項を損なうことなく、本条及び本条に規定する実世界試験計画に従って実施することができる。
The Commission shall, by means of implementing acts, specify the detailed elements of the real-world testing plan. Those implementing acts shall be adopted in accordance with the examination procedure referred to in Article 98(2). This paragraph shall be without prejudice to Union or national law on the testing in real world conditions of high-risk AI systems related to products covered by Union harmonisation legislation listed in Annex I.
欧州委員会は、実施行為により、実世界試験計画の詳細な要素を規定するものとする。当該実施行為は、第98条第2項に規定する審査手続に従って採択されるものとする。本項は、附属書Iに列挙する連合調和法制の対象となる製品に関連する高リスクAIシステムの実世界条件での試験に関する連合法又は国内法を損なうものではない。
2026年改正2. Providers or prospective providers may conduct testing of high-risk AI systems referred to in Annex III or covered by Union harmonisation legislation listed in Section A of Annex I in real world conditions at any time before the placing on the market or the putting into service of the high-risk AI system on their own or in partnership with one or more deployers or prospective deployers.
2. 提供者又は将来の提供者は、附属書IIIに規定され、又は附属書I第A節に列挙する連合調和法制の対象となる高リスクAIシステムについて、当該高リスクAIシステムの上市又は供用開始前のいかなる時点においても、単独で、又は一若しくは複数の配備者若しくは将来の配備者と共同して、実世界条件での試験を実施することができる。
3. The testing of high-risk AI systems in real world conditions under this Article shall be without prejudice to any ethical review that is required by Union or national law.
3. 本条に基づく実世界条件での高リスクAIシステムの試験は、連合法又は国内法により要求される倫理審査を損なうものではない。
4. Providers or prospective providers may conduct the testing in real world conditions only where all of the following conditions are met:
4. 提供者又は将来の提供者は、次の条件のすべてが満たされる場合に限り、実世界条件での試験を実施することができる。
(a) the provider or prospective provider has drawn up a real-world testing plan and submitted it to the market surveillance authority in the Member State where the testing in real world conditions is to be conducted;
(a) 提供者又は将来の提供者が実世界試験計画を作成し、実世界条件での試験が実施される加盟国の市場監視当局に提出したこと
(b) the market surveillance authority in the Member State where the testing in real world conditions is to be conducted has approved the testing in real world conditions and the real-world testing plan; where the market surveillance authority has not provided an answer within 30 days, the testing in real world conditions and the real-world testing plan shall be understood to have been approved; where national law does not provide for a tacit approval, the testing in real world conditions shall remain subject to an authorisation;
(b) 実世界条件での試験が実施される加盟国の市場監視当局が、実世界条件での試験及び実世界試験計画を承認したこと。市場監視当局が30日以内に回答を行わなかった場合には、当該実世界条件での試験及び実世界試験計画は承認されたものとみなされる。国内法が黙示の承認を定めていない場合には、実世界条件での試験は引き続き認可を要するものとする。
(c) the provider or prospective provider, with the exception of providers or prospective providers of high-risk AI systems referred to in points 1, 6 and 7 of Annex III in the areas of law enforcement, migration, asylum and border control management, and high-risk AI systems referred to in point 2 of Annex III has registered the testing in real world conditions in accordance with Article 71(4) with a Union-wide unique single identification number and with the information specified in Annex IX; the provider or prospective provider of high-risk AI systems referred to in points 1, 6 and 7 of Annex III in the areas of law enforcement, migration, asylum and border control management, has registered the testing in real-world conditions in the secure non-public section of the EU database according to Article 49(4), point (d), with a Union-wide unique single identification number and with the information specified therein; the provider or prospective provider of high-risk AI systems referred to in point 2 of Annex III has registered the testing in real-world conditions in accordance with Article 49(5);
(c) 提供者又は将来の提供者(法執行、移民、庇護及び国境管理の分野における附属書III第1号、第6号及び第7号に規定する高リスクAIシステム並びに附属書III第2号に規定する高リスクAIシステムの提供者又は将来の提供者を除く。)が、第71条第4項に従い、連合全体で一意の単一識別番号を付し、附属書IXに規定する情報とともに、実世界条件での試験を登録したこと。法執行、移民、庇護及び国境管理の分野における附属書III第1号、第6号及び第7号に規定する高リスクAIシステムの提供者又は将来の提供者は、第49条第4項(d)に従い、連合全体で一意の単一識別番号を付し、当該規定に定める情報とともに、EUデータベースの安全な非公開部分において実世界条件での試験を登録するものとする。附属書III第2号に規定する高リスクAIシステムの提供者又は将来の提供者は、第49条第5項に従い、実世界条件での試験を登録するものとする。
(d) the provider or prospective provider conducting the testing in real world conditions is established in the Union or has appointed a legal representative who is established in the Union;
(d) 実世界条件での試験を実施する提供者又は将来の提供者が連合内に設立され、又は連合内に設立された法定代理人を選任していること
(e) data collected and processed for the purpose of the testing in real world conditions shall be transferred to third countries only provided that appropriate and applicable safeguards under Union law are implemented;
(e) 実世界条件での試験の目的で収集及び処理されたデータは、連合法に基づく適切かつ適用可能な保護措置が実施されている場合に限り、第三国に移転されるものとすること
(f) the testing in real world conditions does not last longer than necessary to achieve its objectives and in any case not longer than six months, which may be extended for an additional period of six months, subject to prior notification by the provider or prospective provider to the market surveillance authority, accompanied by an explanation of the need for such an extension;
(f) 実世界条件での試験が、その目的の達成に必要な期間を超えず、いかなる場合も6箇月を超えないこと。ただし、提供者又は将来の提供者が、当該延長の必要性の説明を付して市場監視当局に事前に通知することを条件として、更に6箇月間延長することができる。
(g) the subjects of the testing in real world conditions who are persons belonging to vulnerable groups due to their age or disability, are appropriately protected;
(g) 年齢又は障害により脆弱な集団に属する者である実世界条件での試験の対象者が、適切に保護されていること
(h) where a provider or prospective provider organises the testing in real world conditions in cooperation with one or more deployers or prospective deployers, the latter have been informed of all aspects of the testing that are relevant to their decision to participate, and given the relevant instructions for use of the AI system referred to in Article 13; the provider or prospective provider and the deployer or prospective deployer shall conclude an agreement specifying their roles and responsibilities with a view to ensuring compliance with the provisions for testing in real world conditions under this Regulation and under other applicable Union and national law;
(h) 提供者又は将来の提供者が一若しくは複数の配備者又は将来の配備者と協力して実世界条件での試験を実施する場合には、当該配備者又は将来の配備者に対し、参加の決定に関連する試験のあらゆる側面について情報が提供され、かつ、第13条に規定するAIシステムの使用説明書が提供されていること。提供者又は将来の提供者及び配備者又は将来の配備者は、本規則及び他の適用される連合法若しくは国内法に基づく実世界条件での試験に関する規定の遵守を確保する観点から、それぞれの役割及び責任を明示する合意を締結するものとする。
(i) the subjects of the testing in real world conditions have given informed consent in accordance with Article 61, or in the case of law enforcement, where the seeking of informed consent would prevent the AI system from being tested, the testing itself and the outcome of the testing in the real world conditions shall not have any negative effect on the subjects, and their personal data shall be deleted after the test is performed;
(i) 実世界条件での試験の対象者が第61条に従ってインフォームド・コンセントを与えていること。ただし、法執行の場合において、インフォームド・コンセントを求めることがAIシステムの試験の実施を妨げることとなるときは、当該試験自体及び実世界条件での試験の結果が対象者に何ら悪影響を及ぼしてはならず、かつ、試験の実施後、対象者の個人データは削除されるものとする。
(j) the testing in real world conditions is effectively overseen by the provider or prospective provider, as well as by deployers or prospective deployers through persons who are suitably qualified in the relevant field and have the necessary capacity, training and authority to perform their tasks;
(j) 実世界条件での試験が、提供者若しくは将来の提供者、並びに関連分野において適切な資格を有し、その任務を遂行するために必要な能力、訓練及び権限を有する者を通じた配備者若しくは将来の配備者によって、実効的に監督されていること
(k) the predictions, recommendations or decisions of the AI system can be effectively reversed and disregarded.
(k) AIシステムの予測、勧告又は決定を実効的に取り消し、かつ、無視することができること。
5. Any subjects of the testing in real world conditions, or their legally designated representative, as appropriate, may, without any resulting detriment and without having to provide any justification, withdraw from the testing at any time by revoking their informed consent and may request the immediate and permanent deletion of their personal data. The withdrawal of the informed consent shall not affect the activities already carried out.
5. 実世界条件での試験の対象者又は、該当する場合には、その法律上指定された代理人は、いかなる不利益も受けることなく、かつ、いかなる正当化事由も提示することなく、いつでもそのインフォームド・コンセントを撤回することにより試験から離脱することができ、また、その個人データの即時かつ永久的な削除を請求することができる。インフォームド・コンセントの撤回は、既に実施された活動に影響を及ぼすものではない。
6. In accordance with Article 75, Member States shall confer on their market surveillance authorities the powers of requiring providers and prospective providers to provide information, of carrying out unannounced remote or on-site inspections, and of performing checks on the conduct of the testing in real world conditions and the related high-risk AI systems. Market surveillance authorities shall use those powers to ensure the safe development of testing in real world conditions.
6. 加盟国は、第75条に従い、その市場監視当局に対し、提供者及び将来の提供者に情報の提供を要求する権限、予告なしの遠隔又は現地の検査を実施する権限、並びに実世界条件での試験の実施及び関連する高リスクAIシステムについて検査を行う権限を付与するものとする。市場監視当局は、実世界条件での試験の安全な進展を確保するため、これらの権限を行使するものとする。
7. Any serious incident identified in the course of the testing in real world conditions shall be reported to the national market surveillance authority in accordance with Article 73. The provider or prospective provider shall adopt immediate mitigation measures or, failing that, shall suspend the testing in real world conditions until such mitigation takes place, or otherwise terminate it. The provider or prospective provider shall establish a procedure for the prompt recall of the AI system upon such termination of the testing in real world conditions.
7. 実世界条件での試験の過程で特定された重大インシデントは、第73条に従い、国内市場監視当局に報告されるものとする。提供者又は将来の提供者は、直ちに低減措置を講じるものとし、これができない場合には、当該低減措置が講じられるまで実世界条件での試験を停止し、又はこれを終了するものとする。提供者又は将来の提供者は、実世界条件での試験の当該終了に伴い、AIシステムを迅速に回収するための手続を確立するものとする。
8. Providers or prospective providers shall notify the national market surveillance authority in the Member State where the testing in real world conditions is to be conducted of the suspension or termination of the testing in real world conditions and of the final outcomes.
8. 提供者又は将来の提供者は、実世界条件での試験が実施される加盟国の国内市場監視当局に対し、実世界条件での試験の停止若しくは終了及びその最終結果を通知するものとする。
9. The provider or prospective provider shall be liable under applicable Union and national liability law for any damage caused in the course of their testing in real world conditions.
9. 提供者又は将来の提供者は、その実世界条件での試験の過程で生じた損害について、適用される連合の責任法及び国内の責任法に基づき責任を負うものとする。

Article 60a: Testing of high-risk AI systems covered by Union harmonisation legislation listed in Section B of Annex I in real-world conditions outside AI regulatory sandboxes / AI規制サンドボックス外における、附属書IセクションBに掲げる連合調和法令の対象となる高リスクAIシステムの実世界条件での試験 新設条文(2026年)

2026年改正1. Member States may allow, in accordance with this Article, the testing of high-risk AI systems in real world conditions outside AI regulatory sandboxes by providers or prospective providers of AI enabled products covered by the Union harmonisation legislation listed in Section B of Annex I, with a view to assessing and verifying the conformity of those systems with the requirements laid down in Articles 8 to 15.
1. 加盟国は、本条に従い、附属書I第B節に列挙する連合調和法制の対象となるAI対応製品の提供者又は将来の提供者による、AI規制サンドボックス外における実世界条件での高リスクAIシステムの試験を、当該システムの第8条から第15条までに定める要件への適合性を評価し、及び検証することを目的として、認めることができる。
2. Member States that choose to allow testing as referred to in paragraph 1 shall, individually or jointly, adopt frameworks for real-world testing.
2. 第1項に規定する試験を認めることを選択する加盟国は、個別に又は共同して、実世界試験のための枠組みを採択するものとする。
3. Each Member State shall notify the Commission of any real-world testing framework it adopts before implementing it. This shall not affect the competences of the Commission under the Union harmonisation legislation listed in Section B of Annex I.
3. 各加盟国は、実世界試験の枠組みを採択する場合には、これを実施する前に欧州委員会に通知するものとする。これは、附属書I第B節に列挙する連合調和法制に基づく欧州委員会の権限に影響を及ぼすものではない。
4. Member States that have adopted real-world testing frameworks shall ensure that the relevant national competent authorities, relevant authorities and public authorities responsible for the management and operation of infrastructure and products covered by Union harmonisation legislation listed in Section B of Annex I cooperate closely with each other in good faith and remove any practical obstacles, including on procedural rules providing access to physical public infrastructure, where this is necessary, to successfully implement those real-world testing frameworks and test AI-enabled products covered by Union harmonisation legislation listed in Section B of Annex I.
4. 実世界試験の枠組みを採択した加盟国は、附属書I第B節に列挙する連合調和法制の対象となるインフラストラクチャー及び製品の管理及び運用を所管する関連する国内管轄当局、関連当局及び公的機関が、これらの実世界試験の枠組みを首尾よく実施し、附属書I第B節に列挙する連合調和法制の対象となるAI対応製品を試験するために必要な場合には、誠実に相互に緊密に協力し、物理的な公共インフラストラクチャーへのアクセスを与える手続規則に関するものを含め、実務上の障害を除去することを確保するものとする。
5. The frameworks for real-world testing shall lay down the requirements under which testing in real-world conditions shall occur. Those frameworks shall:
5. 実世界試験のための枠組みは、実世界条件での試験が行われる要件を定めるものとする。当該枠組みは、次の事項を満たすものとする。
(a) include the provision of a mandatory real-world testing plan to be agreed between the provider or prospective provider and the national competent authority or relevant authority in accordance with the Union harmonisation legislation listed in Section B of Annex I;
(a) 附属書I第B節に列挙する連合調和法制に従い、提供者又は将来の提供者と国内管轄当局又は関連当局との間で合意される、義務的な実世界試験計画の規定を含むこと
(b) ensure compliance with the requirements laid down in Article 60(2), (3), (4)(d)-(j) and (5)-(9), where any reference to market surveillance authorities in those provisions shall be read as a reference to the national competent authority or relevant authority, as appropriate in accordance with the Union harmonisation legislation listed in Section B of Annex I;
(b) 第60条第2項、第3項、第4項(d)から(j)まで及び第5項から第9項までに定める要件の遵守を確保すること。この場合において、これらの規定における市場監視当局への言及は、附属書I第B節に列挙する連合調和法制に従い、必要に応じて国内管轄当局又は関連当局への言及と読み替えるものとする。
(c) include effective governance and accountability arrangements;
(c) 実効的なガバナンス及び説明責任の取決めを含むこと
(d) ensure a high level of protection of health safety and fundamental rights.
(d) 健康、安全及び基本的権利の高い水準の保護を確保すること。
6. The real-world testing shall comply with the applicable provisions laid down in the Union harmonisation legislation listed in Section B of Annex I. Any requirements laid down in those provisions shall not affect the application of this Article to the extent necessary to enable the testing referred to in paragraph 1.
6. 実世界試験は、附属書I第B節に列挙する連合調和法制に定める適用される規定を遵守するものとする。当該規定に定めるいかなる要件も、第1項に規定する試験を可能にするために必要な範囲において、本条の適用に影響を及ぼすものではない。

Article 61: Informed consent to participate in testing in real world conditions outside AI regulatory sandboxes / AI規制サンドボックスの外部における実環境での試験への参加のためのインフォームド・コンセント

1. For the purpose of testing in real world conditions under Article 60, freely-given informed consent shall be obtained from the subjects of testing prior to their participation in such testing and after their having been duly informed with concise, clear, relevant, and understandable information regarding:
1. 第60条に基づく実環境における試験の目的のため、自由に与えられたインフォームド・コンセントは、試験の対象者から、その参加前に、かつ以下に関する簡潔、明確、関連性があり、かつ理解可能な情報を適切に提供された後に、取得しなければならない。
2026年改正(a) the nature and objectives of the testing in real world conditions and the possible inconvenience that may be linked to their participation;
(a) 実環境における試験の性質及び目的並びにその参加に伴い得る不便
2026年改正(b) the conditions under which the testing in real world conditions is to be conducted, including the expected duration of the subject or subjects’ participation;
(b) 実環境における試験が実施される条件(対象者の参加の予想される期間を含む)
2026年改正(c) their rights, and the guarantees regarding their participation, in particular their right to refuse to participate in, and the right to withdraw from, testing in real world conditions at any time without any resulting detriment and without having to provide any justification;
(c) 対象者の権利及びその参加に関する保証(特に、いかなる不利益も被ることなく、いかなる正当化事由も提示することなく、いつでも実環境における試験への参加を拒否し、又はこれから離脱する権利)
2026年改正(d) the arrangements for requesting the reversal or the disregarding of the predictions, recommendations or decisions of the AI system;
(d) AIシステムの予測、勧告又は決定の取消し又は無視を求めるための取決め
2026年改正(e) the Union-wide unique single identification number of the testing in real world conditions in accordance with Article 60(4) point (c), and the contact details of the provider or its legal representative from whom further information can be obtained.
(e) 第60条第4項(c)に従った実環境における試験の連合全体で一意の単一識別番号、及び更なる情報を入手できる提供者又はその法定代理人の連絡先
2026年改正2. The informed consent shall be dated and documented and a copy shall be given to the subjects of testing or their legal representative.
2. インフォームド・コンセントには日付が付され、文書化されなければならず、その写しが試験の対象者又はその法定代理人に交付されなければならない。

Article 62: Measures for providers and deployers, in particular SMEs, including start-ups / 提供者及び導入者、特に中小企業(新興企業を含む)のための措置

2026年改正1. Member States shall undertake the following actions:
1. 加盟国は、以下の行動をとるものとする。
2026年改正(a) provide SMEs, including start-ups, having a registered office or a branch in the Union, with priority access to the AI regulatory sandboxes, to the extent that they fulfil the eligibility conditions and selection criteria; the priority access shall not preclude other SMEs, including start-ups, other than those referred to in this paragraph from access to the AI regulatory sandbox, provided that they also fulfil the eligibility conditions and selection criteria;
(a) 連合内に登録された事務所又は支店を有する中小企業(新興企業を含む)に対し、適格性の条件及び選定基準を満たす限りにおいて、AI規制サンドボックスへの優先的なアクセスを提供すること。当該優先的なアクセスは、本項にいう中小企業以外の他の中小企業(新興企業を含む)が、同様に適格性の条件及び選定基準を満たす場合に、AI規制サンドボックスへのアクセスを妨げるものではない。
2026年改正(b) organise specific awareness raising and training activities on the application of this Regulation tailored to the needs of SMEs including start-ups, deployers and, as appropriate, local public authorities;
(b) 中小企業(新興企業を含む)、導入者及び、適切な場合には地方公的機関の必要性に合わせた、本規則の適用に関する特別な啓発及び研修活動を組織すること
2026年改正(c) utilise existing dedicated channels and where appropriate, establish new ones for communication with SMEs including start-ups, deployers, other innovators and, as appropriate, local public authorities to provide advice and respond to queries about the implementation of this Regulation, including as regards participation in AI regulatory sandboxes;
(c) 中小企業(新興企業を含む)、導入者、その他のイノベーター及び、適切な場合には地方公的機関との連絡のために、既存の専用の窓口を活用し、適切な場合には新たな窓口を設置し、AI規制サンドボックスへの参加を含む本規則の実施に関する助言を提供し、照会に対応すること
2026年改正(d) facilitate the participation of SMEs and other relevant stakeholders in the standardisation development process.
(d) 標準化の開発プロセスへの中小企業及びその他の関連する利害関係者の参加を促進すること
2026年改正2. The specific interests and needs of the SME providers, including start-ups, shall be taken into account when setting the fees for conformity assessment under Article 43, reducing those fees proportionately to their size, market size and other relevant indicators.
2. 中小企業である提供者(新興企業を含む)の特別な利益及び必要性は、第43条に基づく適合性評価の手数料を設定するに当たり、その規模、市場規模及びその他の関連する指標に比例して当該手数料を低減させることにより、考慮されなければならない。
3. The AI Office shall undertake the following actions:
3. AI室は、以下の行動をとるものとする。
(a) provide standardised templates for areas covered by this Regulation, as specified by the Board in its request;
(a) 理事会がその要請において特定する、本規則が対象とする分野についての標準化されたひな形を提供すること
(b) develop and maintain a single information platform providing easy to use information in relation to this Regulation for all operators across the Union;
(b) 連合全体のすべての事業者のために、本規則に関する使いやすい情報を提供する単一の情報プラットフォームを開発及び維持すること
(c) organise appropriate communication campaigns to raise awareness about the obligations arising from this Regulation;
(c) 本規則から生じる義務についての意識を高めるための適切な広報キャンペーンを組織すること
(d) evaluate and promote the convergence of best practices in public procurement procedures in relation to AI systems.
(d) AIシステムに関する公共調達手続におけるベストプラクティスの収斂を評価及び促進すること

Article 63: Derogations for specific operators / 特定の事業者に対する適用除外

2026年改正1. SMEs, including start-ups, may comply with certain elements of the quality management system required by Article 17 in a simplified manner, provided that they do not have partner enterprises or linked enterprises within the meaning of Recommendation 2003/361/EC. For that purpose, the Commission shall develop guidelines on the elements of the quality management system which may be complied with in a simplified manner considering the needs of SMEs, without affecting the level of protection or the need for compliance with the requirements in respect of high-risk AI systems.
1. 中小企業(新興企業を含む)は、勧告2003/361/ECにいうパートナー企業又は関連企業を有しない場合には、第17条により要求される品質管理システムの一定の要素について、簡素化された方法で遵守することができる。この目的のため、欧州委員会は、高リスクAIシステムに関する要件についての保護の水準又は遵守の必要性に影響を及ぼすことなく、中小企業のニーズを考慮し、簡素化された方法で遵守することができる品質管理システムの要素に関するガイドラインを策定するものとする。
2. Paragraph 1 of this Article shall not be interpreted as exempting those operators from fulfilling any other requirements or obligations laid down in this Regulation, including those established in Articles 9, 10, 11, 12, 13, 14, 15, 72 and 73.
2. 本条第1項は、第9条、第10条、第11条、第12条、第13条、第14条、第15条、第72条及び第73条に定めるものを含め、本規則に定める他の要件又は義務を当該運用者が履行することを免除するものと解釈してはならない。

08 Chapter VII: Governance

Section 1: Governance at Union level / 連合レベルでのガバナンス

Article 64: AI Office / AI室

1. The Commission shall develop Union expertise and capabilities in the field of AI through the AI Office.
1. 欧州委員会は、AI室を通じて、AIの分野における連合の専門性及び能力を発展させるものとする。
2. Member States shall facilitate the tasks entrusted to the AI Office, as reflected in this Regulation.
2. 加盟国は、本規則に反映されているAI室に委託された任務を促進しなければならない。
2026年改正3. Without prejudice to the budgetary procedure, the AI Office shall be allocated adequate resources to effectively perform its duties and exercise its powers in relation to the enforcement of this Regulation.
3. AI室には、予算手続を損なうことなく、本規則の執行に関するその任務を実効的に遂行し、及びその権限を行使するために十分な資源が配分されるものとする。

Article 65: Establishment and structure of the European Artificial Intelligence Board / 欧州人工知能理事会の設置及び構成

1. A European Artificial Intelligence Board (the ‘Board’) is hereby established.
1. ここに、欧州人工知能理事会(以下「理事会」という。)を設置する。
2. The Board shall be composed of one representative per Member State. The European Data Protection Supervisor shall participate as observer. The AI Office shall also attend the Board’s meetings, without taking part in the votes. Other national and Union authorities, bodies or experts may be invited to the meetings by the Board on a case by case basis, where the issues discussed are of relevance for them.
2. 理事会は、加盟国ごとに1名の代表者で構成するものとする。欧州データ保護監督機関はオブザーバーとして参加するものとする。AIオフィスも、投票には参加しないものの、理事会の会合に出席するものとする。他の国内及び連合の当局、機関又は専門家は、議論される事項がこれらの者に関連する場合には、理事会により個別に会合への出席を招請されることがある。
3. Each representative shall be designated by their Member State for a period of three years, renewable once.
3. 各代表者は、3年の任期で加盟国により指名されるものとし、当該任期は1回に限り更新することができる。
4. Member States shall ensure that their representatives on the Board:
4. 加盟国は、理事会におけるその代表者が次の各号に該当することを確保しなければならない。
(a) have the relevant competences and powers in their Member State so as to contribute actively to the achievement of the Board’s tasks referred to in Article 66;
(a) 第66条に定める理事会の任務の達成に積極的に貢献することができるよう、自国において関連する権限及び権能を有すること。
(b) are designated as a single contact point vis-à-vis the Board and, where appropriate, taking into account Member States’ needs, as a single contact point for stakeholders;
(b) 理事会に対する単一の窓口として、また、必要に応じ、加盟国のニーズを考慮の上、関係者に対する単一の窓口として指定されていること。
(c) are empowered to facilitate consistency and coordination between national competent authorities in their Member State as regards the implementation of this Regulation, including through the collection of relevant data and information for the purpose of fulfilling their tasks on the Board.
(c) 理事会における任務を遂行する目的のための関連するデータ及び情報の収集を含め、本規則の実施に関し自国の国内所管当局間の一貫性及び調整を促進する権限を有すること。
5. The designated representatives of the Member States shall adopt the Board’s rules of procedure by a two-thirds majority. The rules of procedure shall, in particular, lay down procedures for the selection process, the duration of the mandate of, and specifications of the tasks of, the Chair, detailed arrangements for voting, and the organisation of the Board’s activities and those of its sub-groups.
5. 加盟国の指名された代表者は、3分の2の多数決により理事会の議事規則を採択するものとする。議事規則は、特に、議長の選任手続、任期及び任務の内容、投票に関する詳細な取決め並びに理事会及びその小グループの活動の組織に関する手続を定めるものとする。
6. The Board shall establish two standing sub-groups to provide a platform for cooperation and exchange among market surveillance authorities and notifying authorities about issues related to market surveillance and notified bodies respectively. The standing sub-group for market surveillance should act as the administrative cooperation group (ADCO) for this Regulation within the meaning of Article 30 of Regulation (EU) 2019/1020. The Board may establish other standing or temporary sub-groups as appropriate for the purpose of examining specific issues. Where appropriate, representatives of the advisory forum referred to in Article 67 may be invited to such sub-groups or to specific meetings of those subgroups as observers.
6. 理事会は、市場監視当局及び届出当局の間で、それぞれ市場監視及び届出機関に関する事項について協力及び意見交換を行うための基盤を提供する2つの常設小グループを設置するものとする。 市場監視のための常設小グループは、規則(EU)2019/1020第30条にいう意味における本規則のための行政協力グループ(ADCO)として機能すべきである。 理事会は、特定の事項を検討する目的で適切と認める場合には、他の常設又は臨時の小グループを設置することができる。適切な場合には、第67条にいう諮問フォーラムの代表者は、オブザーバーとして当該小グループ又はその特定の会合に招請されることがある。
7. The Board shall be organised and operated so as to safeguard the objectivity and impartiality of its activities.
7. 理事会は、その活動の客観性及び公平性を確保するよう組織され、運営されるものとする。
8. The Board shall be chaired by one of the representatives of the Member States. The AI Office shall provide the secretariat for the Board, convene the meetings upon request of the Chair, and prepare the agenda in accordance with the tasks of the Board pursuant to this Regulation and its rules of procedure.
8. 理事会は、加盟国の代表者の1名が議長を務めるものとする。AIオフィスは、理事会のために事務局を提供し、議長の要請に基づき会合を招集し、本規則及びその議事規則に基づく理事会の任務に従い議事日程を作成するものとする。

Article 66: Tasks of the Board / 理事会の任務

The Board shall advise and assist the Commission and the Member States in order to facilitate the consistent and effective application of this Regulation. To that end, the Board may in particular:
理事会は、本規則の一貫した効果的な適用を促進するため、欧州委員会及び加盟国に対して助言及び支援を行うものとする。この目的のため、理事会は、特に次のことを行うことができる。
(a) contribute to the coordination among national competent authorities responsible for the application of this Regulation and, in cooperation with and subject to the agreement of the market surveillance authorities concerned, support joint activities of market surveillance authorities referred to in Article 74(11);
(a) 本規則の適用を所管する国内所管当局間の調整に貢献すること、及び、関係する市場監視当局の合意を条件としてこれと協力の上、第74条第11項にいう市場監視当局の共同活動を支援すること。
(b) collect and share technical and regulatory expertise and best practices among Member States;
(b) 加盟国間で技術的及び規制上の専門知識並びに最良の実務を収集し、共有すること。
(c) provide advice on the implementation of this Regulation, in particular as regards the enforcement of rules on general-purpose AI models;
(c) 特に汎用AIモデルに関する規則の執行に関し、本規則の実施について助言を提供すること。
(d) contribute to the harmonisation of administrative practices in the Member States, including in relation to the derogation from the conformity assessment procedures referred to in Article 46, the functioning of AI regulatory sandboxes, and testing in real world conditions referred to in Articles 57, 59 and 60;
(d) 第46条にいう適合性評価手続の適用除外、AI規制サンドボックスの運用並びに第57条、第59条及び第60条にいう実環境における試験に関するものを含め、加盟国における行政実務の調和に貢献すること。
(e) at the request of the Commission or on its own initiative, issue recommendations and written opinions on any relevant matters related to the implementation of this Regulation and to its consistent and effective application, including:
(e) 欧州委員会の要請に基づき、又は自らの発意により、本規則の実施及びその一貫した効果的な適用に関連する事項について、次の事項を含め、勧告及び書面による意見を発すること。
(i) on the development and application of codes of conduct and codes of practice pursuant to this Regulation, as well as of the Commission’s guidelines;
(i) 本規則に基づく行動規範及び実務規範並びに欧州委員会の指針の策定及び適用に関する事項
(ii) the evaluation and review of this Regulation pursuant to Article 112, including as regards the serious incident reports referred to in Article 73, and the functioning of the EU database referred to in Article 71, the preparation of the delegated or implementing acts, and as regards possible alignments of this Regulation with the Union harmonisation legislation listed in Annex I;
(ii) 第73条にいう重大インシデント報告及び第71条にいうEUデータベースの運用に関する事項を含む第112条に基づく本規則の評価及び見直し、委任行為又は実施行為の準備、並びに附属書Ⅰに掲げる連合調和法令との本規則の整合の可能性に関する事項
(iii) on technical specifications or existing standards regarding the requirements set out in Chapter III, Section 2;
(iii) 第Ⅲ章第2節に定める要件に関する技術仕様又は既存の規格に関する事項
(iv) on the use of harmonised standards or common specifications referred to in Articles 40 and 41;
(iv) 第40条及び第41条にいう調和規格又は共通仕様の利用に関する事項
(v) trends, such as European global competitiveness in AI, the uptake of AI in the Union, and the development of digital skills;
(v) 欧州のAIにおける世界的競争力、連合におけるAIの普及及びデジタル技能の発展等の傾向
(vi) trends on the evolving typology of AI value chains, in particular on the resulting implications in terms of accountability;
(vi) AIバリューチェーンの類型の進展に関する傾向、特にこれにより生じる説明責任の観点からの影響
(vii) on the potential need for amendment to Annex III in accordance with Article 7, and on the potential need for possible revision of Article 5 pursuant to Article 112, taking into account relevant available evidence and the latest developments in technology;
(vii) 第7条に基づく附属書Ⅲの改正の必要性の可能性、及び第112条に基づく第5条の改正の可能性の必要性について、関連する入手可能な証拠及び技術の最新の進展を考慮すること
(f) support the Commission in promoting AI literacy, public awareness and understanding of the benefits, risks, safeguards and rights and obligations in relation to the use of AI systems;
(f) AIシステムの利用に関するAIリテラシー、公衆の認識並びに利益、リスク、保護措置並びに権利及び義務についての理解の促進に関し、欧州委員会を支援すること。
(g) facilitate the development of common criteria and a shared understanding among market operators and competent authorities of the relevant concepts provided for in this Regulation, including by contributing to the development of benchmarks;
(g) 基準の策定への貢献を含め、本規則に定める関連する概念について、市場参加者及び所管当局の間における共通の基準及び共通の理解の策定を促進すること。
(h) cooperate, as appropriate, with other Union institutions, bodies, offices and agencies, as well as relevant Union expert groups and networks, in particular in the fields of product safety, cybersecurity, competition, digital and media services, financial services, consumer protection, data and fundamental rights protection;
(h) 特に製品安全、サイバーセキュリティ、競争、デジタル及びメディアサービス、金融サービス、消費者保護、データ及び基本権保護の分野において、他の連合の機関、団体、事務所及び機関並びに関連する連合の専門家グループ及びネットワークと、適切な場合には協力すること。
(i) contribute to effective cooperation with the competent authorities of third countries and with international organisations;
(i) 第三国の所管当局及び国際機関との効果的な協力に貢献すること。
(j) assist national competent authorities and the Commission in developing the organisational and technical expertise required for the implementation of this Regulation, including by contributing to the assessment of training needs for staff of Member States involved in implementing this Regulation;
(j) 本規則の実施に関与する加盟国の職員の研修ニーズの評価への貢献を含め、本規則の実施に必要な組織上及び技術上の専門知識の開発において、国内所管当局及び欧州委員会を支援すること。
(k) assist the AI Office in supporting national competent authorities in the establishment and development of AI regulatory sandboxes, and facilitate cooperation and information-sharing among AI regulatory sandboxes;
(k) AI規制サンドボックスの設立及び発展において国内所管当局を支援するAIオフィスを補助し、AI規制サンドボックス間の協力及び情報共有を促進すること。
(l) contribute to, and provide relevant advice on, the development of guidance documents;
(l) 指針文書の策定に貢献し、これに関する関連する助言を提供すること。
(m) advise the Commission in relation to international matters on AI;
(m) AIに関する国際的な事項について欧州委員会に助言すること。
(n) provide opinions to the Commission on the qualified alerts regarding general-purpose AI models;
(n) 汎用AIモデルに関する適格警告について、欧州委員会に意見を提供すること。
(o) receive opinions by the Member States on qualified alerts regarding general-purpose AI models, and on national experiences and practices on the monitoring and enforcement of AI systems, in particular systems integrating the general-purpose AI models.
(o) 汎用AIモデルに関する適格警告、並びにAIシステム、特に汎用AIモデルを統合したシステムの監視及び執行に関する国内の経験及び実務について、加盟国からの意見を受領すること。

Article 67: Advisory forum / 諮問フォーラム

1. An advisory forum shall be established to provide technical expertise and advise the Board and the Commission, and to contribute to their tasks under this Regulation.
1. 技術的専門知識を提供し、理事会及び欧州委員会に助言を行い、並びに本規則に基づくこれらの任務に貢献するため、諮問フォーラムを設置するものとする。
2. The membership of the advisory forum shall represent a balanced selection of stakeholders, including industry, start-ups, SMEs, civil society and academia. The membership of the advisory forum shall be balanced with regard to commercial and non-commercial interests and, within the category of commercial interests, with regard to SMEs and other undertakings.
2. 諮問フォーラムの構成員は、産業界、新興企業、中小企業、市民社会及び学界を含む関係者の均衡の取れた選定を反映するものとする。諮問フォーラムの構成員は、商業的利益と非商業的利益との間で、かつ、商業的利益の分類の中では中小企業とその他の事業者との間で、均衡が取れたものとする。
3. The Commission shall appoint the members of the advisory forum, in accordance with the criteria set out in paragraph 2, from amongst stakeholders with recognised expertise in the field of AI.
3. 欧州委員会は、第2項に定める基準に従い、AIの分野において認められた専門知識を有する関係者の中から、諮問フォーラムの構成員を任命するものとする。
4. The term of office of the members of the advisory forum shall be two years, which may be extended by up to no more than four years.
4. 諮問フォーラムの構成員の任期は2年とし、最長4年まで延長することができる。
5. The Fundamental Rights Agency, ENISA, the European Committee for Standardization (CEN), the European Committee for Electrotechnical Standardization (CENELEC), and the European Telecommunications Standards Institute (ETSI) shall be permanent members of the advisory forum.
5. 基本権機関、ENISA、欧州標準化委員会(CEN)、欧州電気標準化委員会(CENELEC)及び欧州電気通信標準化機構(ETSI)は、諮問フォーラムの常任構成員とする。
6. The advisory forum shall draw up its rules of procedure. It shall elect two co-chairs from among its members, in accordance with criteria set out in paragraph 2. The term of office of the co-chairs shall be two years, renewable once.
6. 諮問フォーラムは、その議事規則を作成するものとする。諮問フォーラムは、第2項に定める基準に従い、その構成員の中から2名の共同議長を選出するものとする。共同議長の任期は2年とし、1回に限り更新することができる。
7. The advisory forum shall hold meetings at least twice a year. The advisory forum may invite experts and other stakeholders to its meetings.
7. 諮問フォーラムは、年に少なくとも2回会合を開催するものとする。諮問フォーラムは、その会合に専門家及び他の関係者を招請することができる。
8. The advisory forum may prepare opinions, recommendations and written contributions at the request of the Board or the Commission.
8. 諮問フォーラムは、理事会又は欧州委員会の要請に基づき、意見、勧告及び書面による寄与を作成することができる。
9. The advisory forum may establish standing or temporary sub-groups as appropriate for the purpose of examining specific questions related to the objectives of this Regulation.
9. 諮問フォーラムは、本規則の目的に関連する特定の問題を検討する目的で適切と認める場合には、常設又は臨時の小グループを設置することができる。
10. The advisory forum shall prepare an annual report on its activities. That report shall be made publicly available.
10. 諮問フォーラムは、その活動に関する年次報告書を作成するものとする。当該報告書は、公に利用可能にされるものとする。

Article 68: Scientific panel of independent experts / 独立専門家科学パネル

1. The Commission shall, by means of an implementing act, make provisions on the establishment of a scientific panel of independent experts (the ‘scientific panel’) intended to support the enforcement activities under this Regulation. That implementing act shall be adopted in accordance with the examination procedure referred to in Article 98(2).
1. 欧州委員会は、実施行為により、本規則に基づく執行活動を支援することを目的とする独立専門家科学パネル(以下「科学パネル」という。)の設置に関する規定を定めるものとする。当該実施行為は、第98条第2項にいう審査手続に従って採択されるものとする。
2. The scientific panel shall consist of experts selected by the Commission on the basis of up-to-date scientific or technical expertise in the field of AI necessary for the tasks set out in paragraph 3, and shall be able to demonstrate meeting all of the following conditions:
2. 科学パネルは、第3項に定める任務のために必要なAIの分野における最新の科学的又は技術的専門知識に基づき欧州委員会により選定された専門家により構成されるものとし、次のすべての条件を満たすことを示すことができる者でなければならない。
(a) having particular expertise and competence and scientific or technical expertise in the field of AI;
(a) AIの分野における特別な専門知識、能力並びに科学的又は技術的専門知識を有すること。
(b) independence from any provider of AI systems or general-purpose AI models;
(b) AIシステム又は汎用AIモデルの提供者から独立していること。
(c) an ability to carry out activities diligently, accurately and objectively. The Commission, in consultation with the Board, shall determine the number of experts on the panel in accordance with the required needs and shall ensure fair gender and geographical representation.
(c) 勤勉、正確かつ客観的に活動を遂行する能力を有すること。 欧州委員会は、理事会と協議の上、必要とされるニーズに従いパネルの専門家の数を決定するものとし、公平な性別及び地理的代表性を確保するものとする。
3. The scientific panel shall advise and support the AI Office, in particular with regard to the following tasks:
3. 科学パネルは、特に次の任務に関し、AIオフィスに助言及び支援を行うものとする。
(a) supporting the implementation and enforcement of this Regulation as regards general-purpose AI models and systems, in particular by:
(a) 特に次のことにより、汎用AIモデル及びシステムに関する本規則の実施及び執行を支援すること。
(i) alerting the AI Office of possible systemic risks at Union level of general-purpose AI models, in accordance with Article 90;
(i) 第90条に従い、連合レベルにおける汎用AIモデルの潜在的なシステミックリスクについてAIオフィスに警告すること。
(ii) contributing to the development of tools and methodologies for evaluating capabilities of general-purpose AI models and systems, including through benchmarks;
(ii) 基準を含め、汎用AIモデル及びシステムの能力を評価するためのツール及び手法の開発に貢献すること。
(iii) providing advice on the classification of general-purpose AI models with systemic risk;
(iii) システミックリスクを伴う汎用AIモデルの分類について助言を提供すること。
(iv) providing advice on the classification of various generalpurpose AI models and systems;
(iv) 種々の汎用AIモデル及びシステムの分類に関する助言を提供すること
(v) contributing to the development of tools and templates;
(v) ツール及びひな形の開発に貢献すること。
(b) supporting the work of market surveillance authorities, at their request;
(b) 市場監視当局の要請に基づき、その業務を支援すること。
(c) supporting cross-border market surveillance activities as referred to in Article 74(11), without prejudice to the powers of market surveillance authorities;
(c) 市場監視当局の権限を害することなく、第74条第11項にいう国境を越えた市場監視活動を支援すること。
(d) supporting the AI Office in carrying out its duties in the context of the Union safeguard procedure pursuant to Article 81.
(d) 第81条に基づく連合の保護手続の文脈において、AIオフィスがその職務を遂行することを支援すること。
4. The experts on the scientific panel shall perform their tasks with impartiality and objectivity, and shall ensure the confidentiality of information and data obtained in carrying out their tasks and activities. They shall neither seek nor take instructions from anyone when exercising their tasks under paragraph 3. Each expert shall draw up a declaration of interests, which shall be made publicly available. The AI Office shall establish systems and procedures to actively manage and prevent potential conflicts of interest.
4. 科学パネルの専門家は、公平かつ客観的にその任務を遂行するものとし、その任務及び活動の遂行において取得した情報及びデータの秘密性を確保するものとする。専門家は、第3項に基づく任務の遂行に当たり、何人からも指示を求め、又は受けてはならない。各専門家は利害関係申告書を作成するものとし、これは公に利用可能にされるものとする。AIオフィスは、潜在的な利益相反を積極的に管理し、予防するための制度及び手続を確立するものとする。
5. The implementing act referred to in paragraph 1 shall include provisions on the conditions, procedures and detailed arrangements for the scientific panel and its members to issue alerts, and to request the assistance of the AI Office for the performance of the tasks of the scientific panel.
5. 第1項にいう実施行為には、科学パネル及びその構成員が警告を発し、並びに科学パネルの任務の遂行のためにAIオフィスの支援を要請するための条件、手続及び詳細な取決めに関する規定を含めるものとする。

Article 69: Access to the pool of experts by the Member States / 加盟国による専門家プールへのアクセス

1. Member States may call upon experts of the scientific panel to support their enforcement activities under this Regulation.
1. 加盟国は、本規則に基づく自国の執行活動を支援するため、科学パネルの専門家の協力を求めることができる。
2026年改正2. The Member States may be required to pay fees for the advice and support provided by the experts at a rate equivalent to the remuneration fees applicable to the Commission pursuant to the implementing act referred to in Article 68(1).
2. 加盟国は、第68条第1項に規定する実施行為に従い欧州委員会に適用される報酬料金と同等の料率により、専門家が提供する助言及び支援について、手数料の支払を求められることがある。
3. The Commission shall facilitate timely access to the experts by the Member States, as needed, and ensure that the combination of support activities carried out by Union AI testing support pursuant to Article 84 and experts pursuant to this Article is efficiently organised and provides the best possible added value.
3. 欧州委員会は、必要に応じて、加盟国による専門家への適時のアクセスを促進するものとし、また、第84条に従い連合AI試験支援によって実施される支援活動と本条に従う専門家による支援活動との組合せが、効率的に組織され、可能な限り最大の付加価値を提供することを確保するものとする。

Section 2: National competent authorities / 加盟国の管轄当局

Article 70: Designation of national competent authorities and single points of contact / 国内所管当局及び単一窓口の指定

1. Each Member State shall establish or designate as national competent authorities at least one notifying authority and at least one market surveillance authority for the purposes of this Regulation. Those national competent authorities shall exercise their powers independently, impartially and without bias so as to safeguard the objectivity of their activities and tasks, and to ensure the application and implementation of this Regulation. The members of those authorities shall refrain from any action incompatible with their duties. Provided that those principles are observed, such activities and tasks may be performed by one or more designated authorities, in accordance with the organisational needs of the Member State.
1. 各加盟国は、本規則の目的のため、国内所管当局として少なくとも1の届出当局及び少なくとも1の市場監視当局を設立し、又は指定するものとする。当該国内所管当局は、その活動及び任務の客観性を確保し、並びに本規則の適用及び実施を確保するため、独立して、公平かつ偏りなくその権限を行使するものとする。当該当局の構成員は、その職務と両立しないいかなる行為も慎まなければならない。これらの原則が遵守される限り、当該活動及び任務は、加盟国の組織上のニーズに従い、1又は複数の指定された当局により遂行することができる。
2. Member States shall communicate to the Commission the identity of the notifying authorities and the market surveillance authorities and the tasks of those authorities, as well as any subsequent changes thereto. Member States shall make publicly available information on how competent authorities and single points of contact can be contacted, through electronic communication means by 2 August 2025. Member States shall designate a market surveillance authority to act as the single point of contact for this Regulation, and shall notify the Commission of the identity of the single point of contact. The Commission shall make a list of the single points of contact publicly available.
2. 加盟国は、届出当局及び市場監視当局の識別情報並びに当該当局の任務、並びにその後のいかなる変更についても欧州委員会に通知するものとする。加盟国は、2025年8月2日までに、電子通信手段により、所管当局及び単一窓口にどのように連絡することができるかに関する情報を公に利用可能にするものとする。加盟国は、本規則のための単一窓口として機能する市場監視当局を指定するものとし、当該単一窓口の識別情報を欧州委員会に通知するものとする。欧州委員会は、単一窓口の一覧を公に利用可能にするものとする。
3. Member States shall ensure that their national competent authorities are provided with adequate technical, financial and human resources, and with infrastructure to fulfil their tasks effectively under this Regulation. In particular, the national competent authorities shall have a sufficient number of personnel permanently available whose competences and expertise shall include an in-depth understanding of AI technologies, data and data computing, personal data protection, cybersecurity, fundamental rights, health and safety risks and knowledge of existing standards and legal requirements. Member States shall assess and, if necessary, update competence and resource requirements referred to in this paragraph on an annual basis.
3. 加盟国は、その国内所管当局に対し、本規則に基づく任務を効果的に遂行するために十分な技術的、財政的及び人的資源並びに基盤が提供されることを確保するものとする。特に、国内所管当局は、AI技術、データ及びデータコンピューティング、個人データ保護、サイバーセキュリティ、基本権、健康及び安全のリスクについての深い理解並びに既存の規格及び法的要件についての知識をその能力及び専門知識に含む十分な数の職員を恒常的に確保するものとする。加盟国は、本項にいう能力及び資源の要件を毎年評価し、必要な場合には更新するものとする。
4. National competent authorities shall take appropriate measures to ensure an adequate level of cybersecurity.
4. 国内所管当局は、適切な水準のサイバーセキュリティを確保するための適切な措置を講じるものとする。
5. When performing their tasks, the national competent authorities shall act in accordance with the confidentiality obligations set out in Article 78.
5. 国内所管当局は、その任務を遂行するに当たり、第78条に定める秘密保持義務に従って行動するものとする。
6. By 2 August 2025, and once every two years thereafter, Member States shall report to the Commission on the status of the financial and human resources of the national competent authorities, with an assessment of their adequacy. The Commission shall transmit that information to the Board for discussion and possible recommendations.
6. 加盟国は、2025年8月2日までに、及びその後2年ごとに、国内所管当局の財政的及び人的資源の状況について、その適切性の評価とともに欧州委員会に報告するものとする。欧州委員会は、当該情報を、検討及び可能な勧告のために理事会に伝達するものとする。
7. The Commission shall facilitate the exchange of experience between national competent authorities.
7. 欧州委員会は、国内所管当局間の経験の交換を促進するものとする。
2026年改正8. National competent authorities may provide guidance and advice on the implementation of this Regulation, in particular to SMEs, including start-ups, and SMCs, taking into account the guidance and advice of the Board and the Commission, as appropriate. Whenever national competent authorities intend to provide guidance and advice with regard to an AI system in areas covered by other Union law, the national competent authorities under that Union law shall be consulted, as appropriate.
8. 国内管轄当局は、特に中小企業(新興企業を含む)及び中小規模中堅企業(SMC)に対し、必要に応じて理事会及び欧州委員会の指針及び助言を考慮に入れつつ、本規則の実施に関する指針及び助言を提供することができる。国内管轄当局が、他の連合法の対象となる分野におけるAIシステムに関して指針及び助言を提供しようとする場合には、必要に応じて、当該連合法に基づく国内管轄当局と協議するものとする。
9. Where Union institutions, bodies, offices or agencies fall within the scope of this Regulation, the European Data Protection Supervisor shall act as the competent authority for their supervision.
9. 連合の機関、団体、事務所又は機関庁が本規則の適用範囲に含まれる場合には、欧州データ保護監督官が、これらの監督のための管轄当局として機能するものとする。

09 Chapter VIII: EU Database For High-Risk AI Systems

Article 71: EU database for high-risk AI systems listed in Annex III / 附属書Ⅲに掲げるハイリスクAIシステムのためのEUデータベース

1. The Commission shall, in collaboration with the Member States, set up and maintain an EU database containing information referred to in paragraphs 2 and 3 of this Article concerning high-risk AI systems referred to in Article 6(2) which are registered in accordance with Articles 49 and 60 and AI systems that are not considered as high-risk pursuant to Article 6(3) and which are registered in accordance with Article 6(4) and Article 49. When setting the functional specifications of such database, the Commission shall consult the relevant experts, and when updating the functional specifications of such database, the Commission shall consult the Board.
1. 欧州委員会は、加盟国と協力の上、第49条及び第60条に従って登録される第6条第2項にいうハイリスクAIシステム並びに第6条第3項に基づきハイリスクとはみなされず、第6条第4項及び第49条に従って登録されるAIシステムに関し、本条第2項及び第3項にいう情報を含むEUデータベースを構築し、維持するものとする。当該データベースの機能仕様を定めるに当たり、欧州委員会は関連する専門家と協議するものとし、当該機能仕様を更新するに当たっては、欧州委員会は理事会と協議するものとする。
2. The data listed in Sections A and B of Annex VIII shall be entered into the EU database by the provider or, where applicable, by the authorised representative.
2. 附属書Ⅷの第A節及び第B節に掲げるデータは、提供者、又は該当する場合には、認可代理人によりEUデータベースに入力されるものとする。
3. The data listed in Section C of Annex VIII shall be entered into the EU database by the deployer who is, or who acts on behalf of, a public authority, agency or body, in accordance with Article 49(3) and (4).
3. 附属書Ⅷの第C節に掲げるデータは、第49条第3項及び第4項に従い、公的機関、機関若しくは団体であるか、又はこれらのために行動する使用者によりEUデータベースに入力されるものとする。
4. With the exception of the section referred to in Article 49(4) and Article 60(4), point (c), the information contained in the EU database registered in accordance with Article 49 shall be accessible and publicly available in a user-friendly manner. The information should be easily navigable and machine-readable. The information registered in accordance with Article 60 shall be accessible only to market surveillance authorities and the Commission, unless the prospective provider or provider has given consent for also making the information accessible the public.
4. 第49条第4項及び第60条第4項(c)にいう部分を除き、第49条に従って登録されたEUデータベースに含まれる情報は、利用者に配慮した方法でアクセス可能かつ公に利用可能なものとする。当該情報は、容易に閲覧可能であり、機械可読であるべきである。第60条に従って登録された情報は、将来の提供者又は提供者が公衆にも当該情報をアクセス可能とすることに同意した場合を除き、市場監視当局及び欧州委員会のみがアクセス可能とするものとする。
5. The EU database shall contain personal data only in so far as necessary for collecting and processing information in accordance with this Regulation. That information shall include the names and contact details of natural persons who are responsible for registering the system and have the legal authority to represent the provider or the deployer, as applicable.
5. EUデータベースには、本規則に従って情報を収集し、及び処理するために必要な範囲でのみ、個人データを含めるものとする。当該情報には、システムの登録について責任を有し、かつ、該当する場合に応じて提供者又は使用者を代理する法的権限を有する自然人の氏名及び連絡先を含めるものとする。
6. The Commission shall be the controller of the EU database. It shall make available to providers, prospective providers and deployers adequate technical and administrative support. The EU database shall comply with the applicable accessibility requirements.
6. 欧州委員会は、EUデータベースの管理者となるものとする。欧州委員会は、提供者、将来の提供者及び配備者に対し、十分な技術的及び管理的支援を提供するものとする。EUデータベースは、適用されるアクセシビリティ要件を遵守するものとする。

10 Chapter IX: Post-Market Monitoring, Information Sharing And Market Surveillance

Section 1: Post-market monitoring / 市販後モニタリング

Article 72: Post-market monitoring by providers and post-market monitoring plan for high-risk AI systems / 提供者による市販後監視及びハイリスクAIシステムのための市販後監視計画

1. Providers shall establish and document a post-market monitoring system in a manner that is proportionate to the nature of the AI technologies and the risks of the high-risk AI system.
1. 提供者は、AI技術の性質及びハイリスクAIシステムのリスクに比例した方法で、市販後監視システムを構築し、文書化するものとする。
2. The post-market monitoring system shall actively and systematically collect, document and analyse relevant data which may be provided by deployers or which may be collected through other sources on the performance of high-risk AI systems throughout their lifetime, and which allow the provider to evaluate the continuous compliance of AI systems with the requirements set out in Chapter III, Section 2. Where relevant, post-market monitoring shall include an analysis of the interaction with other AI systems. This obligation shall not cover sensitive operational data of deployers which are law-enforcement authorities.
2. 市販後監視システムは、使用者により提供され、又は他の情報源を通じて収集されることのある、ハイリスクAIシステムの存続期間を通じたその性能に関する関連データを能動的かつ体系的に収集し、文書化し、及び分析するものとし、これにより提供者が第Ⅲ章第2節に定める要件へのAIシステムの継続的な適合性を評価することを可能にするものとする。関連する場合には、市販後監視には、他のAIシステムとの相互作用の分析を含めるものとする。この義務は、法執行当局である使用者の機微な運用データを対象としない。
3. The post-market monitoring system shall be based on a postmarket monitoring plan. The post-market monitoring plan shall be part of the technical documentation referred to in Annex IV. The Commission, taking utmost account of the opinion of the Board, shall adopt guidance, including a template, on the post-market monitoring plan by 2 September 2027.
3. 市販後モニタリングシステムは、市販後モニタリング計画に基づくものとする。市販後モニタリング計画は、附属書IVに規定する技術文書の一部を構成するものとする。欧州委員会は、理事会の意見を最大限考慮に入れ、2027年9月2日までに、様式を含む市販後モニタリング計画に関する指針を採択するものとする。
4. For high-risk AI systems covered by the Union harmonisation legislation listed in Section A of Annex I, where a post-market monitoring system and plan are already established under that legislation, in order to ensure consistency, avoid duplications and minimise additional burdens, providers shall have a choice of integrating, as appropriate, the necessary elements described in paragraphs 1, 2 and 3 using the template referred in paragraph 3 into systems and plans already existing under that legislation, provided that it achieves an equivalent level of protection. The first subparagraph of this paragraph shall also apply to high-risk AI systems referred to in point 5 of Annex III placed on the market or put into service by financial institutions that are subject to requirements under Union financial services law regarding their internal governance, arrangements or processes.
4. 附属書I第A節に列挙する連合調和法制の対象となる高リスクAIシステムについて、当該法制に基づき市販後モニタリングシステム及び計画が既に確立されている場合には、整合性を確保し、重複を回避し、及び追加的な負担を最小化するため、提供者は、同等の水準の保護が達成されることを条件として、第3項に規定する様式を用いて、第1項、第2項及び第3項に規定する必要な要素を、必要に応じて、当該法制に基づき既に存在するシステム及び計画に統合することを選択することができる。本項第1号は、連合の金融サービス法に基づくその内部ガバナンス、取決め又はプロセスに関する要件の対象となる金融機関により上市され、又は供用が開始される附属書III第5号に規定する高リスクAIシステムについても適用する。

Section 2: Sharing of information on serious incidents / 重大インシデントに関する情報共有

Article 73: Reporting of serious incidents / 重大インシデントの報告

1. Providers of high-risk AI systems placed on the Union market shall report any serious incident to the market surveillance authorities of the Member States where that incident occurred.
1. 連合市場に上市されたハイリスクAIシステムの提供者は、当該インシデントが発生した加盟国の市場監視当局に対し、あらゆる重大インシデントを報告しなければならない。
2. The report referred to in paragraph 1 shall be made immediately after the provider has established a causal link between the AI system and the serious incident or the reasonable likelihood of such a link, and, in any event, not later than 15 days after the provider or, where applicable, the deployer, becomes aware of the serious incident. The period for the reporting referred to in the first subparagraph shall take account of the severity of the serious incident.
2. 第1項にいう報告は、提供者がAIシステムと重大インシデントとの間の因果関係又はその合理的な蓋然性を認めた後、直ちに行われなければならず、いかなる場合であっても、提供者又は該当する場合には導入者が当該重大インシデントを知った後15日以内に行われなければならない。 第1号にいう報告期間は、当該重大インシデントの重大性を考慮したものでなければならない。
3. Notwithstanding paragraph 2 of this Article, in the event of a widespread infringement or a serious incident as defined in Article 3, point (49)(b), the report referred to in paragraph 1 of this Article shall be provided immediately, and not later than two days after the provider or, where applicable, the deployer becomes aware of that incident.
3. 本条第2項にかかわらず、広範な侵害又は第3条第49号(b)に定める重大インシデントが発生した場合には、本条第1項にいう報告は、直ちに、かつ提供者又は該当する場合には導入者が当該インシデントを知った後2日以内に行われなければならない。
4. Notwithstanding paragraph 2, in the event of the death of a person, the report shall be provided immediately after the provider or the deployer has established, or as soon as it suspects, a causal relationship between the high-risk AI system and the serious incident, but not later than 10 days after the date on which the provider or, where applicable, the deployer becomes aware of the serious incident.
4. 第2項にかかわらず、人の死亡が生じた場合には、当該報告は、提供者又は導入者がハイリスクAIシステムと当該重大インシデントとの間の因果関係を認めた後、又はこれを疑った時点で直ちに行われなければならず、いかなる場合であっても、提供者又は該当する場合には導入者が当該重大インシデントを知った日から10日以内に行われなければならない。
2026年改正5. Where necessary to ensure timely reporting, the provider or, where applicable, the deployer, may submit an initial report that is incomplete, followed by a complete report.
5. 適時の報告を確保するために必要な場合には、提供者又は該当する場合には導入者は、不完全な初期報告を行い、その後に完全な報告を提出することができる。
2026年改正6. Following the reporting of a serious incident pursuant to paragraph 1, the provider shall, without delay, perform the necessary investigations in relation to the serious incident and the AI system concerned. This shall include a risk assessment of the incident, and corrective action. The provider shall cooperate with the competent authorities, and where relevant with the notified body concerned, during the investigations referred to in the first subparagraph, and shall not perform any investigation which involves altering the AI system concerned in a way which may affect any subsequent evaluation of the causes of the incident, prior to informing the competent authorities of such action.
6. 第1項に従い重大インシデントが報告された後、提供者は、遅滞なく、当該重大インシデント及び関係するAIシステムに関する必要な調査を行わなければならない。これには、当該インシデントのリスク評価及び是正措置を含めなければならない。提供者は、前段にいう調査において、管轄当局及び関係する場合には関係する届出機関と協力しなければならず、当該インシデントの原因に関するその後の評価に影響を及ぼし得る方法で関係するAIシステムを変更する調査については、そのような措置を講じる旨を管轄当局に通知する前に行ってはならない。
2026年改正7. Upon receiving a notification related to a serious incident referred to in Article 3, point (49)(c), the relevant market surveillance authority shall inform the national public authorities or bodies referred to in Article 77(1). The Commission shall develop dedicated guidance to facilitate compliance with the obligations set out in paragraph 1 of this Article. That guidance shall be issued by 2 August 2025, and shall be assessed regularly.
7. 第3条第49号(c)にいう重大インシデントに関する通知を受領した場合、関係する市場監視当局は、第77条第1項にいう国内公的機関又は団体に通知しなければならない。委員会は、本条第1項に定める義務の遵守を促進するための専用の指針を策定しなければならない。当該指針は2025年8月2日までに発行され、定期的に評価されなければならない。
2026年改正8. The market surveillance authority shall take appropriate measures, as provided for in Article 19 of Regulation (EU) 2019/1020, within seven days from the date it received the notification referred to in paragraph 1 of this Article, and shall follow the notification procedures as provided in that Regulation.
8. 市場監視当局は、本条第1項にいう通知を受領した日から7日以内に、規則(EU)2019/1020第19条に定める適切な措置を講じなければならず、同規則に定める通知手続に従わなければならない。
2026年改正9. For high-risk AI systems referred to in Annex III that are placed on the market or put into service by providers that are subject to Union legislative instruments laying down reporting obligations equivalent to those set out in this Regulation, the notification of serious incidents shall be limited to those referred to in Article 3, point (49)(c).
9. 附属書IIIにいうハイリスクAIシステムであって、本規則に定める報告義務と同等の報告義務を定める連合の立法文書の適用を受ける提供者により上市され又は運用開始されるものについては、重大インシデントの通知は第3条第49号(c)にいうものに限定されなければならない。
2026年改正10. For high-risk AI systems which are safety components of devices, or are themselves devices, covered by Regulations (EU) 2017/745 and (EU) 2017/746, the notification of serious incidents shall be limited to those referred to in Article 3, point (49)(c) of this Regulation, and shall be made to the national competent authority chosen for that purpose by the Member States where the incident occurred.
10. 規則(EU) 2017/745及び規則(EU) 2017/746の対象となる機器の安全部品であるハイリスクAIシステム、又はそれ自体が当該機器であるハイリスクAIシステムについては、重大インシデントの通知は本規則第3条第49号(c)にいうものに限定されなければならず、当該インシデントが発生した加盟国がその目的のために選定した国内管轄当局に対して行われなければならない。
2026年改正11. National competent authorities shall immediately notify the Commission of any serious incident, whether or not they have taken action on it, in accordance with Article 20 of Regulation (EU) 2019/1020.
11. 国内管轄当局は、規則(EU)2019/1020第20条に従い、重大インシデントについて措置を講じたか否かにかかわらず、これを直ちに欧州委員会に通知するものとする。

Section 3: Enforcement / 執行

Article 74: Market surveillance and control of AI systems in the Union market / 連合市場におけるAIシステムの市場監視及び管理

1. Regulation (EU) 2019/1020 shall apply to AI systems covered by this Regulation. For the purposes of the effective enforcement of this Regulation:
1. 規則(EU) 2019/1020は、本規則の対象となるAIシステムに適用される。本規則の実効的な執行の目的上、
(a) any reference to an economic operator under Regulation (EU) 2019/1020 shall be understood as including all operators identified in Article 2(1) of this Regulation;
(a) 規則(EU) 2019/1020にいう経済事業者への言及は、本規則第2条第1項に定めるすべての事業者を含むものと理解されなければならない。
(b) any reference to a product under Regulation (EU) 2019/1020 shall be understood as including all AI systems falling within the scope of this Regulation.
(b) 規則(EU) 2019/1020にいう製品への言及は、本規則の適用範囲に含まれるすべてのAIシステムを含むものと理解されなければならない。
2. As part of their reporting obligations under Article 34(4) of Regulation (EU) 2019/1020, the market surveillance authorities shall report annually to the Commission and relevant national competition authorities any information identified in the course of market surveillance activities that may be of potential interest for the application of Union law on competition rules. They shall also annually report to the Commission about the use of prohibited practices that occurred during that year and about the measures taken.
2. 規則(EU) 2019/1020第34条第4項に基づく報告義務の一環として、市場監視当局は、市場監視活動の過程で識別した情報であって、連合の競争法規則の適用に関して潜在的に有用となり得るものを、毎年、委員会及び関係する国内競争当局に報告しなければならない。市場監視当局はまた、当該年中に生じた禁止された慣行の利用及び講じられた措置について、毎年、委員会に報告しなければならない。
3. For high-risk AI systems related to products covered by the Union harmonisation legislation listed in Section A of Annex I, the market surveillance authority for the purposes of this Regulation shall be the authority responsible for market surveillance activities designated under those legal acts. By derogation from the first subparagraph, and in appropriate circumstances, Member States may designate another relevant authority to act as a market surveillance authority, provided they ensure coordination with the relevant sectoral market surveillance authorities responsible for the enforcement of the Union harmonisation legislation listed in Annex I.
3. 附属書IのA節に列挙する連合調和法制の対象となる製品に関連するハイリスクAIシステムについては、本規則の目的上の市場監視当局は、当該法令の下で市場監視活動について指定された当局とする。 第1号にかかわらず、適切な状況においては、加盟国は、附属書Iに列挙する連合調和法制の執行を担当する関係部門別市場監視当局との調整を確保することを条件として、市場監視当局として行動する他の関係当局を指定することができる。
4. The procedures referred to in Articles 79 to 83 of this Regulation shall not apply to AI systems related to products covered by the Union harmonisation legislation listed in section A of Annex I, where such legal acts already provide for procedures ensuring an equivalent level of protection and having the same objective. In such cases, the relevant sectoral procedures shall apply instead.
4. 第79条から第83条にいう手続は、附属書IのA節に列挙する連合調和法制の対象となる製品に関連するAIシステムであって、当該法令が既に同等の水準の保護を確保し、かつ同一の目的を有する手続を定めているものについては、適用しない。この場合には、関係する部門別手続が代わりに適用される。
5. Without prejudice to the powers of market surveillance authorities under Article 14 of Regulation (EU) 2019/1020, for the purpose of ensuring the effective enforcement of this Regulation, market surveillance authorities may exercise the powers referred to in Article 14(4), points (d) and (j), of that Regulation remotely, as appropriate.
5. 規則(EU) 2019/1020第14条に基づく市場監視当局の権限を害することなく、本規則の実効的な執行を確保する目的上、市場監視当局は、適宜、同条第14項(4)(d)及び(j)にいう権限を遠隔で行使することができる。
6. For high-risk AI systems placed on the market, put into service, or used by financial institutions regulated by Union financial services law, the market surveillance authority for the purposes of this Regulation shall be the relevant national authority responsible for the financial supervision of those institutions under that legislation in so far as the placing on the market, putting into service, or the use of the AI system is in direct connection with the provision of those financial services.
6. 連合金融サービス法により規制される金融機関により上市され、運用開始され、又は使用されるハイリスクAIシステムについては、本規則の目的上の市場監視当局は、AIシステムの上市、運用開始又は使用が当該金融サービスの提供と直接関連する限りにおいて、当該法制の下でこれらの機関の健全性監督を担当する関係国内当局とする。
7. By way of derogation from paragraph 6, in appropriate circumstances, and provided that coordination is ensured, another relevant authority may be identified by the Member State as market surveillance authority for the purposes of this Regulation. National market surveillance authorities supervising regulated credit institutions regulated under Directive 2013/36/EU, which are participating in the Single Supervisory Mechanism established by Regulation (EU) No 1024/2013, should report, without delay, to the European Central Bank any information identified in the course of their market surveillance activities that may be of potential interest for the prudential supervisory tasks of the European Central Bank specified in that Regulation.
7. 第6項にかかわらず、適切な状況において、かつ調整が確保されることを条件として、加盟国は、本規則の目的上の市場監視当局として他の関係当局を特定することができる。 規則(EU) No 1024/2013により設立された単一監督メカニズムに参加する、指令2013/36/EUに基づき規制される信用機関を監督する国内市場監視当局は、その市場監視活動の過程で識別した情報であって、同規則に定める欧州中央銀行の健全性監督業務に関して潜在的に有用となり得るものを、遅滞なく欧州中央銀行に報告すべきである。
8. For high-risk AI systems listed in point 1 of Annex III to this Regulation, in so far as the systems are used for law enforcement purposes, border management and justice and democracy, and for high-risk AI systems listed in points 6, 7 and 8 of Annex III to this Regulation, Member States shall designate as market surveillance authorities for the purposes of this Regulation either the competent data protection supervisory authorities under Regulation (EU) 2016/679 or Directive (EU) 2016/680, or any other authority designated pursuant to the same conditions laid down in Articles 41 to 44 of Directive (EU) 2016/680. Market surveillance activities shall in no way affect the independence of judicial authorities, or otherwise interfere with their activities when acting in their judicial capacity.
8. 本規則附属書III第1点に列挙するハイリスクAIシステムであって、法執行、国境管理並びに司法及び民主主義の目的で使用される限りにおいてのもの、及び本規則附属書III第6点、第7点及び第8点に列挙するハイリスクAIシステムについては、加盟国は、本規則の目的上の市場監視当局として、規則(EU) 2016/679又は指令(EU) 2016/680に基づく管轄データ保護監督当局、又は指令(EU) 2016/680第41条から第44条に定めると同一の条件に従って指定された他の当局のいずれかを指定しなければならない。市場監視活動は、司法当局の独立性にいかなる形でも影響を及ぼしてはならず、また司法当局がその司法権限に基づき行動する場合にその活動を妨げてはならない。
9. Where Union institutions, bodies, offices or agencies fall within the scope of this Regulation, the European Data Protection Supervisor shall act as their market surveillance authority, except in relation to the Court of Justice of the European Union acting in its judicial capacity.
9. 連合の機関、団体、事務所又は機関が本規則の適用範囲に含まれる場合には、欧州データ保護監督官が、その司法権限に基づき行動する欧州連合司法裁判所に関する場合を除き、これらの市場監視当局として行動しなければならない。
10. Member States shall facilitate coordination between market surveillance authorities designated under this Regulation and other relevant national authorities or bodies which supervise the application of Union harmonisation legislation listed in Annex I, or in other Union law, that might be relevant for the high-risk AI systems referred to in Annex III.
10. 加盟国は、本規則に基づき指定された市場監視当局と、附属書Iに列挙する連合調和法制若しくはその他の連合法の適用を監督する他の関係国内当局若しくは団体であって、附属書IIIにいうハイリスクAIシステムに関係し得るものとの間の調整を促進しなければならない。
11. Market surveillance authorities and the Commission shall be able to propose joint activities, including joint investigations, to be conducted by either market surveillance authorities or market surveillance authorities jointly with the Commission, that have the aim of promoting compliance, identifying non-compliance, raising awareness or providing guidance in relation to this Regulation with respect to specific categories of high-risk AI systems that are found to present a serious risk across two or more Member States in accordance with Article 9 of Regulation (EU) 2019/1020. The AI Office shall provide coordination support for joint investigations.
11. 市場監視当局及び委員会は、規則(EU) 2019/1020第9条に従い2以上の加盟国にわたって重大なリスクを提示すると認められる特定の種類のハイリスクAIシステムに関して、本規則の遵守を促進し、不遵守を特定し、認識を高め、又は指針を提供することを目的とする共同調査を含む共同活動であって、市場監視当局のみにより、又は市場監視当局と委員会が共同して実施されるものを提案することができる。AI室は、共同調査に対する調整支援を提供しなければならない。
12. Without prejudice to the powers provided for under Regulation (EU) 2019/1020, and where relevant and limited to what is necessary to fulfil their tasks, the market surveillance authorities shall be granted full access by providers to the documentation as well as the training, validation and testing data sets used for the development of high-risk AI systems, including, where appropriate and subject to security safeguards, through application programming interfaces (API) or other relevant technical means and tools enabling remote access.
12. 規則(EU) 2019/1020に定める権限を害することなく、関係する場合には、かつ自らの任務の遂行に必要な範囲に限り、市場監視当局には、提供者により、ハイリスクAIシステムの開発に使用された文書並びに訓練用、検証用及びテスト用のデータセットへの完全なアクセスが付与されなければならず、これには、適切な場合には、かつセキュリティ上の保護措置を条件として、アプリケーションプログラミングインターフェース(API)その他の遠隔アクセスを可能とする関連する技術的手段及びツールを通じたアクセスを含む。
13. Market surveillance authorities shall be granted access to the source code of the high-risk AI system upon a reasoned request and only when both of the following conditions are fulfilled:
13. 市場監視当局には、理由を付した要請に基づき、かつ以下の双方の条件が満たされる場合に限り、ハイリスクAIシステムのソースコードへのアクセスが付与されなければならない。
(a) access to source code is necessary to assess the conformity of a high-risk AI system with the requirements set out in Chapter III, Section 2; and
(a) ソースコードへのアクセスが、第III章第2節に定める要件へのハイリスクAIシステムの適合性を評価するために必要であること。
(b) testing or auditing procedures and verifications based on the data and documentation provided by the provider have been exhausted or proved insufficient.
(b) 提供者が提供したデータ及び文書に基づくテスト又は監査手続並びに検証が既に尽くされている、又は不十分であることが判明していること。
14. Any information or documentation obtained by market surveillance authorities shall be treated in accordance with the confidentiality obligations set out in Article 78.
14. 市場監視当局が取得したあらゆる情報又は文書は、第78条に定める秘密保持義務に従って取り扱われなければならない。

Article 75: Market surveillance and control of AI systems and mutual assistance / AIシステムの市場監視及び管理並びに相互支援

2026年改正1. The AI Office shall be exclusively competent for the supervision and enforcement of the obligations under this Regulation in relation to the following AI systems:
1. AI室は、次に掲げるAIシステムに関し、本規則に基づく義務の監督及び執行について専属的な権限を有するものとする。
2026年改正(a) AI systems based on general-purpose AI models where the model and the system are developed by the same provider, or by providers forming part of the same undertaking as that provider, with the exception of:
(a) 汎用AIモデルに基づくAIシステムであって、当該モデル及び当該システムが同一の提供者により、又は当該提供者と同一の事業に属する提供者により開発されたもの。ただし、次のものを除く。
2026年改正(i) AI systems related to products covered by the Union harmonisation legislation listed in Annex I;
(i) 附属書Iに列挙する連合調和法令の対象となる製品に関連するAIシステム
2026年改正(ii) AI systems referred to in point 2 of Annex III;
(ii) 附属書III第2号に規定するAIシステム
2026年改正(iii) AI systems provided by law enforcement authorities, border management authorities and financial institutions, insofar as those AI systems fall under Article 74(6); and
(iii) 法執行当局、国境管理当局及び金融機関が提供するAIシステムであって、当該AIシステムが第74条第6項の適用を受ける限りにおいてのもの、並びに
2026年改正(iv) AI systems referred to in point 8 of Annex III as regards the administration of justice;
(iv) 司法の運営に関し、附属書III第8号に規定するAIシステム
2026年改正(b) AI systems that constitute or that are integrated into a very large online platform or very large online search engine designated in accordance with Regulation (EU) 2022/2065. The exclusive competence referred to in the first subparagraph shall apply to the providers of those systems. It shall apply to the deployers of those systems only when they are also the provider or form part of the same undertaking as the provider.
(b) 規則(EU)2022/2065に従って指定された超大規模オンラインプラットフォーム若しくは超大規模オンライン検索エンジンを構成し、又はこれらに統合されているAIシステム。第一号に規定する専属的管轄権は、当該システムの提供者に適用する。当該専属的管轄権は、配備者が同時に提供者である場合、又は提供者と同一の事業者の一部を構成する場合に限り、当該システムの配備者に適用する。
1a. By way of derogation from Article 73, providers of high-risk AI systems subject to the competence of the AI Office pursuant to paragraph 1 of this Article shall report any serious incidents to the AI Office. Article 73 (2) to (9), shall apply mutatis mutandis. The AI Office shall promptly transmit the relevant information to the market surveillance authority of the Member State in the territory of which the provider or its legal representative is situated. 1b. The authorities involved in the application of this Regulation shall cooperate actively with the AI Office and provide the AI Office the necessary assistance for the exercise of its powers, including, where necessary, in connection with inspections or other enforcement measures carried out in the territory of a Member State. To that end, those authorities shall enjoy the powers provided for pursuant to this Regulation and Regulation (EU) 2019/1020, and where relevant and limited to what is necessary to fulfil their tasks under this paragraph, in accordance with the applicable national procedures. 1c. When taking investigatory or enforcement action in the territory of a Member State that involves access to a public authority’s data or AI system, the AI Office shall be assisted by the relevant market surveillance authority. 1d. Before taking a decision that would have the effect of prohibiting or restricting the AI system being made available or put into service on a national market, or a decision to withdraw or recall the AI system from such market, the AI Office shall, without undue delay, notify the market surveillance authority competent for that market of its intention to take such a decision. The AI Office shall consult the authorities involved in the application of this Regulation, where appropriate, on any matter relating to the application and enforcement of this Regulation. 1e. The AI Office shall be responsible for conformity assessments and tests of AI systems referred to in paragraph 1 of this Article that are classified as high-risk and subject to a third-party conformity assessment pursuant to Article 43 before such AI systems are placed on the market or put into service. Those tests and assessments shall verify that the systems comply with the relevant requirements of this Regulation and may be placed on the market or put into service in the Union in accordance with this Regulation. The Commission shall entrust the performance of those tests or assessments to notified bodies designated in accordance with this Regulation, in which case the notified body shall act on behalf of the Commission. If a notified body to which the Commission has delegated tasks under this paragraph does not perform those tasks adequately, the Commission may withdraw the delegation with immediate effect. The fees for testing and assessment activities shall be levied on the provider of a high-risk AI system who has applied for a third-party conformity assessment to the Commission. The provider shall pay the costs related to the services entrusted by the Commission to the notified bodies in accordance with this Article directly to the notified body.
1a. 第73条の規定にかかわらず、本条第1項に基づきAI室の管轄権に服する高リスクAIシステムの提供者は、重大インシデントをAI室に報告するものとする。第73条第2項から第9項までを準用する。AI室は、関連情報を、当該提供者又はその法定代理人が所在する加盟国の市場監視当局に速やかに送付するものとする。 1b. 本規則の適用に関与する当局は、AI室と積極的に協力し、必要な場合には加盟国の領域内で実施される検査その他の執行措置に関連するものを含め、AI室がその権限を行使するために必要な援助を提供するものとする。この目的のため、当該当局は、本規則及び規則(EU)2019/1020に基づき規定される権限を、関連する場合には適用される国内手続に従い、本項に基づく任務を遂行するために必要な範囲に限定して享受するものとする。 1c. 公的機関のデータ又はAIシステムへのアクセスを伴う調査又は執行措置を加盟国の領域内で講じる場合、AI室は、関連する市場監視当局の援助を受けるものとする。 1d. AI室は、AIシステムを国内市場において利用可能とすること若しくは供用を開始することを禁止し若しくは制限する効果を有する決定、又は当該市場からAIシステムを撤去し若しくはリコールする決定を行う前に、不当に遅滞することなく、当該市場について管轄権を有する市場監視当局に対し、当該決定を行う意図を通知するものとする。AI室は、本規則の適用及び執行に関するあらゆる事項について、適当な場合には、本規則の適用に関与する当局と協議するものとする。 1e. AI室は、本条第1項に規定するAIシステムのうち、高リスクに分類され、かつ、上市又は供用開始前に第43条に基づく第三者適合性評価の対象となるものについて、適合性評価及び試験を実施する責任を負うものとする。当該試験及び評価は、当該システムが本規則の関連要件に適合し、本規則に従って連合内で上市され又は供用を開始することができることを検証するものとする。欧州委員会は、当該試験又は評価の実施を、本規則に従って指定された届出機関に委託するものとし、この場合、当該届出機関は欧州委員会に代わって行動する。欧州委員会が本項に基づき任務を委任した届出機関が当該任務を適切に遂行しない場合、欧州委員会は当該委任を即時に撤回することができる。 試験及び評価活動に係る手数料は、欧州委員会に第三者適合性評価を申請した高リスクAIシステムの提供者に課すものとする。提供者は、欧州委員会が本条に従って届出機関に委託した業務に関連する費用を、届出機関に直接支払うものとする。
2026年改正2. Where the relevant market surveillance authorities have sufficient reason to consider general-purpose AI systems that can be used directly by deployers for at least one purpose that is classified as high-risk pursuant to this Regulation to be non-compliant with the requirements laid down in this Regulation, they shall cooperate with the AI Office to carry out compliance evaluations, and shall inform the Board and other market surveillance authorities accordingly.
2. 関係する市場監視当局が、導入者により少なくとも一つの目的について直接使用され得る汎用目的AIシステムであって、本規則に従いハイリスクに分類される目的のためのものが、本規則に定める要件に適合していないと考えるに足りる十分な理由を有する場合には、当該市場監視当局は、適合性評価を実施するためAI室と協力しなければならず、その旨を理事会及び他の市場監視当局に通知しなければならない。
2026年改正2a. Where a market surveillance authority has well-founded and sufficient reasons to suspect that a provider or a deployer of an AI system referred to in paragraph 1 of this Article has infringed this Regulation, it may request, through the relevant single point of contact designated in accordance with Article 70(2), the AI Office to assess the matter in order to take the necessary supervisory and enforcement measures to ensure prompt compliance with this Regulation. Such a request shall be duly reasoned and shall include at least:
2a. 市場監視当局は、本条第1項に規定するAIシステムの提供者又は配備者が本規則に違反したと疑うに足りる十分な根拠を有する場合、第70条第2項に従って指定された関連の単一窓口を通じて、本規則の速やかな遵守を確保するために必要な監督上及び執行上の措置を講じるよう、当該事案を評価することをAI室に要請することができる。当該要請は、正当な理由を付したものとし、少なくとも以下を含むものとする。
2026年改正(a) the name of the provider or the deployer concerned;
(a) 関係する提供者又は配備者の名称
2026年改正(b) a description of the relevant facts, the provisions of this Regulation that have allegedly been infringed, and any well-founded and sufficient reasons for suspecting an infringement, including, where applicable, the description of the negative effects of the alleged infringement;
(b) 関連する事実の説明、違反したとされる本規則の規定、並びに違反を疑うに足りる十分な根拠(該当する場合には、当該違反の疑いによる悪影響の説明を含む。)
2026年改正(c) the market surveillance authority making the request. The AI Office shall take utmost account of the request and the market surveillance authority shall cooperate actively and provide the AI Office the necessary assistance for the exercise of its powers in accordance with paragraph 1a. The AI Office shall, without undue delay and in any event no later than four months following receipt of the request, inform the single point of contact of its intention to exercise its powers in accordance with Article 75a or of its reasons for not exercising its powers. If the AI Office decides to exercise its powers in accordance with Article 75a, it shall periodically inform that single point of contact about major developments in the proceedings and the outcome of such proceedings, without disclosing any confidential information.
(c) 要請を行う市場監視当局。AI室は当該要請を最大限考慮するものとし、市場監視当局は積極的に協力し、第1a項に従いAI室がその権限を行使するために必要な援助を提供するものとする。AI室は、不当に遅滞することなく、いかなる場合においても要請を受領してから4箇月以内に、第75a条に従って権限を行使する意図又は権限を行使しない理由を、当該単一窓口に通知するものとする。AI室が第75a条に従って権限を行使することを決定した場合、AI室は、秘密情報を開示することなく、当該手続の主要な進展及びその結果について当該単一窓口に定期的に通知するものとする。
3. Where a market surveillance authority is unable to conclude its investigation of the high-risk AI system because of its inability to access certain information related to the general-purpose AI model despite having made all appropriate efforts to obtain that information, it may submit a reasoned request to the AI Office, by which access to that information shall be enforced. In that case, the AI Office shall supply to the applicant authority without delay, and in any event within 30 days, any information that the AI Office considers to be relevant in order to establish whether a high-risk AI system is non-compliant. Market surveillance authorities shall safeguard the confidentiality of the information that they obtain in accordance with Article 78 of this Regulation. The procedure provided for in Chapter VI of Regulation (EU) 2019/1020 shall apply mutatis mutandis.
3. 市場監視当局が、当該情報を取得するためのあらゆる適切な努力を行ったにもかかわらず、汎用目的AIモデルに関連する一定の情報にアクセスできないことにより、ハイリスクAIシステムに関する調査を完了できない場合には、当該市場監視当局は、AI室に対し理由を付した要請を提出することができ、これにより当該情報へのアクセスが強制されるものとする。この場合、AI室は、ハイリスクAIシステムが不遵守であるか否かを確定するために関連すると認める情報を、遅滞なく、いかなる場合であっても30日以内に、要請元の当局に提供しなければならない。市場監視当局は、本規則第78条に従い、取得した情報の秘密性を保護しなければならない。規則(EU) 2019/1020第VI章に定める手続は、準用して適用される。

Article 75a: Supervisory and enforcement powers of the AI Office / AI室の監督及び執行権限 新設条文(2026年)

1. When exercising its tasks of supervision and enforcement laid down in Article 75(1) of this Regulation, the AI Office shall have all the powers of a market surveillance authority provided for in this Section and in Article 14(4) and Article 16(3) of Regulation (EU) 2019/1020. The AI Office shall be authorised to fully reclaim from the relevant operator the totality of the costs of its supervision and enforcement activities with respect to instances of non-compliance, including costs for human and technical resources, in accordance with Article 15 of Regulation (EU) 2019/1020. Article 17 of Regulation (EU) 2019/1020 shall apply mutatis mutandis.
1. AI室は、本規則第75条第1項に規定する監督及び執行の任務を遂行するに当たり、本節並びに規則(EU)2019/1020第14条第4項及び第16条第3項に規定する市場監視当局のすべての権限を有するものとする。AI室は、規則(EU)2019/1020第15条に従い、違反事案に関するその監督及び執行活動に要した人的及び技術的資源の費用を含む費用の全額を、関係する運用者から全額回収する権限を有するものとする。規則(EU)2019/1020第17条を準用する。
2. Where the AI Office has reasonable grounds to suspect non-compliance with this Regulation by a provider or a deployer of an AI system referred to in Article 75(1) of this Regulation, it may adopt a decision to start an investigation into that non-compliance in accordance with Article 14(4), point (f) of Regulation (EU) 2019/1020. Upon starting such an investigation, the AI Office shall notify the operator of the AI system concerned. The AI Office may exercise the powers referred to in paragraph 1 of this Article on its own initiative or following a complaint received pursuant to Article 85 of this Regulation, even before starting an investigation pursuant to Article 14(4), point (f) of Regulation (EU) 2019/1020. Where a market surveillance authority has reason to suspect non-compliance with this Regulation by a provider or a deployer of an AI system referred to in Article 75(1), it may send a request to the AI Office to assess the matter.
2. AI室は、本規則第75条第1項に規定するAIシステムの提供者又は配備者による本規則の不遵守を疑うに足りる合理的な根拠を有する場合、規則(EU)2019/1020第14条第4項(f)号に従い、当該不遵守についての調査を開始する決定を採択することができる。AI室は、当該調査を開始するに当たり、関係するAIシステムの運用者に通知するものとする。AI室は、規則(EU)2019/1020第14条第4項(f)号に基づく調査を開始する前であっても、自らの発意により、又は本規則第85条に基づき受理した苦情を受けて、本条第1項に規定する権限を行使することができる。 市場監視当局は、本規則第75条第1項に規定するAIシステムの提供者又は配備者による本規則の不遵守を疑う理由を有する場合、当該事案を評価するようAI室に要請を送付することができる。
3. The AI Office may exercise the powers listed in Article 14(4), points (a), (b) and (c) of Regulation (EU) 2019/1020 and Article 74(12) and (13) of this Regulation by simple request or by decision. When requesting information, the AI Office shall state the legal basis and the purpose of the request, specify what information is required, and set the period within which the information is to be provided. Where the request is a simple request, the AI Office shall additionally indicate that although there is no obligation to provide the information requested, in the case of a voluntary reply, the information must be correct and not misleading, and indicate the potential fines provided for in Article 99(5) for supplying incorrect or misleading information. Where the request is made by decision, the AI Office shall additionally indicate the fines provided for in Article 99(5) for supplying incorrect, incomplete or misleading information and indicate the right to have the decision reviewed by the Court of Justice of the European Union. The AI Office shall send a copy of the request to the market surveillance authority of the Member State in the territory of which the operator or its legal representative is situated.
3. AI室は、規則(EU)2019/1020第14条第4項(a)号、(b)号及び(c)号並びに本規則第74条第12項及び第13項に列挙する権限を、単純な要請により、又は決定により行使することができる。情報を要請するに当たり、AI室は、当該要請の法的根拠及び目的を明示し、必要とされる情報を明示し、情報を提供すべき期間を定めるものとする。当該要請が単純な要請である場合、AI室は、さらに、要請された情報を提供する義務はないものの、任意に回答する場合には当該情報が正確であり誤解を招くものであってはならない旨、及び不正確若しくは誤解を招く情報を提供したことに対する第99条第5項に規定する過料の可能性を示すものとする。当該要請が決定によりなされる場合、AI室は、さらに、不正確、不完全若しくは誤解を招く情報を提供したことに対する第99条第5項に規定する過料を示すとともに、当該決定について欧州連合司法裁判所による審査を求める権利を示すものとする。AI室は、当該運用者又はその法定代理人が所在する加盟国の市場監視当局に対し、当該要請の写しを送付するものとする。
2026年改正4. In order to carry out the tasks assigned to it under this Section, the AI Office may conduct all necessary remote or on-site inspections pursuant to the powers laid down in Article 14(4), points (d) and (e) of Regulation (EU) 2019/1020 and Article 74(5) of this Regulation. When conducting an inspection, the AI Office shall inform the provider concerned of the subject matter and purpose of the investigation, the relevant fines referred to in Article 99(5) of this Regulation, and the right to have the decision reviewed by the Court of Justice of the European Union. Prior to conducting an inspection, the AI Office shall inform the market surveillance authority of the Member State in the territory of which the operator or its legal representative is situated. During such an inspection, the officials of the AI Office shall be empowered to:
4. AI室は、本節に基づき自らに割り当てられた任務を遂行するため、規則(EU)2019/1020第14条第4項(d)号及び(e)号並びに本規則第74条第5項に規定する権限に基づき、必要なすべての遠隔検査又は現地検査を実施することができる。検査を実施するに当たり、AI室は、関係する提供者に対し、調査の主題及び目的、本規則第99条第5項に規定する関連する過料、並びに当該決定について欧州連合司法裁判所による審査を求める権利を通知するものとする。AI室は、検査を実施する前に、当該運用者又はその法定代理人が所在する加盟国の市場監視当局に通知するものとする。当該検査の間、AI室の職員は、次の権限を有するものとする。
2026年改正(a) enter any of the business premises, land or property located in the Union of the operator concerned;
(a) 関係する運用者が連合内に有する事業所、土地又は財産に立ち入ること。
2026年改正(b) examine the books, data and other material relevant to the execution of their tasks, irrespective of the medium on which they are stored;
(b) その任務の遂行に関連する帳簿、データその他の資料を、それらが保存されている媒体を問わず、検査すること。
2026年改正(c) take or obtain in any form copies of or extracts from books, data and other records;
(c) 帳簿、データその他の記録の写し又は抜粋を、いかなる形式であれ取得すること。
2026年改正(d) ask any of the persons subject to the inspection, or their representatives, or staff, for oral or written explanations on factors or documents relating to the subject matter and purpose of the inspection, and to record the answers;
(d) 検査の対象となる者若しくはその代表者若しくは職員に対し、検査の主題及び目的に関連する事実又は文書について口頭又は書面による説明を求め、その回答を記録すること。
2026年改正(e) seal any business premises and books or records for the duration of, and to the extent necessary for, the inspection. Where the AI Office finds that a natural or legal person opposes or obstructs an inspection, the national competent authority of the Member State concerned shall afford it the necessary assistance, requesting, where appropriate, the assistance of the police or an equivalent enforcement authority, to enable it to conduct its on-site inspection. Where an on-site inspection of business premises, land or property requires authorisation by a judicial authority in accordance with national law, the AI Office shall apply for such an authorisation. The AI Office may also apply for such authorisation as a precautionary measure. Where such an authorisation is applied for, the national judicial authority shall promptly verify that the coercive measures envisaged are neither arbitrary nor excessive having regard to the subject matter of the investigation or inspection and the documents provided by the AI Office with the decision. In its verification of the proportionality of coercive measures, the national judicial authority may ask the AI Office for detailed explanations, in particular relating to the grounds the AI Office has for suspecting that an infringement of this Regulation has taken place and the seriousness of the suspected infringement and, where relevant, the nature of the involvement of the person subject to the coercive measures. The national judicial authority shall not review the necessity of the investigation or inspection nor demand information from the case file of the AI Office. In accordance with the Treaties, the legality of the decision of the AI Office is subject to review only by the Court of Justice of the European Union.
(e) 検査の期間中、かつ、検査に必要な範囲において、事業所並びに帳簿又は記録を封印すること。 AI室は、自然人又は法人が検査に反対し又はこれを妨害すると認める場合、当該加盟国の国内管轄当局は、必要な援助を提供するものとし、適当な場合には、現地検査を実施することができるよう、警察又はこれと同等の執行当局の援助を要請するものとする。 事業所、土地又は財産の現地検査が国内法に従い司法当局による許可を必要とする場合、AI室は、当該許可を申請するものとする。AI室は、予防的措置として当該許可を申請することもできる。当該許可が申請された場合、国内司法当局は、想定される強制措置が、調査若しくは検査の主題及びAI室が決定とともに提供した文書に照らして、恣意的又は過度でないことを速やかに検証するものとする。国内司法当局は、強制措置の比例性を検証するに当たり、特に、本規則の違反が生じたとAI室が疑う根拠及び疑われる違反の重大性、並びに関連する場合には強制措置の対象となる者の関与の性質に関し、AI室に対し詳細な説明を求めることができる。国内司法当局は、調査又は検査の必要性を審査してはならず、また、AI室の事件記録からの情報を要求してはならない。条約に従い、AI室の決定の適法性は、欧州連合司法裁判所によってのみ審査されるものとする。
2026年改正5. At the request of the AI Office, the competent market surveillance authority of a Member State may in its own territory carry out any investigation, inspection or other fact-finding measure on behalf and for the account of the AI Office in order to establish whether there has been an infringement of this Regulation. The officials of the competent authorities of the Member States who are responsible for conducting such investigations, inspections, or fact-finding measures, as well as those authorised or appointed by them, shall exercise their powers in accordance with their national law.
5. 加盟国の管轄市場監視当局は、AI室の要請に基づき、本規則の違反があったか否かを確認するため、AI室に代わり、かつ、AI室のために、その領域内で調査、検査その他の事実調査の措置を実施することができる。当該調査、検査又は事実調査の措置を実施する責任を負う加盟国の管轄当局の職員、並びに当該当局により授権され又は任命された者は、その国内法に従ってその権限を行使するものとする。
2026年改正6. In addition to the powers set out in paragraph 1 of this Article, the AI Office, in the exercise of its competences referred to in Article 75(1), may:
6. AI室は、本条第1項に定める権限に加え、第75条第1項に規定するその権限を行使するに当たり、次のことを行うことができる。
2026年改正(a) order operators to provide access to, and explanations relating to, their AI systems;
(a) 運用者に対し、そのAIシステムへのアクセス及びこれに関する説明を提供するよう命じること。
2026年改正(b) impose an obligation on an operator to retain all data and documents deemed to be necessary to assess the implementation of and compliance with the obligations under this Regulation.
(b) 運用者に対し、本規則に基づく義務の実施及び遵守を評価するために必要と認められるすべてのデータ及び文書を保持する義務を課すこと。
2026年改正7. To assist it in monitoring the effective implementation and compliance with the relevant provisions of this Regulation and to provide it with specific expertise or knowledge in the exercise of its competences under Article 75(1), the AI Office may appoint independent external experts and auditors, as well as experts, investigative teams and auditors from the Member State’s competent authorities with the agreement of the authority concerned. Information obtained as a result of such monitoring actions shall be shared with the relevant competent authorities of the Member States.
7. AI室は、本規則の関連規定の効果的な実施及び遵守を監視すること並びに第75条第1項に基づく権限の行使に当たり特定の専門知識又は知見を得ることを支援するため、独立した外部の専門家及び監査人、並びに関係当局の合意を得た加盟国の管轄当局の専門家、調査チーム及び監査人を任命することができる。当該監視活動の結果得られた情報は、加盟国の関連する管轄当局と共有するものとする。
2026年改正8. Information collected pursuant to this Article shall be used only for the purpose of this Regulation.
8. 本条に従い収集された情報は、本規則の目的のためにのみ使用するものとする。

Article 75b: Commitments / 確約 新設条文(2026年)

2026年改正If, during proceedings under Article 75a(2), the operator concerned offers commitments to ensure compliance with the relevant provisions of this Regulation, the AI Office may, by decision, make those commitments binding on the operator concerned and declare that there are no further grounds for action. The AI Office may, upon request or on its own initiative, reopen the proceedings where:
第75a条(2)に基づく手続の過程において、関係する運用者が本規則の関連規定の遵守を確保するための確約を申し出た場合、AI室は、決定により、当該確約を当該運用者に対して拘束力を有するものとし、かつ、それ以上の措置を講じる理由がない旨を宣言することができる。AI室は、請求により又は職権により、次の場合には当該手続を再開することができる。
2026年改正(a) there has been a material change in any of the facts on which the decision was based;
(a) 決定の基礎となった事実に重要な変更があったこと。
2026年改正(b) the operator acts contrary to its commitments; or
(b) 運用者がその約束に反する行動をとったこと。又は
2026年改正(c) the decision was based on incomplete, incorrect or misleading information provided by the operator concerned. Where the AI Office considers that the commitments offered by the operator concerned are unable to ensure effective compliance with the relevant provisions of this Regulation, it shall reject those commitments in a reasoned decision when concluding the proceedings.
(c) 決定が、関係する運用者により提供された不完全、不正確又は誤解を招く情報に基づいていたこと。AI室は、関係する運用者が提示した約束が本規則の関連規定の効果的な遵守を確保することができないと考える場合、手続を終結するに当たり、理由を付した決定により当該約束を拒否するものとする。

Article 75c: Non-compliance, fines and periodic penalty payments / 不遵守、過料及び定期制裁金 新設条文(2026年)

2026年改正1. Where the AI Office finds that an operator falling within the scope of Article 75(1) does not comply with the relevant provisions of this Regulation or with commitments made binding pursuant to Article 75b, it shall adopt a decision establishing such non-compliance.
1. AI室は、第75条第1項の適用範囲に含まれる運用者が本規則の関連規定又は第75b条に従って拘束力を有するものとされた約束を遵守していないと認める場合、当該不遵守を認定する決定を採択するものとする。
2026年改正2. Before adopting a decision pursuant to paragraph 1, the AI Office shall communicate its preliminary findings to the operator concerned. In the preliminary findings, the AI Office shall explain the measures that it is considering taking, or that it considers that the operator concerned should take, in order to effectively address the preliminary findings.
2. AI室は、第1項に基づく決定を採択する前に、その予備的認定を関係する運用者に通知するものとする。予備的認定において、AI室は、当該予備的認定に効果的に対処するために講じることを検討している措置、又は関係する運用者が講じるべきであると考える措置を説明するものとする。
2026年改正3. In the decision pursuant to paragraph 1 of this Article, the AI Office shall, where relevant, order the operator concerned to take the necessary measures to ensure compliance with the relevant provisions of this Regulation within a reasonable period specified therein and to provide information on the measures that that operator intends to take to comply with the decision. The operator concerned shall provide the AI Office with a description of the measures it has taken to ensure compliance with the decision upon their implementation. Prior to requesting any measure, the AI Office may engage in a structured dialogue with the operator of the AI system in question. During this dialogue, the operator may propose commitments in accordance with Article 75b.
3. AI室は、本条第1項に基づく決定において、関連する場合には、関係する運用者に対し、当該決定に定める合理的な期間内に本規則の関連規定の遵守を確保するために必要な措置を講じること、及び当該決定を遵守するために講じる予定の措置に関する情報を提供することを命じるものとする。関係する運用者は、当該決定を遵守するための措置を実施した後、当該措置の内容をAI室に提供するものとする。AI室は、いかなる措置も要請する前に、問題となっているAIシステムの運用者と構造化された対話を行うことができる。この対話の間、運用者は第75b条に従って約束を提案することができる。
2026年改正4. A decision adopted pursuant to paragraph 1 of this Article may be accompanied by the imposition of penalties in accordance with Article 99(3) to (7), which provisions shall apply mutatis mutandis to the AI Office in the execution of its supervision and enforcement tasks referred to in Article 75(1). In particular, the following shall be subject to administrative fines as referred to in Article 99(4):
4. 本条第1項に基づき採択された決定には、第99条第3項から第7項までに従った制裁の賦課を伴うことができるものとし、これらの規定は、第75条第1項に規定するAI室の監督及び執行任務の遂行について準用する。 特に、次のものは、第99条第4項に規定する過料の対象とするものとする。
2026年改正(a) infringement of any applicable provision of this Regulation, including those not listed in Article 99(4);
(a) 第99条第4項に列挙されていないものを含む、本規則の適用されるいずれかの規定への違反
2026年改正(b) failure to comply with decisions or measures adopted pursuant to the powers listed in Article 14(4) or Article 16(3) of Regulation (EU) 2019/1020, as well as those specified in Article 75a of this Regulation;
(b) 規則(EU)2019/1020第14条第4項若しくは第16条第3項に列挙する権限、又は本規則第75a条に規定する権限に基づき採択された決定若しくは措置の不遵守
2026年改正(c) failure to comply with a commitment made binding by a decision pursuant to Article 75b. The supply of incorrect, incomplete or misleading information to the AI Office in reply to a request shall be subject to administrative fines as referred to in Article 99(5).
(c) 第75b条に基づく決定により拘束力を有するものとされた約束の不遵守 要請に対する回答としてAI室に不正確、不完全又は誤解を招く情報を提供したことは、第99条第5項に規定する過料の対象とするものとする。
2026年改正5. The AI Office may adopt a decision imposing periodic penalty payments to compel the operators subject to its competence pursuant to Article 75(1) to the following:
5. AI室は、第75条第1項に基づきその管轄権に服する運用者に次のことを強制するため、定期制裁金を課す決定を採択することができる。
2026年改正(a) to submit to an investigation;
(a) 調査に応じること。
2026年改正(b) to comply with an information request ordered by a decision adopted under Article 75a(3);
(b) 第75a条第3項に基づき採択された決定により命じられた情報要請を遵守すること。
2026年改正(c) to submit to an inspection ordered by a decision pursuant to Article 75a(4);
(c) 第75a条第4項に基づく決定により命じられた検査に応じること。
2026年改正(d) to provide correct or complete answers or explanations in the context of an inspection ordered by a decision pursuant to Article 75a(4);
(d) 第75a条第4項に基づく決定により命じられた検査に関連して、正確又は完全な回答若しくは説明を提供すること。
2026年改正(e) to comply with corrective actions ordered pursuant to the power listed in Article 16 of Regulation (EU) 2019/1020;
(e) 規則(EU)2019/1020第16条に列挙する権限に基づき命じられた是正措置を遵守すること。
2026年改正(f) to comply with commitments made legally binding by a decision pursuant to Article 75b; or
(f) 第75b条に基づく決定により法的拘束力を有するものとされた約束を遵守すること。又は
2026年改正(g) to comply with a decision pursuant to the paragraph (1) of this Article. Those penalty payments shall be effective and proportionate, and, where applicable, shall not exceed 5 % of the average daily income or worldwide annual turnover in the preceding financial year per day, calculated from the date appointed by the decision.
(g) 本条第1項に基づく決定を遵守すること。 当該制裁金は、実効的かつ比例的なものとし、該当する場合には、決定により定められた日から起算して、1日当たり前会計年度の平均日収又は世界全体の年間売上高の5%を超えないものとする。
2026年改正6. The Court of Justice of the European Union shall have unlimited jurisdiction to review decisions of the AI Office fixing a fine or periodic penalty payment pursuant to this Article. It may cancel, reduce or increase the fine or periodic penalty payment imposed.
6. 欧州連合司法裁判所は、本条に基づき過料又は定期制裁金を確定するAI室の決定を審査する無制限の管轄権を有するものとする。同裁判所は、課された過料又は定期制裁金を取り消し、減額し、又は増額することができる。
2026年改正7. Funds collected through the imposition of fines or periodic penalty payments pursuant to this Article shall contribute to the general budget of the Union.
7. 本条に基づく過料又は定期制裁金の賦課を通じて徴収された資金は、連合の一般予算に充てるものとする。
2026年改正8. The powers conferred on the AI Office by this Article shall be subject to a limitation period of five years. The limitation period shall begin to run on the day on which the infringement is committed. However, in the case of continuing or repeated infringements, the limitation period shall begin to run on the day on which the infringement ceases. The power of the AI Office to enforce decisions taken pursuant to this Article shall be subject to a limitation period of five years. The limitation period shall begin to run on the day on which the decision becomes final. The implementing act referred to in Article 75d(3) shall specify the first and second subparagraphs of this paragraph, including the circumstances in which the limitation periods shall be interrupted.
8. 本条によりAI室に付与された権限は、5年の時効期間に服するものとする。当該時効期間は、違反が行われた日から起算するものとする。ただし、継続的又は反復的な違反の場合には、当該時効期間は、違反が終了した日から起算するものとする。 本条に基づき採択された決定を執行するAI室の権限は、5年の時効期間に服するものとする。当該時効期間は、当該決定が確定した日から起算するものとする。 第75d条第3項に規定する実施行為は、時効期間が中断される事情を含め、本項の前二段について具体的に定めるものとする。
2026年改正9. Where the AI Office determines that there are no grounds to adopt a decision of non-compliance, it shall close the proceeding by a decision. That decision shall apply with immediate effect.
9. AI室は、不遵守の決定を採択する根拠がないと判断する場合、決定により当該手続を終結するものとする。当該決定は、即時に効力を生じるものとする。

Article 75d: Safeguards and further specification / 保護措置及び詳細規定 新設条文(2026年)

2026年改正1. Article 18 of Regulation (EU) 2019/1020 shall apply mutatis mutandis to operators subject to the AI Office’s competence pursuant to Article 75(1) of this Regulation, without prejudice to more specific procedural rights provided for in this Regulation.
1. 規則(EU)2019/1020第18条は、本規則の定めるより具体的な手続上の権利を損なうことなく、本規則第75条第1項に基づきAI室の管轄権に服する運用者について準用する。
2026年改正2. The rights of defence and of access to the file of operators falling within the scope of Article 75(1) shall be fully respected in proceedings. In view of the possible adoption of decisions on the basis of Article 75c(1), those operators shall be entitled to have access to the AI Office file under the terms of a negotiated disclosure, subject to the legitimate interest of the operator or other person concerned in the protection of their business secrets. The AI Office shall have the power to adopt decisions setting out such terms of disclosure in the case of disagreement between the parties. The right of access to the file shall not extend to confidential information and internal documents of the AI Office, the Board, competent market surveillance authorities or other public authorities of the Member States. In particular, the right of access shall not extend to correspondence between the AI Office and those authorities. Nothing in this paragraph shall prevent the AI Office from disclosing and using information necessary to prove an infringement.
2. 第75条第1項の適用範囲に含まれる運用者の防御の権利及び事件記録へのアクセスの権利は、手続において十分に尊重されるものとする。第75c条第1項に基づく決定が採択される可能性があることに鑑み、当該運用者は、運用者又は関係するその他の者の営業秘密の保護に関する正当な利益を条件として、交渉された開示の条件の下でAI室の事件記録にアクセスする権利を有するものとする。AI室は、当事者間で意見の相違がある場合には、当該開示の条件を定める決定を採択する権限を有するものとする。事件記録へのアクセスの権利は、AI室、理事会、管轄市場監視当局又は加盟国のその他の公的機関の秘密情報及び内部文書には及ばないものとする。特に、アクセスの権利は、AI室と当該当局との間の通信には及ばないものとする。本項のいかなる規定も、AI室が違反を証明するために必要な情報を開示し及び使用することを妨げるものではない。
2026年改正3. The Commission may adopt implementing acts concerning the practical arrangements for access to the file and the negotiated disclosure of information provided for in paragraph 2.
3. 欧州委員会は、事件記録へのアクセス及び第2項に規定する情報の交渉された開示に関する実務上の取り決めについて、実施行為を採択することができる。
2026年改正4. The AI Office shall publish the decisions it adopts pursuant to Articles 75b and 75c. Such publication shall state the names of the parties and the main content of the decision, including any penalties imposed. The publication shall have regard to the rights and legitimate interests of any person concerned in the protection of their confidential information.
4. AI室は、第75b条及び第75c条に基づき採択する決定を公表するものとする。当該公表には、当事者の名称及び決定の主な内容(科された制裁措置を含む)を記載するものとする。当該公表に当たっては、機密情報の保護に関する関係者の権利及び正当な利益に配慮するものとする。

Article 76: Supervision of testing in real world conditions by market surveillance authorities / 市場監視当局による実世界条件下でのテストの監督

1. Market surveillance authorities shall have competences and powers to ensure that testing in real world conditions is in accordance with this Regulation.
1. 市場監視当局は、実世界条件下でのテストが本規則に従って行われることを確保するための権限及び権能を有する。
2026年改正Where testing in real world conditions is based on Article 60a, any reference to a market surveillance authority in this Article shall be construed as a reference to the national competent authority or appropriate authority under the Union harmonisation legislation listed in Section B of Annex I, and references to Article 60 shall be construed as references to Article 60a, as appropriate.
実世界条件における試験が第60a条に基づく場合、本条における市場監視当局への言及は、附属書I第B節に列挙された連合調和法制に基づく国内所管当局又は適切な当局への言及と解釈されるものとし、第60条への言及は、必要に応じて第60a条への言及と解釈されるものとする。
2. Where testing in real world conditions is conducted for AI systems that are supervised within an AI regulatory sandbox under Article 58, the market surveillance authorities shall verify the compliance with Article 60 as part of their supervisory role for the AI regulatory sandbox. Those authorities may, as appropriate, allow the testing in real world conditions to be conducted by the provider or prospective provider, in derogation from the conditions set out in Article 60(4), points (f) and (g).
2. 第58条に基づきAI規制サンドボックスの下で監督されているAIシステムについて実世界条件下でのテストが実施される場合には、市場監視当局は、AI規制サンドボックスに対するその監督上の役割の一環として、第60条の遵守を検証しなければならない。当該当局は、適宜、第60条第4項(f)及び(g)に定める条件から逸脱して、提供者又は将来の提供者による実世界条件下でのテストの実施を認めることができる。
3. Where a market surveillance authority has been informed by the prospective provider, the provider or any third party of a serious incident or has other grounds for considering that the conditions set out in Articles 60 and 61 are not met, it may take either of the following decisions on its territory, as appropriate:
3. 市場監視当局が、将来の提供者、提供者又は第三者から重大インシデントについて通知を受けた場合、又は第60条及び第61条に定める条件が満たされていないと考える他の根拠を有する場合には、当該市場監視当局は、その領域内において、適宜、以下のいずれかの決定を行うことができる。
2026年改正(a) to suspend or terminate the testing in real world conditions;
(a) 実世界条件下でのテストを停止し、又は終了すること。
2026年改正(b) to require the provider or prospective provider and the deployer or prospective deployer to modify any aspect of the testing in real world conditions.
(b) 提供者若しくは将来の提供者及び導入者若しくは将来の導入者に対し、実世界条件下でのテストのいかなる側面をも修正するよう要求すること。
2026年改正4. Where a market surveillance authority has taken a decision referred to in paragraph 3 of this Article, or has issued an objection within the meaning of Article 60(4), point (b), the decision or the objection shall indicate the grounds therefor and how the provider or prospective provider can challenge the decision or objection.
4. 市場監視当局が本条第3項にいう決定を行った場合、又は第60条第4項(b)の意味における異議を提起した場合には、当該決定又は異議には、その理由並びに提供者又は将来の提供者が当該決定又は異議に異議を申し立てる方法を記載しなければならない。
2026年改正5. Where applicable, where a market surveillance authority has taken a decision referred to in paragraph 3, it shall communicate the grounds therefor to the market surveillance authorities of other Member States in which the AI system has been tested in accordance with the testing plan.
5. 該当する場合において、市場監視当局が第3項にいう決定を行ったときは、当該市場監視当局は、テスト計画に従って当該AIシステムがテストされた他の加盟国の市場監視当局に対し、その理由を伝達しなければならない。

Article 77: Powers of authorities protecting fundamental rights and cooperation with market surveillance authorities / 基本的権利を保護する当局の権限及び市場監視当局との協力

2026年改正1. National public authorities or bodies which supervise or enforce the respect of obligations under Union law protecting fundamental rights, including the right to non-discrimination, shall have the power to request and access any information or documentation created or maintained from the relevant market surveillance authority pursuant to this Regulation in accessible language and machine-readable format by electronic means where access to that information or documentation is necessary for effectively fulfilling their mandates within the limits of their jurisdiction. This Article is without prejudice to the competences, tasks, powers and independence of the relevant national public authorities or bodies under their mandates. 1a. Subject to the conditions specified in this Article, the market surveillance authority shall grant the relevant public authority or body referred to in paragraph 1 access to such information or documentation, including by requesting such information or documentation from the provider or the deployer, where necessary and without undue delay. 1b. Market surveillance authorities and public authorities or bodies referred to in paragraph 1 shall cooperate closely and provide each other with the mutual assistance necessary to fulfil their respective mandates, with a view to ensuring the coherent application of this Regulation and Union law protecting fundamental rights and streamlining procedures, while respecting their respective competences, tasks, powers and independence. This shall include, in particular, exchange of information where necessary for the effective supervision or enforcement of this Regulation and the respective other Union legislation.
1. 非差別の権利を含む連合法上の基本的権利の保護に係る義務の遵守を監督し又は執行する国内公的機関又は団体は、その管轄の範囲内でその職務を効果的に遂行するために当該情報又は文書へのアクセスが必要である場合には、本規則に基づき関連する市場監視当局が作成又は保持する情報又は文書について、電子的手段によりアクセス可能な言語及び機械可読形式で、その提供及びアクセスを請求する権限を有するものとする。本条は、関連する国内公的機関又は団体がその職務に基づき有する権限、任務、権能及び独立性を損なうものではない。 1a. 市場監視当局は、本条に定める条件に従い、必要かつ不当な遅滞なく、第1項に規定する関連公的機関又は団体に対し、提供者又は配備者に当該情報又は文書の提供を請求することを含め、当該情報又は文書へのアクセスを付与するものとする。 1b. 市場監視当局及び第1項に規定する公的機関又は団体は、本規則及び基本的権利を保護する連合法の一貫した適用を確保し、かつ手続を合理化する観点から、それぞれの権限、任務、権能及び独立性を尊重しつつ、緊密に協力し、それぞれの職務を遂行するために必要な相互援助を提供するものとする。これには特に、本規則及び関連するその他の連合法制の効果的な監督又は執行のために必要な場合における情報交換を含むものとする。
2. By 2 November 2024, each Member State shall identify the public authorities or bodies referred to in paragraph 1 and make a list of them publicly available. Member States shall notify the list to the Commission and to the other Member States, and shall keep the list up to date.
2. 各加盟国は、2024年11月2日までに、第1項にいう公的機関又は団体を特定し、その一覧を公表しなければならない。加盟国は、当該一覧を委員会及び他の加盟国に通知し、これを最新の状態に保たなければならない。
3. Where the documentation referred to in paragraph 1 is insufficient to ascertain whether an infringement of obligations under Union law protecting fundamental rights has occurred, the public authority or body referred to in paragraph 1 may make a reasoned request to the market surveillance authority, to organise testing of the high-risk AI system through technical means. The market surveillance authority shall organise the testing with the close involvement of the requesting public authority or body within a reasonable time following the request.
3. 第1項にいう文書が、連合法上の基本権保護義務の侵害が生じたか否かを確認するために不十分である場合には、第1項にいう公的機関又は団体は、市場監視当局に対し、技術的手段によるハイリスクAIシステムのテストを行うよう理由を付した要請を行うことができる。市場監視当局は、当該要請後の合理的な期間内に、要請元の公的機関又は団体の緊密な関与の下でテストを組織しなければならない。
4. Any information or documentation obtained by the national public authorities or bodies referred to in paragraph 1 of this Article pursuant to this Article shall be treated in accordance with the confidentiality obligations set out in Article 78.
4. 本条第1項にいう国内公的機関又は団体が本条に従い取得したあらゆる情報又は文書は、第78条に定める秘密保持義務に従って取り扱われなければならない。

Article 78: Confidentiality / 秘密保持

1. The Commission, market surveillance authorities and notified bodies and any other natural or legal person involved in the application of this Regulation shall, in accordance with Union or national law, respect the confidentiality of information and data obtained in carrying out their tasks and activities in such a manner as to protect, in particular:
1. 委員会、市場監視当局及び届出機関並びに本規則の適用に関与するその他のあらゆる自然人又は法人は、連合法又は国内法に従い、その任務及び活動の遂行において取得した情報及びデータの秘密性を、特に以下を保護するように尊重しなければならない。
(a) the intellectual property rights and confidential business information or trade secrets of a natural or legal person, including source code, except in the cases referred to in Article 5 of Directive (EU) 2016/943 of the European Parliament and of the Council (1);
(a) 自然人又は法人の知的財産権並びに機密の事業情報又は営業秘密(ソースコードを含む)。ただし、欧州議会及び理事会の指令(EU)2016/943(1)第5条に規定する場合を除く。
(b) the effective implementation of this Regulation, in particular for the purposes of inspections, investigations or audits;
(b) 本規則の実効的な実施、特に検査、調査又は監査の目的。
(c) public and national security interests;
(c) 公共及び国家の安全保障上の利益。
(d) the conduct of criminal or administrative proceedings;
(d) 刑事又は行政手続の遂行。
(e) information classified pursuant to Union or national law.
(e) 連合法又は国内法に従い機密指定された情報。
2. The authorities involved in the application of this Regulation pursuant to paragraph 1 shall request only data that is strictly necessary for the assessment of the risk posed by AI systems and for the exercise of their powers in accordance with this Regulation and with Regulation (EU) 2019/1020. They shall put in place adequate and effective cybersecurity measures to protect the security and confidentiality of the information and data obtained, and shall delete the data collected as soon as it is no longer needed for the purpose for which it was obtained, in accordance with applicable Union or national law.
2. 第1項に従い本規則の適用に関与する当局は、AIシステムがもたらすリスクの評価並びに本規則及び規則(EU) 2019/1020に従ったその権限の行使のために厳密に必要なデータのみを要求しなければならない。当該当局は、取得した情報及びデータの安全性及び秘密性を保護するため適切かつ実効的なサイバーセキュリティ対策を講じなければならず、また、適用のある連合法又は国内法に従い、収集したデータをその取得目的のために不要となり次第、速やかに消去しなければならない。
(1) Directive (EU) 2016/943 of the European Parliament and of the Council of 8 June 2016 on the protection of undisclosed know-how and business information (trade secrets) against their unlawful acquisition, use and disclosure (OJ L 157, 15.6.2016, p. 1).
(1) 営業秘密(非開示のノウハウ及び事業情報)の不法な取得、使用及び開示からの保護に関する2016年6月8日の欧州議会及び理事会の指令(EU)2016/943(OJ L 157, 15.6.2016, p. 1)。
3. Without prejudice to paragraphs 1 and 2, information exchanged on a confidential basis between the national competent authorities or between national competent authorities and the Commission shall not be disclosed without prior consultation of the originating national competent authority and the deployer when high-risk AI systems referred to in point 1, 6 or 7 of Annex III are used by law enforcement, border control, immigration or asylum authorities and when such disclosure would jeopardise public and national security interests. This exchange of information shall not cover sensitive operational data in relation to the activities of law enforcement, border control, immigration or asylum authorities. When the law enforcement, immigration or asylum authorities are providers of high-risk AI systems referred to in point 1, 6 or 7 of Annex III, the technical documentation referred to in Annex IV shall remain within the premises of those authorities. Those authorities shall ensure that the market surveillance authorities referred to in Article 74(8) and (9), as applicable, can, upon request, immediately access the documentation or obtain a copy thereof. Only staff of the market surveillance authority holding the appropriate level of security clearance shall be allowed to access that documentation or any copy thereof.
3. 第1項及び第2項を害することなく、国内管轄当局間で又は国内管轄当局と委員会との間で秘密裏に交換された情報は、附属書III第1点、第6点又は第7点にいうハイリスクAIシステムが法執行、国境管理、出入国管理又は庇護当局により使用されている場合であって、かつ当該開示が公共及び国家の安全保障上の利益を害することとなる場合には、情報の発信元である国内管轄当局及び導入者との事前の協議なしに開示してはならない。この情報交換は、法執行、国境管理、出入国管理又は庇護当局の活動に関する機微な運用データを対象としてはならない。 法執行、出入国管理又は庇護当局が附属書III第1点、第6点又は第7点にいうハイリスクAIシステムの提供者である場合には、附属書IVにいう技術文書は、当該当局の施設内にとどめられなければならない。当該当局は、該当する場合には第74条第8項及び第9項にいう市場監視当局が、要請に応じて、当該文書に直ちにアクセスし、又はその写しを取得できることを確保しなければならない。適切な水準の保安上のクリアランスを有する市場監視当局の職員のみが、当該文書又はその写しへのアクセスを許可される。
4. Paragraphs 1, 2 and 3 shall not affect the rights or obligations of the Commission, Member States and their relevant authorities, as well as those of notified bodies, with regard to the exchange of information and the dissemination of warnings, including in the context of cross-border cooperation, nor shall they affect the obligations of the parties concerned to provide information under criminal law of the Member States.
4. 第1項、第2項及び第3項は、国境を越えた協力の文脈を含め、情報の交換及び警告の発出に関する委員会、加盟国及びその関係当局並びに届出機関の権利又は義務に影響を及ぼすものではなく、また、加盟国の刑事法の下で関係当事者が情報を提供する義務にも影響を及ぼすものではない。
5. The Commission and Member States may exchange, where necessary and in accordance with relevant provisions of international and trade agreements, confidential information with regulatory authorities of third countries with which they have concluded bilateral or multilateral confidentiality arrangements guaranteeing an adequate level of confidentiality.
5. 委員会及び加盟国は、必要な場合には、かつ国際協定及び通商協定の関連規定に従い、適切な水準の秘密性を保証する二国間又は多国間の秘密保持取決めを締結した第三国の規制当局と秘密情報を交換することができる。

Article 79: Procedure at national level for dealing with AI systems presenting a risk / リスクを提示するAIシステムに対応するための国内レベルの手続

1. AI systems presenting a risk shall be understood as a ‘product presenting a risk’ as defined in Article 3, point 19 of Regulation (EU) 2019/1020, in so far as they present risks to the health or safety, or to fundamental rights, of persons.
1. リスクを提示するAIシステムは、その健康、安全又は人の基本権に対するリスクを提示する限りにおいて、規則(EU) 2019/1020第3条第19点に定める「リスクを提示する製品」と理解されなければならない。
2. Where the market surveillance authority of a Member State has sufficient reason to consider an AI system to present a risk as referred to in paragraph 1 of this Article, it shall carry out an evaluation of the AI system concerned in respect of its compliance with all the requirements and obligations laid down in this Regulation. Particular attention shall be given to AI systems presenting a risk to vulnerable groups. Where risks to fundamental rights are identified, the market surveillance authority shall also inform and fully cooperate with the relevant national public authorities or bodies referred to in Article 77(1). The relevant operators shall cooperate as necessary with the market surveillance authority and with the other national public authorities or bodies referred to in Article 77(1).
2. 加盟国の市場監視当局が、本条第1項にいうリスクを提示するとAIシステムを考えるに足りる十分な理由を有する場合には、当該市場監視当局は、本規則に定めるすべての要件及び義務への適合性に関して、関係するAIシステムの評価を行わなければならない。脆弱な集団に対するリスクを提示するAIシステムには特段の注意が払われなければならない。基本権に対するリスクが特定された場合には、市場監視当局は、第77条第1項にいう関係する国内公的機関又は団体にも通知し、これと十分に協力しなければならない。関係する事業者は、必要に応じて市場監視当局及び第77条第1項にいう他の国内公的機関又は団体と協力しなければならない。
Where, in the course of that evaluation, the market surveillance authority or, where applicable the market surveillance authority in cooperation with the national public authority referred to in Article 77(1), finds that the AI system does not comply with the requirements and obligations laid down in this Regulation, it shall without undue delay require the relevant operator to take all appropriate corrective actions to bring the AI system into compliance, to withdraw the AI system from the market, or to recall it within a period the market surveillance authority may prescribe, and in any event within the shorter of 15 working days, or as provided for in the relevant Union harmonisation legislation. The market surveillance authority shall inform the relevant notified body accordingly. Article 18 of Regulation (EU) 2019/1020 shall apply to the measures referred to in the second subparagraph of this paragraph.
当該評価の過程において、市場監視当局、又は該当する場合には第77条第1項にいう国内公的機関と協力する市場監視当局が、当該AIシステムが本規則に定める要件及び義務に適合していないと認めた場合には、当該市場監視当局は、遅滞なく、関係する事業者に対し、当該AIシステムを適合させるためのすべての適切な是正措置を講じること、当該AIシステムを市場から撤収すること、又はこれを回収することを、市場監視当局が定める期間内(いかなる場合であっても、15営業日又は関係する連合調和法制に定める期間のいずれか短い方以内)に行うよう要求しなければならない。 市場監視当局は、その旨を関係する届出機関に通知しなければならない。規則(EU) 2019/1020第18条は、本項第2号にいう措置に適用される。
3. Where the market surveillance authority considers that the non-compliance is not restricted to its national territory, it shall inform the Commission and the other Member States without undue delay of the results of the evaluation and of the actions which it has required the operator to take.
3. 市場監視当局が、当該不遵守がその国内領域に限定されないと考える場合には、当該市場監視当局は、遅滞なく、評価の結果及び事業者に対して要求した措置について、委員会及び他の加盟国に通知しなければならない。
4. The operator shall ensure that all appropriate corrective action is taken in respect of all the AI systems concerned that it has made available on the Union market.
4. 事業者は、連合市場において自らが提供したすべての関係するAIシステムについて、あらゆる適切な是正措置が講じられることを確保しなければならない。
5. Where the operator of an AI system does not take adequate corrective action within the period referred to in paragraph 2, the market surveillance authority shall take all appropriate provisional measures to prohibit or restrict the AI system’s being made available on its national market or put into service, to withdraw the product or the standalone AI system from that market or to recall it. That authority shall without undue delay notify the Commission and the other Member States of those measures.
5. AIシステムの事業者が第2項にいう期間内に適切な是正措置を講じない場合には、市場監視当局は、当該AIシステムがその国内市場において提供され又は運用開始されることを禁止若しくは制限し、当該製品若しくはスタンドアロンのAIシステムを当該市場から撤収し、又はこれを回収するため、あらゆる適切な暫定措置を講じなければならない。当該当局は、遅滞なく、当該措置について委員会及び他の加盟国に通知しなければならない。
6. The notification referred to in paragraph 5 shall include all available details, in particular the information necessary for the identification of the non-compliant AI system, the origin of the AI system and the supply chain, the nature of the non-compliance alleged and the risk involved, the nature and duration of the national measures taken and the arguments put forward by the relevant operator. In particular, the market surveillance authorities shall indicate whether the non-compliance is due to one or more of the following:
6. 第5項にいう通知には、特に、不遵守のAIシステムの識別に必要な情報、当該AIシステムの出所及びサプライチェーン、主張されている不遵守の性質及び関係するリスク、講じられた国内措置の性質及び期間並びに関係する事業者が提示した論拠を含む、利用可能なあらゆる詳細を含めなければならない。特に、市場監視当局は、当該不遵守が以下のいずれか一以上に起因するか否かを示さなければならない。
(a) non-compliance with the prohibition of the AI practices referred to in Article 5;
(a) 第5条にいうAI慣行の禁止への不遵守。
(b) a failure of a high-risk AI system to meet requirements set out in Chapter III, Section 2;
(b) ハイリスクAIシステムが第III章第2節に定める要件を満たしていないこと。
(c) shortcomings in the harmonised standards or common specifications referred to in Articles 40 and 41 conferring a presumption of conformity;
(c) 適合性推定を付与する第40条及び第41条にいう調和規格又は共通仕様の不備。
(d) non-compliance with Article 50.
(d) 第50条への不遵守。
7. The market surveillance authorities other than the market surveillance authority of the Member State initiating the procedure shall, without undue delay, inform the Commission and the other Member States of any measures adopted and of any additional information at their disposal relating to the non-compliance of the AI system concerned, and, in the event of disagreement with the notified national measure, of their objections.
7. 当該手続を開始した加盟国の市場監視当局以外の市場監視当局は、遅滞なく、採用した措置及び関係するAIシステムの不遵守に関して自らが有するあらゆる追加情報について委員会及び他の加盟国に通知しなければならず、通知された国内措置に異議がある場合には、その異議についても通知しなければならない。
8. Where, within three months of receipt of the notification referred to in paragraph 5 of this Article, no objection has been raised by either a market surveillance authority of a Member State or by the Commission in respect of a provisional measure taken by a market surveillance authority of another Member State, that measure shall be deemed justified. This shall be without prejudice to the procedural rights of the concerned operator in accordance with Article 18 of Regulation (EU) 2019/1020. The three-month period referred to in this paragraph shall be reduced to 30 days in the event of non-compliance with the prohibition of the AI practices referred to in Article 5 of this Regulation.
8. 本条第5項にいう通知の受領から3か月以内に、加盟国の市場監視当局又は委員会のいずれからも、他の加盟国の市場監視当局が講じた暫定措置に対する異議が提起されなかった場合には、当該措置は正当なものとみなされる。これは、規則(EU) 2019/1020第18条に従った関係事業者の手続上の権利を害するものではない。本項にいう3か月の期間は、本規則第5条にいうAI慣行の禁止への不遵守の場合には、30日に短縮される。
9. The market surveillance authorities shall ensure that appropriate restrictive measures are taken in respect of the product or the AI system concerned, such as withdrawal of the product or the AI system from their market, without undue delay.
9. 市場監視当局は、製品又は関係するAIシステムの市場からの撤収など、当該製品又は関係するAIシステムに関して適切な制限措置が遅滞なく講じられることを確保しなければならない。

Article 80: Procedure for dealing with AI systems classified by the provider as non-high-risk in application of Annex III / 附属書IIIの適用において提供者によりハイリスクでないと分類されたAIシステムに対応するための手続

1. Where a market surveillance authority has sufficient reason to consider that an AI system classified by the provider as non-high-risk pursuant to Article 6(3) is indeed high-risk, the market surveillance authority shall carry out an evaluation of the AI system concerned in respect of its classification as a high-risk AI system based on the conditions set out in Article 6(3) and the Commission guidelines.
1. 市場監視当局が、第6条第3項に従い提供者によりハイリスクでないと分類されたAIシステムが実際にはハイリスクであると考えるに足りる十分な理由を有する場合には、当該市場監視当局は、第6条第3項に定める条件及び委員会の指針に基づき、当該AIシステムのハイリスクAIシステムとしての分類に関する評価を行わなければならない。
2. Where, in the course of that evaluation, the market surveillance authority finds that the AI system concerned is high-risk, it shall without undue delay require the relevant provider to take all necessary actions to bring the AI system into compliance with the requirements and obligations laid down in this Regulation, as well as take appropriate corrective action within a period the market surveillance authority may prescribe.
2. 当該評価の過程において、市場監視当局が、関係するAIシステムがハイリスクであると認めた場合には、当該市場監視当局は、遅滞なく、関係する提供者に対し、本規則に定める要件及び義務に当該AIシステムを適合させるために必要なすべての措置を講じること、並びに市場監視当局が定める期間内に適切な是正措置を講じることを要求しなければならない。
3. Where the market surveillance authority considers that the use of the AI system concerned is not restricted to its national territory, it shall inform the Commission and the other Member States without undue delay of the results of the evaluation and of the actions which it has required the provider to take.
3. 市場監視当局が、関係するAIシステムの使用がその国内領域に限定されないと考える場合には、当該市場監視当局は、遅滞なく、評価の結果及び提供者に対して要求した措置について、委員会及び他の加盟国に通知しなければならない。
4. The provider shall ensure that all necessary action is taken to bring the AI system into compliance with the requirements and obligations laid down in this Regulation. Where the provider of an AI system concerned does not bring the AI system into compliance with those requirements and obligations within the period referred to in paragraph 2 of this Article, the provider shall be subject to fines in accordance with Article 99.
4. 提供者は、本規則に定める要件及び義務に当該AIシステムを適合させるために必要なすべての措置が講じられることを確保しなければならない。関係するAIシステムの提供者が、本条第2項にいう期間内に当該要件及び義務に当該AIシステムを適合させない場合には、当該提供者は、第99条に従い課徴金の対象となる。
5. The provider shall ensure that all appropriate corrective action is taken in respect of all the AI systems concerned that it has made available on the Union market.
5. 提供者は、連合市場において自らが提供したすべての関係するAIシステムについて、あらゆる適切な是正措置が講じられることを確保しなければならない。
6. Where the provider of the AI system concerned does not take adequate corrective action within the period referred to in paragraph 2 of this Article, Article 79(5) to (9) shall apply.
6. 関係するAIシステムの提供者が本条第2項にいう期間内に適切な是正措置を講じない場合には、第79条第5項から第9項までが適用される。
7. Where, in the course of the evaluation pursuant to paragraph 1 of this Article, the market surveillance authority establishes that the AI system was misclassified by the provider as non-high-risk in order to circumvent the application of requirements in Chapter III, Section 2, the provider shall be subject to fines in accordance with Article 99.
7. 本条第1項に従った評価の過程において、市場監視当局が、第III章第2節に定める要件の適用を回避するために提供者が当該AIシステムをハイリスクでないと誤って分類したことを確認した場合には、当該提供者は、第99条に従い課徴金の対象となる。
8. In exercising their power to monitor the application of this Article, and in accordance with Article 11 of Regulation (EU) 2019/1020, market surveillance authorities may perform appropriate checks, taking into account in particular information stored in the EU database referred to in Article 71 of this Regulation.
8. 本条の適用を監視する権限を行使するにあたり、市場監視当局は、規則(EU) 2019/1020第11条に従い、特に本規則第71条にいうEUデータベースに保存された情報を考慮して、適切な検査を行うことができる。

Article 81: Union safeguard procedure / 連合セーフガード手続

1. Where, within three months of receipt of the notification referred to in Article 79(5), or within 30 days in the case of non-compliance with the prohibition of the AI practices referred to in Article 5, objections are raised by the market surveillance authority of a Member State to a measure taken by another market surveillance authority, or where the Commission considers the measure to be contrary to Union law, the Commission shall without undue delay enter into consultation with the market surveillance authority of the relevant Member State and the operator or operators, and shall evaluate the national measure. On the basis of the results of that evaluation, the Commission shall, within six months, or within 60 days in the case of non-compliance with the prohibition of the AI practices referred to in Article 5, starting from the notification referred to in Article 79(5), decide whether the national measure is justified and shall notify its decision to the market surveillance authority of the Member State concerned. The Commission shall also inform all other market surveillance authorities of its decision.
1. 第79条第5項に規定する通知の受領から3か月以内(第5条に規定するAI慣行の禁止に対する違反の場合は30日以内)に、ある加盟国の市場監視当局が他の市場監視当局によって講じられた措置に異議を申し立てた場合、又は欧州委員会が当該措置が連合法に反すると認める場合、欧州委員会は、不当な遅滞なく、関係加盟国の市場監視当局及び当該事業者と協議を行い、当該国内措置を評価しなければならない。当該評価の結果に基づき、欧州委員会は、第79条第5項に規定する通知の日から6か月以内(第5条に規定するAI慣行の禁止に対する違反の場合は60日以内)に、当該国内措置が正当であるか否かを決定し、その決定を関係加盟国の市場監視当局に通知しなければならない。欧州委員会は、その決定について他のすべての市場監視当局にも通知するものとする。
2. Where the Commission considers the measure taken by the relevant Member State to be justified, all Member States shall ensure that they take appropriate restrictive measures in respect of the AI system concerned, such as requiring the withdrawal of the AI system from their market without undue delay, and shall inform the Commission accordingly. Where the Commission considers the national measure to be unjustified, the Member State concerned shall withdraw the measure and shall inform the Commission accordingly.
2. 欧州委員会が、関係加盟国によって講じられた措置を正当と認める場合、すべての加盟国は、当該AIシステムを自国市場から不当な遅滞なく撤去するよう求めることその他、当該AIシステムに関して適切な制限措置を講じることを確保し、かつ、その旨を欧州委員会に通知しなければならない。欧州委員会が当該国内措置を不当と認める場合、関係加盟国は当該措置を撤回し、その旨を欧州委員会に通知しなければならない。
3. Where the national measure is considered justified and the non-compliance of the AI system is attributed to shortcomings in the harmonised standards or common specifications referred to in Articles 40 and 41 of this Regulation, the Commission shall apply the procedure provided for in Article 11 of Regulation (EU) No 1025/2012.
3. 国内措置が正当と認められ、かつ、AIシステムの不適合が本規則第40条及び第41条に規定する整合規格又は共通仕様の欠陥に起因する場合、欧州委員会は、規則(EU)No 1025/2012第11条に定める手続を適用するものとする。

Article 82: Compliant AI systems which present a risk / 本規則に適合するがリスクを有するAIシステム

1. Where, having performed an evaluation under Article 79, after consulting the relevant national public authority referred to in Article 77(1), the market surveillance authority of a Member State finds that although a high-risk AI system complies with this Regulation, it nevertheless presents a risk to the health or safety of persons, to fundamental rights, or to other aspects of public interest protection, it shall require the relevant operator to take all appropriate measures to ensure that the AI system concerned, when placed on the market or put into service, no longer presents that risk without undue delay, within a period it may prescribe.
1. 加盟国の市場監視当局が、第79条に基づく評価を行い、第77条第1項に規定する関係国内公的機関との協議の後、ハイリスクAIシステムが本規則に適合しているにもかかわらず、人の健康若しくは安全、基本的権利又はその他の公共の利益の保護の側面に対してリスクをもたらすと認めた場合、当該市場監視当局は、関係事業者に対し、当該AIシステムが市場に上市され又はサービスに供される際に当該リスクをもはやもたらさないことを確保するため、自らが定める期間内に、不当な遅滞なくすべての適切な措置を講じるよう求めなければならない。
2. The provider or other relevant operator shall ensure that corrective action is taken in respect of all the AI systems concerned that it has made available on the Union market within the timeline prescribed by the market surveillance authority of the Member State referred to in paragraph 1.
2. 提供者又はその他の関係事業者は、第1項に規定する加盟国の市場監視当局が定める期限内に、自らが連合市場において利用可能とした関係するすべてのAIシステムについて是正措置が講じられることを確保しなければならない。
3. The Member States shall immediately inform the Commission and the other Member States of a finding under paragraph 1. That information shall include all available details, in particular the data necessary for the identification of the AI system concerned, the origin and the supply chain of the AI system, the nature of the risk involved and the nature and duration of the national measures taken.
3. 加盟国は、第1項に基づく認定について、直ちに欧州委員会及び他の加盟国に通知しなければならない。当該情報には、特に当該AIシステムの識別に必要なデータ、当該AIシステムの出所及び供給網、関係するリスクの性質、並びに講じられた国内措置の性質及び期間を含め、入手可能なすべての詳細を含めるものとする。
4. The Commission shall without undue delay enter into consultation with the Member States concerned and the relevant operators, and shall evaluate the national measures taken. On the basis of the results of that evaluation, the Commission shall decide whether the measure is justified and, where necessary, propose other appropriate measures.
4. 欧州委員会は、不当な遅滞なく、関係加盟国及び関係事業者と協議を行い、講じられた国内措置を評価しなければならない。当該評価の結果に基づき、欧州委員会は、当該措置が正当であるか否かを決定し、必要な場合には他の適切な措置を提案するものとする。
5. The Commission shall immediately communicate its decision to the Member States concerned and to the relevant operators. It shall also inform the other Member States.
5. 欧州委員会は、その決定を直ちに関係加盟国及び関係事業者に伝達しなければならない。欧州委員会は、他の加盟国にもその旨を通知するものとする。

Article 83: Formal non-compliance / 形式的不適合

1. Where the market surveillance authority of a Member State makes one of the following findings, it shall require the relevant provider to put an end to the non-compliance concerned, within a period it may prescribe:
1. 加盟国の市場監視当局が次の各号のいずれかの事実を認めた場合、当該市場監視当局は、関係する提供者に対し、自らが定める期間内に当該不適合を是正するよう求めなければならない。
(a) the CE marking has been affixed in violation of Article 48;
(a) CEマーキングが第48条に違反して付されていること。
(b) the CE marking has not been affixed;
(b) CEマーキングが付されていないこと。
(c) the EU declaration of conformity referred to in Article 47 has not been drawn up;
(c) 第47条に規定するEU適合宣言書が作成されていないこと。
(d) the EU declaration of conformity referred to in Article 47 has not been drawn up correctly;
(d) 第47条に規定するEU適合宣言書が正しく作成されていないこと。
(e) the registration in the EU database referred to in Article 71 has not been carried out;
(e) 第71条に規定するEUデータベースへの登録が行われていないこと。
(f) where applicable, no authorised representative has been appointed;
(f) 該当する場合において、授権代理人が選任されていないこと。
(g) technical documentation is not available.
(g) 技術文書が利用可能でないこと。
2. Where the non-compliance referred to in paragraph 1 persists, the market surveillance authority of the Member State concerned shall take appropriate and proportionate measures to restrict or prohibit the high-risk AI system being made available on the market or to ensure that it is recalled or withdrawn from the market without delay.
2. 第1項に規定する不適合が是正されない場合、関係加盟国の市場監視当局は、当該ハイリスクAIシステムが市場において利用可能とされることを制限し若しくは禁止するため、又は当該AIシステムが遅滞なく回収され若しくは市場から撤去されることを確保するため、適切かつ比例的な措置を講じなければならない。

Article 84: Union AI testing support structures / 連合AI試験支援組織

1. The Commission shall designate one or more Union AI testing support structures to perform the tasks listed under Article 21(6) of Regulation (EU) 2019/1020 in the area of AI.
1. 欧州委員会は、AIの分野において規則(EU)2019/1020第21条第6項に列挙する任務を遂行するため、1又は複数の連合AI試験支援組織を指定しなければならない。
2. Without prejudice to the tasks referred to in paragraph 1, Union AI testing support structures shall also provide independent technical or scientific advice at the request of the Board, the Commission, or of market surveillance authorities.
2. 第1項に規定する任務を妨げることなく、連合AI試験支援組織は、理事会、欧州委員会又は市場監視当局の要請に応じて、独立した技術的又は科学的助言を提供するものとする。

Section 4: Remedies / 救済

Article 85: Right to lodge a complaint with a market surveillance authority / 市場監視当局への苦情申立権

Without prejudice to other administrative or judicial remedies, any natural or legal person having grounds to consider that there has been an infringement of the provisions of this Regulation may submit complaints to the relevant market surveillance authority. In accordance with Regulation (EU) 2019/1020, such complaints shall be taken into account for the purpose of conducting market surveillance activities, and shall be handled in line with the dedicated procedures established therefor by the market surveillance authorities.
他の行政上又は司法上の救済措置を妨げることなく、本規則の規定に対する侵害があったと考える理由を有する自然人又は法人は、関係する市場監視当局に対し苦情を申し立てることができる。 規則(EU)2019/1020に従い、当該苦情は、市場監視活動を実施する目的で考慮されなければならず、また、市場監視当局がそのために定めた専用の手続に従って処理されるものとする。

Article 86: Right to explanation of individual decision-making / 個別の意思決定に関する説明を受ける権利

1. Any affected person subject to a decision which is taken by the deployer on the basis of the output from a high-risk AI system listed in Annex III, with the exception of systems listed under point 2 thereof, and which produces legal effects or similarly significantly affects that person in a way that they consider to have an adverse impact on their health, safety or fundamental rights shall have the right to obtain from the deployer clear and meaningful explanations of the role of the AI system in the decision-making procedure and the main elements of the decision taken.
1. 附属書III(その2に掲げるシステムを除く。)に列挙するハイリスクAIシステムの出力に基づき展開者が行う決定であって、法的効果を生じさせ又はこれと同様に自己に重大な影響を及ぼし、かつ、自己の健康、安全若しくは基本的権利に不利な影響を及ぼすと考える態様でこれを受ける対象者は、展開者に対し、当該意思決定手続における当該AIシステムの役割及び行われた決定の主要な要素について明確かつ有意義な説明を求める権利を有する。
2. Paragraph 1 shall not apply to the use of AI systems for which exceptions from, or restrictions to, the obligation under that paragraph follow from Union or national law in compliance with Union law.
2. 第1項は、連合法に適合する連合法又は国内法により同項に基づく義務の適用除外又は制限が生ずるAIシステムの利用については、適用しない。
3. This Article shall apply only to the extent that the right referred to in paragraph 1 is not otherwise provided for under Union law.
3. 本条は、第1項に規定する権利が連合法において別途定められていない範囲においてのみ適用する。

Article 87: Reporting of infringements and protection of reporting persons / 違反の通報及び通報者の保護

Directive (EU) 2019/1937 shall apply to the reporting of infringements of this Regulation and the protection of persons reporting such infringements.
指令(EU)2019/1937は、本規則の違反の報告及び当該違反を報告する者の保護について適用する。

Section 5: Supervision, investigation, enforcement and monitoring in respect of providers of general-purpose AI models / 汎用目的AIモデルの提供者に関する監督、調査、執行及びモニタリング

Article 88: Enforcement of the obligations of providers of general-purpose AI models / 汎用目的AIモデルの提供者の義務の執行

1. The Commission shall have exclusive powers to supervise and enforce Chapter V, taking into account the procedural guarantees under Article 94. The Commission shall entrust the implementation of these tasks to the AI Office, without prejudice to the powers of organisation of the Commission and the division of competences between Member States and the Union based on the Treaties.
1. 欧州委員会は、第94条に定める手続上の保証を考慮しつつ、第V章を監督し及び執行する専属的権限を有するものとする。欧州委員会は、欧州委員会の組織権限並びに条約に基づく加盟国と連合との間の権限分配を妨げることなく、これらの任務の実施をAI局に委ねなければならない。
2. Without prejudice to Article 75(3), market surveillance authorities may request the Commission to exercise the powers laid down in this Section, where that is necessary and proportionate to assist with the fulfilment of their tasks under this Regulation.
2. 第75条第3項を妨げることなく、市場監視当局は、本規則に基づく自らの任務の遂行を支援するために必要かつ比例的である場合には、欧州委員会に対し、本節に定める権限を行使するよう要請することができる。

Article 89: Monitoring actions / 監視措置

1. For the purpose of carrying out the tasks assigned to it under this Section, the AI Office may take the necessary actions to monitor the effective implementation and compliance with this Regulation by providers of general-purpose AI models, including their adherence to approved codes of practice.
1. 本節に基づき自らに割り当てられた任務を遂行する目的のため、AI室は、汎用AIモデルの提供者による本規則の実効的な実施及び遵守状況(承認された実務規範の遵守を含む。)を監視するために必要な措置を講じることができる。
2. Downstream providers shall have the right to lodge a complaint alleging an infringement of this Regulation. A complaint shall be duly reasoned and indicate at least:
2. 川下の提供者は、本規則の違反を主張する苦情を申し立てる権利を有するものとする。苦情には正当な理由が付されなければならず、少なくとも次の事項を示さなければならない。
(a) the point of contact of the provider of the general-purpose AI model concerned;
(a) 当該汎用AIモデルの提供者の連絡先
(b) a description of the relevant facts, the provisions of this Regulation concerned, and the reason why the downstream provider considers that the provider of the general-purpose AI model concerned infringed this Regulation;
(b) 関連する事実、関係する本規則の規定、及び川下の提供者が当該汎用AIモデルの提供者が本規則に違反したと考える理由の記述
(c) any other information that the downstream provider that sent the request considers relevant, including, where appropriate, information gathered on its own initiative.
(c) 川下の提供者が関連性を有すると考えるその他の情報(適切な場合には、自らの発意により収集した情報を含む。)

Article 90: Alerts of systemic risks by the scientific panel / 科学パネルによるシステミックリスクの警告

1. The scientific panel may provide a qualified alert to the AI Office where it has reason to suspect that:
1. 科学パネルは、次のいずれかを疑う理由がある場合には、AI室に対し適格な警告を発することができる。
(a) a general-purpose AI model poses concrete identifiable risk at Union level; or
(a) 汎用AIモデルが連合レベルで具体的かつ特定可能なリスクをもたらすこと。
(b) a general-purpose AI model meets the conditions referred to in Article 51.
(b) 汎用AIモデルが第51条に定める条件を満たすこと。
2. Upon such qualified alert, the Commission, through the AI Office and after having informed the Board, may exercise the powers laid down in this Section for the purpose of assessing the matter. The AI Office shall inform the Board of any measure according to Articles 91 to 94.
2. 委員会は、当該適格な警告を受けた場合、AI室を通じ、かつ理事会に通知した後、当該事項を評価する目的のため、本節に定める権限を行使することができる。AI室は、第91条から第94条までに従って講じられる措置について理事会に通知しなければならない。
3. A qualified alert shall be duly reasoned and indicate at least:
3. 適格な警告には正当な理由が付されなければならず、少なくとも次の事項を示さなければならない。
(a) the point of contact of the provider of the general-purpose AI model with systemic risk concerned;
(a) 当該システミックリスクを有する汎用AIモデルの提供者の連絡先
(b) a description of the relevant facts and the reasons for the alert by the scientific panel;
(b) 関連する事実及び科学パネルが当該警告を発する理由の記述
(c) any other information that the scientific panel considers to be relevant, including, where appropriate, information gathered on its own initiative.
(c) 科学パネルが関連性を有すると考えるその他の情報(適切な場合には、自らの発意により収集した情報を含む。)

Article 91: Power to request documentation and information / 文書及び情報の提供を要求する権限

1. The Commission may request the provider of the general-purpose AI model concerned to provide the documentation drawn up by the provider in accordance with Articles 53 and 55, or any additional information that is necessary for the purpose of assessing compliance of the provider with this Regulation.
1. 委員会は、当該汎用AIモデルの提供者に対し、当該提供者が第53条及び第55条に従って作成した文書、又は当該提供者の本規則の遵守状況を評価する目的のために必要なその他の追加情報の提供を要求することができる。
2. Before sending the request for information, the AI Office may initiate a structured dialogue with the provider of the general-purpose AI model.
2. 情報提供の要求を送付する前に、AI室は当該汎用AIモデルの提供者との間で構造化された対話を開始することができる。
3. Upon a duly substantiated request from the scientific panel, the Commission may issue a request for information to a provider of a general-purpose AI model, where the access to information is necessary and proportionate for the fulfilment of the tasks of the scientific panel under Article 68(2).
3. 委員会は、科学パネルからの正当な理由が付された要請に基づき、第68条第2項に基づく科学パネルの任務の遂行のために情報へのアクセスが必要かつ比例的である場合には、汎用AIモデルの提供者に対し情報提供の要求を発することができる。
4. The request for information shall state the legal basis and the purpose of the request, specify what information is required, set a period within which the information is to be provided, and indicate the fines provided for in Article 101 for supplying incorrect, incomplete or misleading information.
4. 情報提供の要求には、法的根拠及び要求の目的を記載し、必要とされる情報を明示し、情報を提供すべき期間を定め、かつ、不正確、不完全又は誤解を招く情報を提供した場合に第101条に定める過料が科されることを示さなければならない。
5. The provider of the general-purpose AI model concerned, or its representative shall supply the information requested. In the case of legal persons, companies or firms, or where the provider has no legal personality, the persons authorised to represent them by law or by their statutes, shall supply the information requested on behalf of the provider of the general-purpose AI model concerned. Lawyers duly authorised to act may supply information on behalf of their clients. The clients shall nevertheless remain fully responsible if the information supplied is incomplete, incorrect or misleading.
5. 当該汎用AIモデルの提供者又はその代理人は、要求された情報を提供しなければならない。法人、会社若しくは事業体の場合、又は提供者が法人格を有しない場合には、法令若しくは定款によりこれらを代表する権限を有する者が、当該汎用AIモデルの提供者に代わって要求された情報を提供しなければならない。正当に授権された弁護士は、その依頼者に代わって情報を提供することができる。ただし、提供された情報が不完全、不正確又は誤解を招くものである場合には、依頼者が引き続き全面的な責任を負うものとする。

Article 92: Power to conduct evaluations / 評価を実施する権限

1. The AI Office, after consulting the Board, may conduct evaluations of the general-purpose AI model concerned:
1. AI室は、理事会との協議の後、次の目的のため、当該汎用AIモデルについて評価を実施することができる。
(a) to assess compliance of the provider with obligations under this Regulation, where the information gathered pursuant to Article 91 is insufficient; or
(a) 第91条に従って収集された情報が不十分である場合において、提供者の本規則に基づく義務の遵守状況を評価すること。
(b) to investigate systemic risks at Union level of general-purpose AI models with systemic risk, in particular following a qualified alert from the scientific panel in accordance with Article 90(1), point (a).
(b) 特に第90条第1項(a)に従い科学パネルから適格な警告があった場合において、システミックリスクを有する汎用AIモデルの連合レベルにおけるシステミックリスクを調査すること。
2. The Commission may decide to appoint independent experts to carry out evaluations on its behalf, including from the scientific panel established pursuant to Article 68. Independent experts appointed for this task shall meet the criteria outlined in Article 68(2).
2. 委員会は、第68条に基づき設置された科学パネルの構成員を含め、独立専門家を任命し、自らに代わって評価を実施させることを決定することができる。この任務のために任命される独立専門家は、第68条第2項に定める基準を満たさなければならない。
3. For the purposes of paragraph 1, the Commission may request access to the general-purpose AI model concerned through APIs or further appropriate technical means and tools, including source code.
3. 第1項の目的のため、委員会は、API又はソースコードを含むその他の適切な技術的手段及びツールを通じて、当該汎用AIモデルへのアクセスを要求することができる。
4. The request for access shall state the legal basis, the purpose and reasons of the request and set the period within which the access is to be provided, and the fines provided for in Article 101 for failure to provide access.
4. アクセスの要求には、法的根拠、要求の目的及び理由を記載し、アクセスを提供すべき期間を定め、かつ、アクセスの提供を怠った場合に第101条に定める過料が科されることを示さなければならない。
5. The providers of the general-purpose AI model concerned or its representative shall supply the information requested. In the case of legal persons, companies or firms, or where the provider has no legal personality, the persons authorised to represent them by law or by their statutes, shall provide the access requested on behalf of the provider of the general-purpose AI model concerned.
5. 当該汎用AIモデルの提供者又はその代理人は、要求された情報を提供しなければならない。法人、会社若しくは事業体の場合、又は提供者が法人格を有しない場合には、法令若しくは定款によりこれらを代表する権限を有する者が、当該汎用AIモデルの提供者に代わって要求されたアクセスを提供しなければならない。
6. The Commission shall adopt implementing acts setting out the detailed arrangements and the conditions for the evaluations, including the detailed arrangements for involving independent experts, and the procedure for the selection thereof. Those implementing acts shall be adopted in accordance with the examination procedure referred to in Article 98(2).
6. 委員会は、独立専門家の関与に関する詳細な取決め及びその選定手続を含め、評価に関する詳細な取決め及び条件を定める実施法を採択しなければならない。当該実施法は、第98条第2項に定める審査手続に従って採択されるものとする。
7. Prior to requesting access to the general-purpose AI model concerned, the AI Office may initiate a structured dialogue with the provider of the general-purpose AI model to gather more information on the internal testing of the model, internal safeguards for preventing systemic risks, and other internal procedures and measures the provider has taken to mitigate such risks.
7. AI室は、当該汎用AIモデルへのアクセスを要求する前に、当該モデルの内部試験、システミックリスクを防止するための内部保護措置、及び提供者がそのようなリスクを軽減するために講じたその他の内部の手続及び措置に関する追加情報を収集するため、当該汎用AIモデルの提供者との間で構造化された対話を開始することができる。

Article 93: Power to request measures / 措置を要求する権限

1. Where necessary and appropriate, the Commission may request providers to:
1. 必要かつ適切な場合には、委員会は、提供者に対し、次の事項を要求することができる。
(a) take appropriate measures to comply with the obligations set out in Articles 53 and 54;
(a) 第53条及び第54条に定める義務を遵守するために適切な措置を講じること。
(b) implement mitigation measures, where the evaluation carried out in accordance with Article 92 has given rise to serious and substantiated concern of a systemic risk at Union level;
(b) 第92条に従って実施された評価により、連合レベルにおけるシステミックリスクについて重大かつ実証された懸念が生じた場合には、軽減措置を実施すること。
(c) restrict the making available on the market, withdraw or recall the model.
(c) 当該モデルの市場への提供を制限し、これを撤回し、又は回収すること。
2. Before a measure is requested, the AI Office may initiate a structured dialogue with the provider of the general-purpose AI model.
2. 措置が要求される前に、AI室は当該汎用AIモデルの提供者との間で構造化された対話を開始することができる。
3. If, during the structured dialogue referred to in paragraph 2, the provider of the general-purpose AI model with systemic risk offers commitments to implement mitigation measures to address a systemic risk at Union level, the Commission may, by decision, make those commitments binding and declare that there are no further grounds for action.
3. 第2項に定める構造化された対話の過程において、システミックリスクを有する汎用AIモデルの提供者が、連合レベルにおけるシステミックリスクに対処するための軽減措置を実施する旨の約束を申し出た場合には、委員会は、決定により、当該約束を拘束力のあるものとし、かつ、それ以上の措置を講ずる根拠がない旨を宣言することができる。

Article 94: Procedural rights of economic operators of the general-purpose AI model / 汎用AIモデルの経済事業者の手続上の権利

Article 18 of Regulation (EU) 2019/1020 shall apply mutatis mutandis to the providers of the general-purpose AI model, without prejudice to more specific procedural rights provided for in this Regulation.
規則(EU)2019/1020第18条は、本規則に定めるより具体的な手続上の権利を損なうことなく、汎用目的AIモデルの提供者について準用する。

11 Chapter X: Codes Of Conduct And Guidelines

Article 95: Codes of conduct for voluntary application of specific requirements / 特定の要件の自主的な適用のための行動規範

1. The AI Office and the Member States shall encourage and facilitate the drawing up of codes of conduct, including related governance mechanisms, intended to foster the voluntary application to AI systems, other than high-risk AI systems, of some or all of the requirements set out in Chapter III, Section 2 taking into account the available technical solutions and industry best practices allowing for the application of such requirements.
1. AI室及び加盟国は、利用可能な技術的解決策及び業界のベストプラクティスを考慮に入れつつ、高リスクAIシステム以外のAIシステムに対し、第III章第2節に定める要件の一部又は全部の自主的な適用を促進することを目的とする、関連するガバナンスの仕組みを含む行動規範の作成を奨励し、かつ、これを促進しなければならない。
2. The AI Office and the Member States shall facilitate the drawing up of codes of conduct concerning the voluntary application, including by deployers, of specific requirements to all AI systems, on the basis of clear objectives and key performance indicators to measure the achievement of those objectives, including elements such as, but not limited to:
2. AI室及び加盟国は、以下のような要素を含むがこれらに限られない、明確な目的及びその達成を測定するための主要業績評価指標に基づき、すべてのAIシステムに対する特定の要件の(デプロイヤーによるものを含む)自主的な適用に関する行動規範の作成を促進しなければならない。
(a) applicable elements provided for in Union ethical guidelines for trustworthy AI;
(a) 信頼できるAIに関する連合の倫理ガイドラインに定める適用可能な要素
(b) assessing and minimising the impact of AI systems on environmental sustainability, including as regards energy-efficient programming and techniques for the efficient design, training and use of AI;
(b) エネルギー効率の高いプログラミング並びにAIの効率的な設計、訓練及び使用のための技術を含め、AIシステムが環境の持続可能性に与える影響の評価及び最小化
(c) promoting AI literacy, in particular that of persons dealing with the development, operation and use of AI;
(c) 特にAIの開発、運用及び利用に携わる者のAIリテラシーの促進
(d) facilitating an inclusive and diverse design of AI systems, including through the establishment of inclusive and diverse development teams and the promotion of stakeholders’ participation in that process;
(d) 包摂的かつ多様な開発チームの設置及び当該過程への利害関係者の参加の促進を含め、AIシステムの包摂的かつ多様な設計の促進
(e) assessing and preventing the negative impact of AI systems on vulnerable persons or groups of vulnerable persons, including as regards accessibility for persons with a disability, as well as on gender equality.
(e) 障害を有する者に係るアクセシビリティ及び男女平等に関する事項を含め、AIシステムが脆弱な人又は脆弱な人々の集団に与える負の影響の評価及び防止
3. Codes of conduct may be drawn up by individual providers or deployers of AI systems or by organisations representing them or by both, including with the involvement of any interested stakeholders and their representative organisations, including civil society organisations and academia. Codes of conduct may cover one or more AI systems taking into account the similarity of the intended purpose of the relevant systems.
3. 行動規範は、市民社会組織及び学術界を含む利害関係者及びその代表組織の関与を得ることを含め、AIシステムの個々の提供者若しくはデプロイヤー、又はこれらを代表する組織、若しくはその双方によって作成することができる。行動規範は、対象となるシステムの意図された目的の類似性を考慮に入れ、一又は複数のAIシステムを対象とすることができる。
2026年改正4. The AI Office and the Member States shall take into account the specific interests and needs of SMEs, including start-ups, and SMCs, when encouraging and facilitating the drawing up of codes of conduct.
4. AI室及び加盟国は、行動規範の作成を奨励し及び促進するに当たり、中小企業(新興企業を含む)及び中小規模中堅企業(SMC)の特有の利益及びニーズを考慮するものとする。

Article 96: Guidelines from the Commission on the implementation of this Regulation / 本規則の実施に関する委員会のガイドライン

1. The Commission shall develop guidelines on the practical implementation of this Regulation, and in particular on:
1. 委員会は、本規則の実務上の実施に関するガイドライン、特に次の事項に関するガイドラインを策定しなければならない。
2026年改正(a) the application of the requirements and obligations referred to in Articles 8 to 15 and in Articles 25 and 26;
(a) 第8条から第15条まで並びに第25条及び第26条に規定する要件及び義務の適用
(b) the prohibited practices referred to in Article 5;
(b) 第5条に定める禁止行為
(c) the practical implementation of the provisions related to substantial modification;
(c) 実質的な改変に関連する規定の実務上の実施
(d) the practical implementation of transparency obligations laid down in Article 50;
(d) 第50条に定める透明性義務の実務上の実施
(e) detailed information on the relationship of this Regulation with the Union harmonisation legislation listed in Annex I, as well as with other relevant Union law, including as regards consistency in their enforcement;
(e) 附属書Iに列挙する連合の調和法制、並びにその執行の一貫性に関する事項を含むその他の関連する連合法との本規則の関係に関する詳細な情報
(f) the application of the definition of an AI system as set out in Article 3, point (1);
(f) 第3条第1号に定めるAIシステムの定義の適用
2026年改正(g) the practical implementation of Article 8(2), Article 9(10) and Article 17(3) in accordance with the principle of complementarity and proportionality, with a view to ensuring consistency, avoiding duplication and minimising additional burdens when complying with the requirements of this Regulation and the requirements of the Union harmonisation legislation listed in Section A of Annex I; such guidelines shall be published by 1 August 2027. When issuing such guidelines, the Commission shall involve the Board and pay particular attention to the needs of SMEs, including start-ups, and SMCs, of local public authorities and of the sectors most likely to be affected by this Regulation.
(g) 補完性及び比例性の原則に従い、本規則の要件及び附属書I第A節に列挙された連合調和法制の要件の遵守における一貫性を確保し、重複を回避し、追加的負担を最小化する観点からの、第8条第2項、第9条第10項及び第17条第3項の実務上の実施。当該ガイドラインは、2027年8月1日までに公表されるものとする。 当該ガイドラインの発出に当たり、欧州委員会は理事会を関与させ、かつ、中小企業(新興企業を含む)及び中小規模中堅企業(SMC)、地方公的機関並びに本規則の影響を最も受けるおそれのある分野のニーズに特に配慮するものとする。
The guidelines referred to in the first subparagraph of this paragraph shall take due account of the generally acknowledged state of the art on AI, as well as of relevant harmonised standards and common specifications that are referred to in Articles 40 and 41, or of those harmonised standards or technical specifications that are set out pursuant to Union harmonisation law.
本項第1号に規定するガイドラインは、AIに関する一般に認められた最新技術水準、並びに第40条及び第41条に規定する関連する調和規格及び共通仕様、又は連合調和法に基づき定められた調和規格若しくは技術仕様を、十分に考慮するものとする。
2. At the request of the Member States or the AI Office, or on its own initiative, the Commission shall update guidelines previously adopted when deemed necessary.
2. 欧州委員会は、加盟国若しくはAI室の要請により、又は自らの発意により、必要と認めるときは、従前に採択したガイドラインを更新するものとする。

12 Chapter XI: Delegation Of Power And Committee Procedure

Article 97: Exercise of the delegation / 委任の行使

1. The power to adopt delegated acts is conferred on the Commission subject to the conditions laid down in this Article.
1. 委任された行為を採択する権限は、本条に定める条件に従い、委員会に付与される。
2026年改正2. The power to adopt delegated acts referred to in Article 6(6) and (7), Article 7(1) and (3), Article 11(3), Article 43(5) and (6), Article 47(5), Article 51(3), Article 52(4) and Article 53(5) and (6) shall be conferred on the Commission for a period of five years from 1 August 2024. The power to adopt delegated acts referred to in Article 2(13) and Article 30(2) shall be conferred on the Commission for a period of five years from 27 July 2026. The Commission shall draw up a report in respect of the delegation of power not later than nine months before the end of the five-year period. The delegation of power shall be tacitly extended for periods of an identical duration, unless the European Parliament or the Council opposes such extension no later than three months before the end of each period.
2. 第6条第6項及び第7項、第7条第1項及び第3項、第11条第3項、第43条第5項及び第6項、第47条第5項、第51条第3項、第52条第4項並びに第53条第5項及び第6項に規定する委任行為を採択する権限は、2024年8月1日から5年間、欧州委員会に付与される。第2条第13号及び第30条第2項に規定する委任行為を採択する権限は、2026年7月27日から5年間、欧州委員会に付与される。欧州委員会は、当該5年間の期間の終了の遅くとも9箇月前までに、権限の委任に関する報告書を作成するものとする。欧州議会又は理事会が各期間の終了の遅くとも3箇月前までに当該延長に異議を唱えない限り、権限の委任は同一の期間について黙示的に延長されるものとする。
3. The delegation of power referred to in Article 2(13), Article 6(6) and (7), Article 7(1) and (3), Article 11(3), Article 30(2), Article 43(5) and (6), Article 47(5), Article 51(3), Article 52(4) and Article 53(5) and
3. 第2条第13号、第6条第6項及び第7項、第7条第1項及び第3項、第11条第3項、第30条第2項、第43条第5項及び第6項、第47条第5項、第51条第3項、第52条第4項並びに第53条第5項及び
(6) may be revoked at any time by the European Parliament or by the Council. A decision of revocation shall put an end to the delegation of power specified in that decision. It shall take effect the day following that of its publication in the Official Journal of the European Union or at a later date specified therein. It shall not affect the validity of any delegated acts already in force.
(6)に規定する権限の委任は、欧州議会又は理事会がいつでも取り消すことができる。取消しの決定は、当該決定に明記された権限の委任を終了させるものとする。当該決定は、欧州連合官報における公表の日の翌日、又は当該決定に明記されたより遅い日に効力を生じるものとする。当該決定は、既に効力を生じている委任行為の有効性に影響を及ぼさない。
4. Before adopting a delegated act, the Commission shall consult experts designated by each Member State in accordance with the principles laid down in the Interinstitutional Agreement of 13 April 2016 on Better Law-Making.
4. 委任された行為を採択する前に、委員会は、2016年4月13日付けの「より良い立法に関する機関間協定」に定める原則に従い、各加盟国が指定する専門家と協議しなければならない。
5. As soon as it adopts a delegated act, the Commission shall notify it simultaneously to the European Parliament and to the Council.
5. 委任された行為を採択した場合、委員会は、これを欧州議会及び理事会に同時に通知しなければならない。
2026年改正6. Any delegated act adopted pursuant to Article 2(13), Article 6(6) or (7), Article 7(1) or (3), Article 11(3), Article 30(2), Article 43(5) or (6), Article 47(5), Article 51(3), Article 52(4) or Article 53(5) or (6) shall enter into force only if no objection has been expressed by either the European Parliament or the Council within a period of three months of notification of that act to the European Parliament and the Council or if, before the expiry of that period, the European Parliament and the Council have both informed the Commission that they will not object. That period shall be extended by three months at the initiative of the European Parliament or of the Council.
6. 第2条第13号、第6条第6項若しくは第7項、第7条第1項若しくは第3項、第11条第3項、第30条第2項、第43条第5項若しくは第6項、第47条第5項、第51条第3項、第52条第4項又は第53条第5項若しくは第6項に基づき採択された委任行為は、当該行為が欧州議会及び理事会に通知されてから3箇月以内に欧州議会又は理事会のいずれからも異議が示されなかった場合、又は当該期間の満了前に、欧州議会及び理事会の双方が欧州委員会に対し異議を唱えない旨を通知した場合に限り、効力を生じるものとする。当該期間は、欧州議会又は理事会の発意により3箇月延長されるものとする。

Article 98: Committee procedure / 委員会手続

1. The Commission shall be assisted by a committee. That committee shall be a committee within the meaning of Regulation (EU) No 182/2011.
1. 欧州委員会は、一の委員会の補佐を受けるものとする。当該委員会は、規則(EU)No 182/2011にいう意味における委員会とする。
2. Where reference is made to this paragraph, Article 5 of Regulation (EU) No 182/2011 shall apply.
2. 本項について言及がある場合、規則(EU)No 182/2011第5条を適用する。

13 Chapter XII: Penalties

Article 99: Penalties / 罰則

2026年改正1. In accordance with the terms and conditions laid down in this Regulation, Member States shall lay down the rules on penalties and other enforcement measures, which may also include administrative fines, warnings and non-monetary measures, applicable to any infringement of this Regulation by operators, and shall take all measures necessary to ensure that they are properly and effectively implemented, thereby taking into account the guidelines issued by the Commission pursuant to Article 96. The penalties provided for shall be effective, proportionate and dissuasive. The Member States shall take into account the interests of SMEs, including start-ups, and SMCs, and their economic viability when imposing penalties.
1. 加盟国は、本規則に定める条件に従い、運用者による本規則の違反に適用される制裁及びその他の執行措置(過料、警告及び非金銭的措置を含むことができる)に関する規則を定め、かつ、第96条に基づき欧州委員会が発出するガイドラインを考慮しつつ、それらが適正かつ効果的に実施されることを確保するために必要なすべての措置を講じるものとする。定められた制裁措置は、効果的、比例的かつ抑止的なものとするものとする。加盟国は、制裁を科すに当たり、中小企業(新興企業を含む)及び中小規模中堅企業(SMC)の利益並びにその経済的存続可能性を考慮するものとする。
2026年改正2. The Member States shall, without delay and at the latest by the date of entry into application, notify the Commission of the rules on penalties and of other enforcement measures referred to in paragraph 1, and shall notify it, without delay, of any subsequent amendment to them.
2. 加盟国は、遅滞なく、遅くとも適用開始日までに、第1項にいう罰則その他の執行措置に関する規則を委員会に通知しなければならず、また、これらに対するその後の改正についても、遅滞なく通知しなければならない。
2026年改正3. Non-compliance with the prohibition of the AI practices referred to in Article 5 shall be subject to administrative fines of up to EUR 35 000 000 or, if the offender is an undertaking, up to 7 % of its total worldwide annual turnover for the preceding financial year, whichever is higher.
3. 第5条にいうAI慣行の禁止の不遵守は、3,500万ユーロ以下、又は違反者が事業者である場合にはその前会計年度における全世界年間売上高の7%以下のいずれか高い額を上限とする過料に処するものとする。
2026年改正4. Non-compliance with any of the following provisions related to operators or notified bodies, other than those laid down in Articles 5, shall be subject to administrative fines of up to EUR 15 000 000 or, if the offender is an undertaking, up to 3 % of its total worldwide annual turnover for the preceding financial year, whichever is higher:
4. 第5条に定める規定以外の、運用者又は届出機関に関する次のいずれかの規定の不遵守は、1,500万ユーロ以下、又は違反者が事業者である場合にはその前会計年度における全世界年間売上高の3%以下のいずれか高い額を上限とする過料に処するものとする。
2026年改正(a) obligations of providers pursuant to Article 16;
(a) 第16条に基づく提供者の義務
2026年改正(b) obligations of authorised representatives pursuant to Article 22;
(b) 第22条に基づく正式代理人の義務
2026年改正(c) obligations of importers pursuant to Article 23;
(c) 第23条に基づく輸入者の義務
2026年改正(d) obligations of distributors pursuant to Article 24;
(d) 第24条に基づく流通業者の義務
2026年改正(da) obligations of providers and operators pursuant to Article 25(2) and (4);
(da) 第25条第2項及び第4項に基づく提供者及び運用者の義務
(e) obligations of deployers pursuant to Article 26;
(e) 第26条に基づく導入者の義務
(f) requirements and obligations of notified bodies pursuant to Article 31, Article 33(1), (3) and (4) or Article 34;
(f) 第31条、第33条第1項、第3項及び第4項又は第34条に基づく届出機関の要件及び義務
(g) transparency obligations for providers and deployers pursuant to Article 50.
(g) 第50条に基づく提供者及び導入者の透明性に関する義務
5. The supply of incorrect, incomplete or misleading information to notified bodies or national competent authorities in reply to a request shall be subject to administrative fines of up to EUR 7 500 000 or, if the offender is an undertaking, up to 1 % of its total worldwide annual turnover for the preceding financial year, whichever is higher.
5. 届出機関又は国内所轄当局からの要請への回答において、不正確、不完全又は誤解を招く情報を提供した場合は、750万ユーロ以下、又は違反者が事業者である場合にはその前会計年度における全世界年間売上高の1%以下のいずれか高い額を上限とする過料に処するものとする。
6. In the case of SMEs, including start-ups, each fine referred to in this Article shall be up to the percentages or amount referred to in paragraphs 3, 4 and 5, whichever thereof is lower.
6. スタートアップを含む中小企業の場合、本条にいう各過料は、第3項、第4項及び第5項にいう割合又は金額のうち、いずれか低い方を上限とするものとする。
2026年改正6a. In the case of SMCs, each fine referred to in paragraphs 4 and 5 shall be up to the percentages or amount referred therein, whichever is lower.
6a. 中小規模中堅企業(SMC)の場合、第4項及び第5項に規定する各過料は、それぞれに規定する割合又は金額のいずれか低い方を上限とするものとする。
7. When deciding whether to impose an administrative fine and when deciding on the amount of the administrative fine in each individual case, all relevant circumstances of the specific situation shall be taken into account and, as appropriate, regard shall be given to the following:
7. 過料を科すか否かを決定するとき、及び個々の事案における過料の額を決定するときは、当該具体的状況に関する全ての関連する事情を考慮するものとし、また、適宜、次の事項を考慮するものとする。
(a) the nature, gravity and duration of the infringement and of its consequences, taking into account the purpose of the AI system, as well as, where appropriate, the number of affected persons and the level of damage suffered by them;
(a) 違反及びその結果の性質、重大性及び継続期間(当該AIシステムの目的、並びに適宜、影響を受けた者の数及びこれらの者が被った損害の程度を考慮する)
(b) whether administrative fines have already been applied by other market surveillance authorities to the same operator for the same infringement;
(b) 同一の違反について、同一の事業者に対し他の市場監視当局が既に過料を適用しているか否か
(c) whether administrative fines have already been applied by other authorities to the same operator for infringements of other Union or national law, when such infringements result from the same activity or omission constituting a relevant infringement of this Regulation;
(c) 本規則の関連する違反を構成する同一の行為又は不作為に起因する、他の連合法又は国内法の違反について、同一の事業者に対し他の当局が既に過料を適用しているか否か
(d) the size, the annual turnover and market share of the operator committing the infringement;
(d) 違反を行った事業者の規模、年間売上高及び市場シェア
(e) any other aggravating or mitigating factor applicable to the circumstances of the case, such as financial benefits gained, or losses avoided, directly or indirectly, from the infringement;
(e) 違反により直接又は間接に得た金銭的利益又は回避した損失等、当該事案の状況に適用されるその他の加重又は軽減事由
(f) the degree of cooperation with the national competent authorities, in order to remedy the infringement and mitigate the possible adverse effects of the infringement;
(f) 違反を是正し、その生じ得る悪影響を軽減するための、国内所轄当局との協力の程度
(g) the degree of responsibility of the operator taking into account the technical and organisational measures implemented by it;
(g) 事業者が実施した技術的及び組織的措置を考慮した、当該事業者の責任の程度
(h) the manner in which the infringement became known to the national competent authorities, in particular whether, and if so to what extent, the operator notified the infringement;
(h) 違反が国内所轄当局に判明した経緯(特に、事業者が当該違反を通知したか否か、通知した場合はどの程度か)
(i) the intentional or negligent character of the infringement;
(i) 違反が故意又は過失によるものであるか否か
(j) any action taken by the operator to mitigate the harm suffered by the affected persons.
(j) 影響を受けた者が被った損害を軽減するために事業者が講じた措置
8. Each Member State shall lay down rules on to what extent administrative fines may be imposed on public authorities and bodies established in that Member State.
8. 各加盟国は、当該加盟国に設立された公的機関及び団体に対し過料をどの程度科し得るかについて規則を定めるものとする。
9. Depending on the legal system of the Member States, the rules on administrative fines may be applied in such a manner that the fines are imposed by competent national courts or by other bodies, as applicable in those Member States. The application of such rules in those Member States shall have an equivalent effect.
9. 加盟国の法制度に応じ、過料に関する規則は、当該加盟国において適用される所轄の国内裁判所又はその他の機関により過料が科されるような方法で適用することができる。当該加盟国におけるこれらの規則の適用は、同等の効果を有するものとする。
10. The exercise of powers under this Article shall be subject to appropriate procedural safeguards in accordance with Union and national law, including effective judicial remedies and due process.
10. 本条に基づく権限の行使は、効果的な司法救済及び適正手続を含め、連合法及び国内法に従った適切な手続上の保護措置に従うものとする。
11. Member States shall, on an annual basis, report to the Commission about the administrative fines they have issued during that year, in accordance with this Article, and about any related litigation or judicial proceedings.
11. 加盟国は、毎年、本条に従い当該年に科した過料、及び関連する訴訟又は司法手続について、委員会に報告しなければならない。

Article 100: Administrative fines on Union institutions, bodies, offices and agencies / 連合の機関、団体、事務所及び機関に対する過料

1. The European Data Protection Supervisor may impose administrative fines on Union institutions, bodies, offices and agencies falling within the scope of this Regulation. When deciding whether to impose an administrative fine and when deciding on the amount of the administrative fine in each individual case, all relevant circumstances of the specific situation shall be taken into account and due regard shall be given to the following:
1. 欧州データ保護監督官は、本規則の適用範囲に含まれる連合の機関、団体、事務所及び機関に対し、過料を科すことができる。過料を科すか否かを決定するとき、及び個々の事案における過料の額を決定するときは、当該具体的状況に関する全ての関連する事情を考慮するものとし、次の事項に十分な考慮を払うものとする。
(a) the nature, gravity and duration of the infringement and of its consequences, taking into account the purpose of the AI system concerned, as well as, where appropriate, the number of affected persons and the level of damage suffered by them;
(a) 違反及びその結果の性質、重大性及び継続期間(当該AIシステムの目的、並びに適宜、影響を受けた者の数及びこれらの者が被った損害の程度を考慮する)
(b) the degree of responsibility of the Union institution, body, office or agency, taking into account technical and organisational measures implemented by them;
(b) 連合の機関、団体、事務所又は機関が実施した技術的及び組織的措置を考慮した、その責任の程度
(c) any action taken by the Union institution, body, office or agency to mitigate the damage suffered by affected persons;
(c) 影響を受けた者が被った損害を軽減するために連合の機関、団体、事務所又は機関が講じた措置
(d) the degree of cooperation with the European Data Protection Supervisor in order to remedy the infringement and mitigate the possible adverse effects of the infringement, including compliance with any of the measures previously ordered by the European Data Protection Supervisor against the Union institution, body, office or agency concerned with regard to the same subject matter;
(d) 違反を是正し、その生じ得る悪影響を軽減するための欧州データ保護監督官との協力の程度(同一の事項に関して当該連合の機関、団体、事務所又は機関に対し欧州データ保護監督官が事前に命じたいずれかの措置の遵守を含む)
(e) any similar previous infringements by the Union institution, body, office or agency;
(e) 当該連合の機関、団体、事務所又は機関による過去の類似の違反の有無
(f) the manner in which the infringement became known to the European Data Protection Supervisor, in particular whether, and if so to what extent, the Union institution, body, office or agency notified the infringement;
(f) 違反が欧州データ保護監督官に判明した経緯(特に、当該連合の機関、団体、事務所又は機関が当該違反を通知したか否か、通知した場合はどの程度か)
(g) the annual budget of the Union institution, body, office or agency.
(g) 当該連合の機関、団体、事務所又は機関の年間予算
2. Non-compliance with the prohibition of the AI practices referred to in Article 5 shall be subject to administrative fines of up to EUR 1 500 000.
2. 第5条にいうAI慣行の禁止の不遵守は、150万ユーロ以下を上限とする過料に処するものとする。
3. The non-compliance of the AI system with any requirements or obligations under this Regulation, other than those laid down in Article 5, shall be subject to administrative fines of up to EUR 750 000.
3. 第5条に定める要件又は義務以外の、本規則に基づくいずれかの要件又は義務にAIシステムが適合しないことは、75万ユーロ以下を上限とする過料に処するものとする。
4. Before taking decisions pursuant to this Article, the European Data Protection Supervisor shall give the Union institution, body, office or agency which is the subject of the proceedings conducted by the European Data Protection Supervisor the opportunity of being heard on the matter regarding the possible infringement. The European Data Protection Supervisor shall base his or her decisions only on elements and circumstances on which the parties concerned have been able to comment. Complainants, if any, shall be associated closely with the proceedings.
4. 本条に基づく決定を行う前に、欧州データ保護監督官は、その行う手続の対象となる連合の機関、団体、事務所又は機関に対し、違反の可能性に関する事項について意見を述べる機会を与えなければならない。欧州データ保護監督官は、関係当事者が意見を述べることができた要素及び事情のみに基づいて、その決定を行うものとする。苦情申立人がある場合には、当該苦情申立人を当該手続に密接に関与させるものとする。
5. The rights of defence of the parties concerned shall be fully respected in the proceedings. They shall be entitled to have access to the European Data Protection Supervisor’s file, subject to the legitimate interest of individuals or undertakings in the protection of their personal data or business secrets.
5. 当該手続においては、関係当事者の防御の権利は十分に尊重されるものとする。関係当事者は、個人又は事業者の個人データ若しくは営業秘密の保護に関する正当な利益に従うことを条件として、欧州データ保護監督官のファイルへのアクセスの権利を有するものとする。
6. Funds collected by imposition of fines in this Article shall contribute to the general budget of the Union. The fines shall not affect the effective operation of the Union institution, body, office or agency fined.
6. 本条の過料の賦課により徴収された資金は、連合の一般予算に充てられるものとする。当該過料は、過料を科された連合の機関、団体、事務所又は機関の効果的な運営に影響を及ぼさないものとする。
7. The European Data Protection Supervisor shall, on an annual basis, notify the Commission of the administrative fines it has imposed pursuant to this Article and of any litigation or judicial proceedings it has initiated.
7. 欧州データ保護監督官は、毎年、本条に基づき科した過料、及びその開始した訴訟又は司法手続について、委員会に通知しなければならない。

Article 101: Fines for providers of general-purpose AI models / 汎用目的AIモデルの提供者に対する過料

1. The Commission may impose on providers of general-purpose AI models fines not exceeding 3 % of their annual total worldwide turnover in the preceding financial year or EUR 15 000 000, whichever is higher., when the Commission finds that the provider intentionally or negligently:
1. 委員会は、汎用目的AIモデルの提供者が故意又は過失により次のいずれかを行ったと認める場合には、当該提供者に対し、その前会計年度における全世界年間売上高の3%又は1,500万ユーロのいずれか高い方の額を超えない過料を科すことができる。
(a) infringed the relevant provisions of this Regulation;
(a) 本規則の関連規定に違反したこと
(b) failed to comply with a request for a document or for information pursuant to Article 91, or supplied incorrect, incomplete or misleading information;
(b) 第91条に基づく文書又は情報の提供の要請を遵守しなかったこと、又は不正確、不完全若しくは誤解を招く情報を提供したこと
(c) failed to comply with a measure requested under Article 93;
(c) 第93条に基づき要請された措置を遵守しなかったこと
(d) failed to make available to the Commission access to the general-purpose AI model or general-purpose AI model with systemic risk with a view to conducting an evaluation pursuant to Article 92.
(d) 第92条に基づく評価の実施を目的として、汎用AIモデル又はシステミックリスクを伴う汎用AIモデルへのアクセスを欧州委員会に提供しなかったこと。
In fixing the amount of the fine or periodic penalty payment, regard shall be had to the nature, gravity and duration of the infringement, taking due account of the principles of proportionality and appropriateness. The Commission shall also into account commitments made in accordance with Article 93(3) or made in relevant codes of practice in accordance with Article 56.
過料又は定期制裁金の額を定めるに当たっては、比例性及び適切性の原則を十分に考慮しつつ、違反の性質、重大性及び継続期間を考慮するものとする。欧州委員会はまた、第93条第3項に従って行われた約束又は第56条に従い関連する実務規範において行われた約束を考慮するものとする。
2. Before adopting the decision pursuant to paragraph 1, the Commission shall communicate its preliminary findings to the provider of the general-purpose AI model and give it an opportunity to be heard.
2. 第1項に基づく決定を採択する前に、委員会は、その予備的な認定を汎用目的AIモデルの提供者に伝達し、当該提供者に意見を述べる機会を与えなければならない。
3. Fines imposed in accordance with this Article shall be effective, proportionate and dissuasive.
3. 本条に従い科される過料は、効果的、比例的かつ抑止力のあるものでなければならない。
4. Information on fines imposed under this Article shall also be communicated to the Board as appropriate.
4. 本条に基づき科された過料に関する情報は、適宜、理事会にも伝達されるものとする。
5. The Court of Justice of the European Union shall have unlimited jurisdiction to review decisions of the Commission fixing a fine under this Article. It may cancel, reduce or increase the fine imposed.
5. 欧州連合司法裁判所は、本条に基づき過料を定める委員会の決定を審査する無制限の管轄権を有するものとする。同裁判所は、科された過料を取り消し、減額し、又は増額することができる。
6. The Commission shall adopt implementing acts containing detailed arrangements and procedural safeguards for proceedings in view of the possible adoption of decisions pursuant to paragraph 1 of this Article. Those implementing acts shall be adopted in accordance with the examination procedure referred to in Article 98(2).
6. 欧州委員会は、本条第1項に基づく決定の採択の可能性に鑑みた手続に関する詳細な取決め及び手続的保障措置を定める実施行為を採択するものとする。当該実施行為は、第98条第2項に規定する審査手続に従って採択されるものとする。

14 Chapter XIII: Final Provisions

Article 102: Amendment to Regulation (EC) No 300/2008 / 規則(EC)No 300/2008の改正

In Article 4(3) of Regulation (EC) No 300/2008, the following subparagraph is added: 'When adopting detailed measures related to technical specifications and procedures for approval and use of security equipment concerning Artificial Intelligence systems within the meaning of Regulation (EU) 2024/1689 of the European Parliament and of the Council (*), the requirements set out in Chapter III, Section 2, of that Regulation shall be taken into account. (*) Regulation (EU) 2024/1689 of the European Parliament and of the Council of 13 June 2024 laying down harmonised rules on artificial intelligence and amending Regulations (EC) No 300/2008, (EU) No 167/2013, (EU) No 168/2013, (EU) 2018/858, (EU) 2018/1139 and (EU) 2019/2144 and Directives 2014/90/EU, (EU) 2016/797 and (EU) 2020/1828 (Artificial Intelligence Act) (OJ L, 2024/1689, 12.7.2024, ELI: http://data.europa.eu/eli/reg/2024/1689/oj).'.
規則(EC)No 300/2008第4条(3)において、次の項が追加される。「欧州議会及び理事会の規則(EU)2024/1689(*)の意味における人工知能システムであって安全部品に該当するものの承認及び使用に係るセキュリティ機器の技術仕様及び手続に関する詳細な措置を採択するに当たっては、同規則第III章第2節に定める要件を考慮するものとする。 (*)人工知能に関する調和された規則を定め、規則(EC)No 300/2008、(EU)No 167/2013、(EU)No 168/2013、(EU)2018/858、(EU)2018/1139及び(EU)2019/2144並びに指令2014/90/EU、(EU)2016/797及び(EU)2020/1828を改正する2024年6月13日の欧州議会及び理事会規則(EU)2024/1689(人工知能法)(OJ L, 2024/1689, 2024年7月12日、ELI: http://data.europa.eu/eli/reg/2024/1689/oj)をいう。」

Article 103: Amendment to Regulation (EU) No 167/2013 / 規則(EU)No 167/2013の改正

In Article 17(5) of Regulation (EU) No 167/2013, the following subparagraph is added:
規則(EU)No 167/2013第17条(5)において、次の項が追加される。
‘When adopting delegated acts pursuant to the first subparagraph concerning artificial intelligence systems which are safety components within the meaning of Regulation (EU) 2024/1689 of the European Parliament and of the Council (*), the requirements set out in Chapter III, Section 2, of that Regulation shall be taken into account. (*) Regulation (EU) 2024/1689 of the European Parliament and of the Council of 13 June 2024 laying down harmonised rules on artificial intelligence and amending Regulations (EC) No 300/2008, (EU) No 167/2013, (EU) No 168/2013, (EU) 2018/858, (EU) 2018/1139 and (EU) 2019/2144 and Directives 2014/90/EU, (EU) 2016/797 and (EU) 2020/1828 (Artificial Intelligence Act) (OJ L, 2024/1689, 12.7.2024, ELI: http://data.europa.eu/eli/reg/2024/1689/oj).’.
「第1号に基づき、規則(EU)2024/1689の意味における安全部品である人工知能システムに関する委任行為を採択するに当たっては、同規則第III章第2節に定める要件を考慮するものとする。 (*) 人工知能に関する調和規則を定め、規則(EC)No 300/2008、(EU)No 167/2013、(EU)No 168/2013、(EU)2018/858、(EU)2018/1139及び(EU)2019/2144並びに指令2014/90/EU、(EU)2016/797及び(EU)2020/1828を改正する2024年6月13日の欧州議会及び理事会の規則(EU)2024/1689(人工知能法)(OJ L, 2024/1689, 12.7.2024, ELI: http://data.europa.eu/eli/reg/2024/1689/oj)。」

Article 104: Amendment to Regulation (EU) No 168/2013 / 規則(EU)No 168/2013の改正

In Article 22(5) of Regulation (EU) No 168/2013, the following subparagraph is added: 'When adopting delegated acts pursuant to the first subparagraph concerning Artificial Intelligence systems which are safety components within the meaning of Regulation (EU) 2024/1689 of the European Parliament and of the Council (*), the requirements set out in Chapter III, Section 2, of that Regulation shall be taken into account. (*) Regulation (EU) 2024/1689 of the European Parliament and of the Council of 13 June 2024 laying down harmonised rules on artificial intelligence and amending Regulations (EC) No 300/2008, (EU) No 167/2013, (EU) No 168/2013, (EU) 2018/858, (EU) 2018/1139 and (EU) 2019/2144 and Directives 2014/90/EU, (EU) 2016/797 and (EU) 2020/1828 (Artificial Intelligence Act) (OJ L, 2024/1689, 12.7.2024, ELI: http://data.europa.eu/eli/reg/2024/1689/oj).'.
規則(EU)No 168/2013第22条(5)において、次の項が追加される。「第1号に基づき、欧州議会及び理事会の規則(EU)2024/1689(*)の意味における安全部品に該当する人工知能システムに関する委任行為を採択するに当たっては、同規則第III章第2節に定める要件を考慮するものとする。 (*)人工知能に関する調和された規則を定め、規則(EC)No 300/2008、(EU)No 167/2013、(EU)No 168/2013、(EU)2018/858、(EU)2018/1139及び(EU)2019/2144並びに指令2014/90/EU、(EU)2016/797及び(EU)2020/1828を改正する2024年6月13日の欧州議会及び理事会規則(EU)2024/1689(人工知能法)(OJ L, 2024/1689, 2024年7月12日、ELI: http://data.europa.eu/eli/reg/2024/1689/oj)をいう。」

Article 105: Amendment to Directive 2014/90/EU / 指令2014/90/EUの改正

In Article 8 of Directive 2014/90/EU, the following paragraph is added: '5. For Artificial Intelligence systems which are safety components within the meaning of Regulation (EU) 2024/1689 of the European Parliament and of the Council (*), when carrying out its activities pursuant to paragraph 1 and when adopting technical specifications and testing standards in accordance with paragraphs 2 and 3, the Commission shall take into account the requirements set out in Chapter III, Section 2, of that Regulation. (*) Regulation (EU) 2024/1689 of the European Parliament and of the Council of 13 June 2024 laying down harmonised rules on artificial intelligence and amending Regulations (EC) No 300/2008, (EU) No 167/2013, (EU) No 168/2013, (EU) 2018/858, (EU) 2018/1139 and (EU) 2019/2144 and Directives 2014/90/EU, (EU) 2016/797 and (EU) 2020/1828 (Artificial Intelligence Act) (OJ L, 2024/1689, 12.7.2024, ELI: http://data.europa.eu/eli/reg/2024/1689/oj).'.
指令2014/90/EU第8条において、次の項が追加される。「5. 欧州議会及び理事会の規則(EU)2024/1689(*)の意味における安全部品に該当する人工知能システムについて、第1項に基づく活動を実施するに当たり、及び第2項及び第3項に従って技術仕様及び試験基準を採択するに当たり、欧州委員会は、同規則第III章第2節に定める要件を考慮するものとする。 (*)人工知能に関する調和された規則を定め、規則(EC)No 300/2008、(EU)No 167/2013、(EU)No 168/2013、(EU)2018/858、(EU)2018/1139及び(EU)2019/2144並びに指令2014/90/EU、(EU)2016/797及び(EU)2020/1828を改正する2024年6月13日の欧州議会及び理事会規則(EU)2024/1689(人工知能法)(OJ L, 2024/1689, 2024年7月12日、ELI: http://data.europa.eu/eli/reg/2024/1689/oj)をいう。」

Article 106: Amendment to Directive (EU) 2016/797 / 指令(EU) 2016/797の改正

In Article 5 of Directive (EU) 2016/797, the following paragraph is added: '12. When adopting delegated acts pursuant to paragraph 1 and implementing acts pursuant to paragraph 11 concerning Artificial Intelligence systems which are safety components within the meaning of Regulation (EU) 2024/1689 of the European Parliament and of the Council (*), the requirements set out in Chapter III, Section 2, of that Regulation shall be taken into account. (*) Regulation (EU) 2024/1689 of the European Parliament and of the Council of 13 June 2024 laying down harmonised rules on artificial intelligence and amending Regulations (EC) No 300/2008, (EU) No 167/2013, (EU) No 168/2013, (EU) 2018/858, (EU) 2018/1139 and (EU) 2019/2144 and Directives 2014/90/EU, (EU) 2016/797 and (EU) 2020/1828 (Artificial Intelligence Act) (OJ L, 2024/1689, 12.7.2024, ELI: http://data.europa.eu/eli/reg/2024/1689/oj).'.
指令(EU)2016/797第5条において、次の項が追加される。「12. 欧州議会及び理事会の規則(EU)2024/1689(*)の意味における安全部品に該当する人工知能システムに関し、第1項に基づく委任行為及び第11項に基づく実施行為を採択するに当たっては、同規則第III章第2節に定める要件を考慮するものとする。 (*)人工知能に関する調和された規則を定め、規則(EC)No 300/2008、(EU)No 167/2013、(EU)No 168/2013、(EU)2018/858、(EU)2018/1139及び(EU)2019/2144並びに指令2014/90/EU、(EU)2016/797及び(EU)2020/1828を改正する2024年6月13日の欧州議会及び理事会規則(EU)2024/1689(人工知能法)(OJ L, 2024/1689, 2024年7月12日、ELI: http://data.europa.eu/eli/reg/2024/1689/oj)をいう。」

Article 107: Amendment to Regulation (EU) 2018/858 / 規則(EU) 2018/858の改正

In Article 5 of Regulation (EU) 2018/858 the following paragraph is added: '4. When adopting delegated acts pursuant to paragraph 3 concerning Artificial Intelligence systems which are safety components within the meaning of Regulation (EU) 2024/1689 of the European Parliament and of the Council (*), the requirements set out in Chapter III, Section 2, of that Regulation shall be taken into account. (*) Regulation (EU) 2024/1689 of the European Parliament and of the Council of 13 June 2024 laying down harmonised rules on artificial intelligence and amending Regulations (EC) No 300/2008, (EU) No 167/2013, (EU) No 168/2013, (EU) 2018/858, (EU) 2018/1139 and (EU) 2019/2144 and Directives 2014/90/EU, (EU) 2016/797 and (EU) 2020/1828 (Artificial Intelligence Act) (OJ L, 2024/1689, 12.7.2024, ELI: http://data.europa.eu/eli/reg/2024/1689/oj).'.
規則(EU)2018/858第5条において、次の項が追加される。「4. 欧州議会及び理事会の規則(EU)2024/1689(*)の意味における安全部品に該当する人工知能システムに関し、第3項に基づく委任行為を採択するに当たっては、同規則第III章第2節に定める要件を考慮するものとする。 (*)人工知能に関する調和された規則を定め、規則(EC)No 300/2008、(EU)No 167/2013、(EU)No 168/2013、(EU)2018/858、(EU)2018/1139及び(EU)2019/2144並びに指令2014/90/EU、(EU)2016/797及び(EU)2020/1828を改正する2024年6月13日の欧州議会及び理事会規則(EU)2024/1689(人工知能法)(OJ L, 2024/1689, 2024年7月12日、ELI: http://data.europa.eu/eli/reg/2024/1689/oj)をいう。」

Article 108: Amendments to Regulation (EU) 2018/1139 / 規則(EU) 2018/1139の改正

Regulation (EU) 2018/1139 is amended as follows:
規則(EU) 2018/1139は、次のとおり改正する。
(1) in Article 17, the following paragraph is added: ‘3. Without prejudice to paragraph 2, when adopting implementing acts pursuant to paragraph 1 concerning Artificial Intelligence systems which are safety components within the meaning of Regulation (EU) 2024/1689 of the European Parliament and of the Council (*), the requirements set out in Chapter III, Section 2, of that Regulation shall be taken into account. (*) Regulation (EU) 2024/1689 of the European Parliament and of the Council of 13 June 2024 laying down harmonised rules on artificial intelligence and amending Regulations (EC) No 300/2008, (EU) No 167/2013, (EU) No 168/2013, (EU) 2018/858, (EU) 2018/1139 and (EU) 2019/2144 and Directives 2014/90/EU, (EU) 2016/797 and (EU) 2020/1828 (Artificial Intelligence Act) (OJ L, 2024/1689, 12.7.2024, ELI: http://data.europa.eu/eli/reg/2024/1689/oj).’;
(1) 第17条に次の項を加える。「3. 第2項を損なうことなく、第1項に基づき、規則(EU)2024/1689の意味における安全部品である人工知能システムに関する実施行為を採択するに当たっては、同規則第III章第2節に定める要件を考慮するものとする。 (*) 人工知能に関する調和規則を定め、規則(EC)No 300/2008、(EU)No 167/2013、(EU)No 168/2013、(EU)2018/858、(EU)2018/1139及び(EU)2019/2144並びに指令2014/90/EU、(EU)2016/797及び(EU)2020/1828を改正する2024年6月13日の欧州議会及び理事会の規則(EU)2024/1689(人工知能法)(OJ L, 2024/1689, 12.7.2024, ELI: http://data.europa.eu/eli/reg/2024/1689/oj)。」;
(2) in Article 19, the following paragraph is added: ‘4. When adopting delegated acts pursuant to paragraphs 1 and 2 concerning Artificial Intelligence systems which are safety components within the meaning of Regulation (EU) 2024/1689, the requirements set out in Chapter III, Section 2, of that Regulation shall be taken into account.’;
(2) 第19条に、次の項を加える。 「4. 規則(EU) 2024/1689の意味における安全部品であるAIシステムに関し、第1項及び第2項に基づく委任行為を採択するときは、同規則第III章第2節に定める要件を考慮しなければならない。」。
(3) in Article 43, the following paragraph is added: ‘4. When adopting implementing acts pursuant to paragraph 1 concerning Artificial Intelligence systems which are safety components within the meaning of Regulation (EU) 2024/1689, the requirements set out in Chapter III, Section 2, of that Regulation shall be taken into account.’;
(3) 第43条に、次の項を加える。 「4. 規則(EU) 2024/1689の意味における安全部品であるAIシステムに関し、第1項に基づく実施行為を採択するときは、同規則第III章第2節に定める要件を考慮しなければならない。」。
(4) in Article 47, the following paragraph is added: ‘3. When adopting delegated acts pursuant to paragraphs 1 and 2 concerning Artificial Intelligence systems which are safety components within the meaning of Regulation (EU) 2024/1689, the requirements set out in Chapter III, Section 2, of that Regulation shall be taken into account.’;
(4) 第47条に、次の項を加える。 「3. 規則(EU) 2024/1689の意味における安全部品であるAIシステムに関し、第1項及び第2項に基づく委任行為を採択するときは、同規則第III章第2節に定める要件を考慮しなければならない。」。
(5) in Article 57, the following subparagraph is added: ‘When adopting those implementing acts concerning Artificial Intelligence systems which are safety components within the meaning of Regulation (EU) 2024/1689, the requirements set out in Chapter III, Section 2, of that Regulation shall be taken into account.’;
(5) 第57条に、次の号を加える。 「規則(EU) 2024/1689の意味における安全部品であるAIシステムに関し当該実施行為を採択するときは、同規則第III章第2節に定める要件を考慮しなければならない。」。
(6) in Article 58, the following paragraph is added: ‘3. When adopting delegated acts pursuant to paragraphs 1 and 2 concerning Artificial Intelligence systems which are safety components within the meaning of Regulation (EU) 2024/1689, the requirements set out in Chapter III, Section 2, of that Regulation shall be taken into account.’.
(6) 第58条に、次の項を加える。 「3. 規則(EU) 2024/1689の意味における安全部品であるAIシステムに関し、第1項及び第2項に基づく委任行為を採択するときは、同規則第III章第2節に定める要件を考慮しなければならない。」。

Article 109: Amendment to Regulation (EU) 2019/2144 / 規則(EU) 2019/2144の改正

In Article 11 of Regulation (EU) 2019/2144, the following paragraph is added: '3. When adopting the implementing acts pursuant to paragraph 2, concerning artificial intelligence systems which are safety components within the meaning of Regulation (EU) 2024/1689 of the European Parliament and of the Council (*), the requirements set out in Chapter III, Section 2, of that Regulation shall be taken into account. (*) Regulation (EU) 2024/1689 of the European Parliament and of the Council of 13 June 2024 laying down harmonised rules on artificial intelligence and amending Regulations (EC) No 300/2008, (EU) No 167/2013, (EU) No 168/2013, (EU) 2018/858, (EU) 2018/1139 and (EU) 2019/2144 and Directives 2014/90/EU, (EU) 2016/797 and (EU) 2020/1828 (Artificial Intelligence Act) (OJ L, 2024/1689, 12.7.2024, ELI: http://data.europa.eu/eli/reg/2024/1689/oj).'.
規則(EU)2019/2144第11条において、次の項が追加される。「3. 欧州議会及び理事会の規則(EU)2024/1689(*)の意味における安全部品に該当する人工知能システムに関し、第2項に基づく実施行為を採択するに当たっては、同規則第III章第2節に定める要件を考慮するものとする。 (*)人工知能に関する調和された規則を定め、規則(EC)No 300/2008、(EU)No 167/2013、(EU)No 168/2013、(EU)2018/858、(EU)2018/1139及び(EU)2019/2144並びに指令2014/90/EU、(EU)2016/797及び(EU)2020/1828を改正する2024年6月13日の欧州議会及び理事会規則(EU)2024/1689(人工知能法)(OJ L, 2024/1689, 2024年7月12日、ELI: http://data.europa.eu/eli/reg/2024/1689/oj)をいう。」

Article 110: Amendment to Directive (EU) 2020/1828 / 指令(EU) 2020/1828の改正

In Annex I to Directive (EU) 2020/1828 of the European Parliament and of the Council (2), the following point is added: '(68) Regulation (EU) 2024/1689 of the European Parliament and of the Council of 13 June 2024 laying down harmonised rules on artificial intelligence and amending Regulations (EC) No 300/2008, (EU) No 167/2013, (EU) No 168/2013, (EU) 2018/858, (EU) 2018/1139 and (EU) 2019/2144 and Directives 2014/90/EU, (EU) 2016/797 and (EU) 2020/1828 (Artificial Intelligence Act) (OJ L, 2024/1689, 12.7.2024, ELI: http://data.europa.eu/eli/reg/2024/1689/oj).'.
欧州議会及び理事会の指令(EU)2020/1828附属書Iにおいて、次の号が追加される。「(68) 人工知能に関する調和された規則を定め、規則(EC)No 300/2008、(EU)No 167/2013、(EU)No 168/2013、(EU)2018/858、(EU)2018/1139及び(EU)2019/2144並びに指令2014/90/EU、(EU)2016/797及び(EU)2020/1828を改正する2024年6月13日の欧州議会及び理事会規則(EU)2024/1689(人工知能法)(OJ L, 2024/1689, 2024年7月12日、ELI: http://data.europa.eu/eli/reg/2024/1689/oj)」

Article 111: AI systems already placed on the market or put into service and general-purpose AI models already placed on the market / 既に市場に上市され又はサービスの用に供されたAIシステム及び既に市場に上市された汎用AIモデル

1. Without prejudice to the application of Article 5 as referred to in Article 113(3), point (a), AI systems which are components of the large-scale IT systems established by the legal acts listed in Annex X that have been placed on the market or put into service before 2 August 2027 shall be brought into compliance with this Regulation by 31 December 2030. The requirements laid down in this Regulation shall be taken into account in the evaluation of each large-scale IT system established by the legal acts listed in Annex X to be undertaken as provided for in those legal acts and where those legal acts are replaced or amended.
1. 第113条第3項(a)号に規定する第5条の適用を損なうことなく、附属書Xに列挙された法的行為により設立された大規模ITシステムの構成要素であるAIシステムであって、2027年8月2日前に上市され又は供用が開始されたものは、2030年12月31日までに本規則に適合させるものとする。 附属書Xに列挙された法的行為により設立された各大規模ITシステムについて、当該法的行為に定めるところにより実施される評価においては、本規則に定める要件を考慮するものとし、また、当該法的行為が置き換えられ又は改正される場合においても同様とする。
2026年改正2. Without prejudice to the application of Article 5 as referred to in Article 113, third paragraph, point (a), this Regulation shall apply to operators of high-risk AI systems, other than the systems referred to in paragraph 1 of this Article, that have been placed on the market or put into service before the date of application of Chapter III referred to in Article 113, only if, as from that date, those systems are subject to significant changes in their designs. In any case, the providers and deployers of high-risk AI systems intended to be used by public authorities shall take the necessary steps to comply with the requirements and obligations laid down in this Regulation by 2 August 2030.
2. 第113条第3項(a)号に規定する第5条の適用を損なうことなく、本規則は、本条第1項に規定するシステム以外の高リスクAIシステムの運用者であって、第113条に規定する第III章の適用開始日前に上市され又は供用が開始されたものについては、当該適用開始日以後、それらのシステムの設計に重大な変更が加えられる場合に限り適用されるものとする。いずれの場合においても、公的機関により使用されることを意図した高リスクAIシステムの提供者及び配備者は、2030年8月2日までに本規則に定める要件及び義務を遵守するために必要な措置を講じるものとする。
3. Providers of general-purpose AI models that have been placed on the market before 2 August 2025 shall take the necessary steps in order to comply with the obligations laid down in this Regulation by 2 August 2027.
3. 2025年8月2日前に上市された汎用AIモデルの提供者は、2027年8月2日までに本規則に定める義務を遵守するために必要な措置を講じるものとする。
2026年改正4. Providers of AI systems, including general-purpose AI systems, generating synthetic audio, image, video or text content, that have been placed on the market before 2 August 2026 shall take the necessary steps in order to comply with Article 50(2) by 2 December 2026.
4. 合成音声、画像、動画又はテキストコンテンツを生成するAIシステム(汎用AIシステムを含む)であって、2026年8月2日前に上市されたものの提供者は、2026年12月2日までに第50条第2項を遵守するために必要な措置を講じるものとする。
(2) Directive (EU) 2020/1828 of the European Parliament and of the Council of 25 November 2020 on representative actions for the protection of the collective interests of consumers and repealing Directive 2009/22/EC (OJ L 409, 4.12.2020, p. 1).
(2) 消費者の集団的利益の保護のための代表訴訟に関し、かつ指令2009/22/ECを廃止する2020年11月25日の欧州議会及び理事会の指令(EU)2020/1828(OJ L 409, 4.12.2020, p. 1)。

Article 112: Evaluation and review / 評価及び見直し

1. The Commission shall assess the need for amendment of the list set out in Annex III and of the list of prohibited AI practices laid down in Article 5, once a year following the entry into force of this Regulation, and until the end of the period of the delegation of power laid down in Article 97. The Commission shall submit the findings of that assessment to the European Parliament and the Council.
1. 委員会は、本規則の効力発生後、第97条に定める権限の委任の期間が終了するまでの間、毎年1回、附属書IIIに定める一覧及び第5条に定める禁止されるAI慣行の一覧の改正の必要性を評価しなければならない。委員会は、当該評価の結果を欧州議会及び理事会に提出しなければならない。
2. By 2 August 2028 and every four years thereafter, the Commission shall evaluate and report to the European Parliament and to the Council on the following:
2. 委員会は、2028年8月2日まで、及びその後4年ごとに、次の事項について評価を行い、欧州議会及び理事会に報告しなければならない。
(a) the need for amendments extending existing area headings or adding new area headings in Annex III;
(a) 附属書IIIの既存の分野見出しを拡張し、又は新たな分野見出しを追加する改正の必要性
(b) amendments to the list of AI systems requiring additional transparency measures in Article 50;
(b) 第50条に定める追加の透明性措置を要するAIシステムの一覧の改正
(c) amendments enhancing the effectiveness of the supervision and governance system.
(c) 監督及びガバナンスの制度の実効性を高める改正
3. By 2 August 2029 and every four years thereafter, the Commission shall submit a report on the evaluation and review of this Regulation to the European Parliament and to the Council. The report shall include an assessment with regard to the structure of enforcement and the possible need for a Union agency to resolve any identified shortcomings. On the basis of the findings, that report shall, where appropriate, be accompanied by a proposal for amendment of this Regulation. The reports shall be made public.
3. 委員会は、2029年8月2日まで、及びその後4年ごとに、本規則の評価及び見直しに関する報告書を欧州議会及び理事会に提出しなければならない。当該報告書には、執行の体制に関する評価、及び特定された欠陥を解消するための連合の機関の必要性の有無を含めなければならない。委員会は、当該評価の結果に基づき、必要に応じて、当該報告書に本規則の改正提案を添付しなければならない。当該報告書は、公表しなければならない。
4. The reports referred to in paragraph 2 shall pay specific attention to the following:
4. 第2項にいう報告書においては、特に次の事項に留意しなければならない。
(a) the status of the financial, technical and human resources of the national competent authorities in order to effectively perform the tasks assigned to them under this Regulation;
(a) 本規則に基づき国内所管当局に割り当てられた任務を効果的に遂行するための、当該当局の財政的、技術的及び人的資源の状況
(b) the state of penalties, in particular administrative fines as referred to in Article 99(1), applied by Member States for infringements of this Regulation;
(b) 本規則の違反に対して加盟国が適用する制裁、特に第99条第1項にいう行政上の制裁金の状況
(c) adopted harmonised standards and common specifications developed to support this Regulation;
(c) 本規則を支援するために策定された、採択済みの整合規格及び共通仕様
(d) the number of undertakings that enter the market after the entry into application of this Regulation, and how many of them are SMEs.
(d) 本規則の適用開始後に市場に参入した事業者の数、及びそのうち中小企業の数
5. By 2 August 2028, the Commission shall evaluate the functioning of the AI Office, whether the AI Office has been given sufficient powers and competences to fulfil its tasks, and whether it would be relevant and needed for the proper implementation and enforcement of this Regulation to upgrade the AI Office and its enforcement competences and to increase its resources. The Commission shall submit a report on its evaluation to the European Parliament and to the Council.
5. 委員会は、2028年8月2日までに、AI室の機能、AI室がその任務を遂行するために十分な権限及び権能を付与されているか否か、並びに本規則の適正な実施及び執行のためにAI室及びその執行権能を強化し、かつ、その資源を増強することが適切かつ必要であるか否かについて評価しなければならない。委員会は、当該評価に関する報告書を欧州議会及び理事会に提出しなければならない。
6. By 2 August 2028 and every four years thereafter, the Commission shall submit a report on the review of the progress on the development of standardisation deliverables on the energy-efficient development of general-purpose AI models, and asses the need for further measures or actions, including binding measures or actions. The report shall be submitted to the European Parliament and to the Council, and it shall be made public.
6. 委員会は、2028年8月2日まで、及びその後4年ごとに、汎用AIモデルのエネルギー効率的な開発に関する標準化成果物の策定の進捗状況の見直しに関する報告書を提出するとともに、拘束的な措置又は行動を含む更なる措置又は行動の必要性を評価しなければならない。当該報告書は、欧州議会及び理事会に提出し、かつ、公表しなければならない。
7. By 2 August 2028 and every three years thereafter, the Commission shall evaluate the impact and effectiveness of voluntary codes of conduct to foster the application of the requirements set out in Chapter III, Section 2 for AI systems other than high-risk AI systems and possibly other additional requirements for AI systems other than high-risk AI systems, including as regards environmental sustainability.
7. 委員会は、2028年8月2日まで、及びその後3年ごとに、高リスクAIシステム以外のAIシステムについて第III章第2節に定める要件の適用を促進するための自主行動規範、並びに環境の持続可能性に関する事項を含む、高リスクAIシステム以外のAIシステムについてのその他の追加的要件があり得る場合はその影響及び実効性を評価しなければならない。
8. For the purposes of paragraphs 1 to 7, the Board, the Member States and national competent authorities shall provide the Commission with information upon its request and without undue delay.
8. 第1項から第7項までの目的のため、AIボード、加盟国及び国内所管当局は、委員会の要請に応じ、不当に遅滞することなく、委員会に情報を提供しなければならない。
9. In carrying out the evaluations and reviews referred to in paragraphs 1 to 7, the Commission shall take into account the positions and findings of the Board, of the European Parliament, of the Council, and of other relevant bodies or sources.
9. 委員会は、第1項から第7項までにいう評価及び見直しを実施するに当たり、AIボード、欧州議会、理事会並びにその他の関連する機関又は情報源の見解及び知見を考慮しなければならない。
10. The Commission shall, if necessary, submit appropriate proposals to amend this Regulation, in particular taking into account developments in technology, the effect of AI systems on health and safety, and on fundamental rights, and in light of the state of progress in the information society.
10. 委員会は、必要な場合には、特に技術の発展、AIシステムが健康及び安全並びに基本的権利に及ぼす影響、及び情報社会の進展状況を考慮に入れて、本規則を改正するための適切な提案を提出しなければならない。
11. To guide the evaluations and reviews referred to in paragraphs 1 to 7 of this Article, the AI Office shall undertake to develop an objective and participative methodology for the evaluation of risk levels based on the criteria outlined in the relevant Articles and the inclusion of new systems in:
11. 本条第1項から第7項までにいう評価及び見直しの指針とするため、AI室は、関連条項に定める基準に基づき、リスクの水準を評価するための客観的かつ参加型の方法論、並びに次の各号に新たなシステムを追加するための方法論を策定することに努めなければならない。
(a) the list set out in Annex III, including the extension of existing area headings or the addition of new area headings in that Annex;
(a) 附属書IIIに定める一覧(当該附属書における既存の分野見出しの拡張又は新たな分野見出しの追加を含む。)
(b) the list of prohibited practices set out in Article 5; and
(b) 第5条に定める禁止される慣行の一覧
(c) the list of AI systems requiring additional transparency measures pursuant to Article 50.
(c) 第50条に基づき追加の透明性措置を要するAIシステムの一覧
12. Any amendment to this Regulation pursuant to paragraph 10, or relevant delegated or implementing acts, which concerns sectoral Union harmonisation legislation listed in Section B of Annex I shall take into account the regulatory specificities of each sector, and the existing governance, conformity assessment and enforcement mechanisms and authorities established therein.
12. 第10項に基づく本規則の改正、又は附属書IのセクションBに掲げる分野別の連合整合化法令に関する関連の委任行為若しくは実施行為は、各分野の規制上の特性、並びに当該法令において確立された既存のガバナンス、適合性評価及び執行の仕組み並びに当局を考慮しなければならない。
13. By 2 August 2031, the Commission shall carry out an assessment of the enforcement of this Regulation and shall report on it to the European Parliament, the Council and the European Economic and Social Committee, taking into account the first years of application of this Regulation. On the basis of the findings, that report shall, where appropriate, be accompanied by a proposal for amendment of this Regulation with regard to the structure of enforcement and the need for a Union agency to resolve any identified shortcomings.
13. 委員会は、2031年8月2日までに、本規則の適用開始後の最初の数年間を考慮に入れて、本規則の執行に関する評価を実施し、欧州議会、理事会及び欧州経済社会評議会に報告しなければならない。委員会は、当該評価の結果に基づき、必要に応じて、執行の体制及び特定された欠陥を解消するための連合の機関の必要性に関する本規則の改正提案を当該報告書に添付しなければならない。

Article 113: Entry into force and application / 効力発生及び適用

This Regulation shall enter into force on the twentieth day following that of its publication in the Official Journal of the European Union. It shall apply from 2 August 2026. However:
本規則は、欧州連合官報への公表の日から20日目に効力を生ずる。 本規則は、2026年8月2日から適用する。 ただし、次の規定は、この限りでない。
2026年改正(a) Chapters I and II shall apply from 2 February 2025, with the exception of Article 5(1), first subparagraph, points (ba) and (bb), and Article 5(1a) and (1b) which shall apply from 2 December 2026;
(a) 第I章及び第II章は、2025年2月2日から適用される。ただし、第5条第1項第1号(ba)及び(bb)並びに第5条第1a項及び第1b項は、2026年12月2日から適用される。
(b) Chapter III Section 4, Chapter V, Chapter VII and Chapter XII and Article 78 shall apply from 2 August 2025, with the exception of Article 101;
(b) 第III章第4節、第V章、第VII章及び第XII章並びに第78条は、第101条を除き、2025年8月2日から適用する。
2026年改正(c) Chapter III, Sections 1, 2, and 3, with the exception of Article 6(5), shall apply from:
(c) 第III章第1節、第2節及び第3節は、第6条第5項を除き、次の日から適用される。
2026年改正(i) 2 December 2027 as regards AI systems classified as high-risk pursuant to Article 6(2) and Annex III; and
(i) 第6条第2項及び附属書IIIに基づき高リスクに分類されるAIシステムについては、2027年12月2日。並びに
2026年改正(ii) 2 August 2028 as regards AI systems classified as high-risk pursuant to Article 6(1) and Annex I;
(ii) 第6条第1項及び附属書Iに基づき高リスクに分類されるAIシステムについては、2028年8月2日
2026年改正(d) Articles 102 to 110 shall apply from 27 July 2026.
(d) 第102条から第110条までは、2026年7月27日から適用される。
This Regulation shall be binding in its entirety and directly applicable in all Member States.
本規則は、その全体において拘束力を有し、すべての加盟国において直接適用可能である。

15 Annex I: List of Union harmonisation legislation / 連合調和法令の一覧

Section A. List of Union harmonisation legislation based on the New Legislative Framework
A部。新立法枠組み(New Legislative Framework)に基づく連合調和法令の一覧
2. Directive 2009/48/EC of the European Parliament and of the Council of 18 June 2009 on the safety of toys (OJ L 170, 30.6.2009, p. 1);
2. 玩具の安全に関する2009年6月18日の欧州議会及び理事会指令2009/48/EC(OJ L 170, 30.6.2009, p. 1)
3. Directive 2013/53/EU of the European Parliament and of the Council of 20 November 2013 on recreational craft and personal watercraft and repealing Directive 94/25/EC (OJ L 354, 28.12.2013, p. 90);
3. レクリエーション用船舶及び水上オートバイに関する2013年11月20日の欧州議会及び理事会指令2013/53/EU(指令94/25/ECを廃止するもの)(OJ L 354, 28.12.2013, p. 90)
4. Directive 2014/33/EU of the European Parliament and of the Council of 26 February 2014 on the harmonisation of the laws of the Member States relating to lifts and safety components for lifts (OJ L 96, 29.3.2014, p. 251);
4. エレベーター及びエレベーター用安全部品に関する加盟国法令の調和に関する2014年2月26日の欧州議会及び理事会指令2014/33/EU(OJ L 96, 29.3.2014, p. 251)
5. Directive 2014/34/EU of the European Parliament and of the Council of 26 February 2014 on the harmonisation of the laws of the Member States relating to equipment and protective systems intended for use in potentially explosive atmospheres (OJ L 96, 29.3.2014, p. 309);
5. 爆発の可能性のある雰囲気内での使用を意図した機器及び保護システムに関する加盟国法令の調和に関する2014年2月26日の欧州議会及び理事会指令2014/34/EU(OJ L 96, 29.3.2014, p. 309)
6. Directive 2014/53/EU of the European Parliament and of the Council of 16 April 2014 on the harmonisation of the laws of the Member States relating to the making available on the market of radio equipment and repealing Directive 1999/5/EC (OJ L 153, 22.5.2014, p. 62);
6. 無線機器の市場での利用可能化に関する加盟国法令の調和に関する2014年4月16日の欧州議会及び理事会指令2014/53/EU(指令1999/5/ECを廃止するもの)(OJ L 153, 22.5.2014, p. 62)
7. Directive 2014/68/EU of the European Parliament and of the Council of 15 May 2014 on the harmonisation of the laws of the Member States relating to the making available on the market of pressure equipment (OJ L 189, 27.6.2014, p. 164);
7. 圧力機器の市場での利用可能化に関する加盟国法令の調和に関する2014年5月15日の欧州議会及び理事会指令2014/68/EU(OJ L 189, 27.6.2014, p. 164)
8. Regulation (EU) 2016/424 of the European Parliament and of the Council of 9 March 2016 on cableway installations and repealing Directive 2000/9/EC (OJ L 81, 31.3.2016, p. 1);
8. 索道施設に関する2016年3月9日の欧州議会及び理事会規則(EU) 2016/424(指令2000/9/ECを廃止するもの)(OJ L 81, 31.3.2016, p. 1)
9. Regulation (EU) 2016/425 of the European Parliament and of the Council of 9 March 2016 on personal protective equipment and repealing Council Directive 89/686/EEC (OJ L 81, 31.3.2016, p. 51);
9. 個人用保護具に関する2016年3月9日の欧州議会及び理事会規則(EU) 2016/425(理事会指令89/686/EECを廃止するもの)(OJ L 81, 31.3.2016, p. 51)
10. Regulation (EU) 2016/426 of the European Parliament and of the Council of 9 March 2016 on appliances burning gaseous fuels and repealing Directive 2009/142/EC (OJ L 81, 31.3.2016, p. 99);
10. ガス燃料を燃焼する機器に関する2016年3月9日の欧州議会及び理事会規則(EU) 2016/426(指令2009/142/ECを廃止するもの)(OJ L 81, 31.3.2016, p. 99)
11. Regulation (EU) 2017/745 of the European Parliament and of the Council of 5 April 2017 on medical devices, amending Directive 2001/83/EC, Regulation (EC) No 178/2002 and Regulation (EC) No 1223/2009 and repealing Council Directives 90/385/EEC and 93/42/EEC (OJ L 117, 5.5.2017, p. 1);
11. 医療機器に関する2017年4月5日の欧州議会及び理事会規則(EU) 2017/745(指令2001/83/EC、規則(EC) No 178/2002及び規則(EC) No 1223/2009を改正し、理事会指令90/385/EEC及び93/42/EECを廃止するもの)(OJ L 117, 5.5.2017, p. 1)
12. Regulation (EU) 2017/746 of the European Parliament and of the Council of 5 April 2017 on in vitro diagnostic medical devices and repealing Directive 98/79/EC and Commission Decision 2010/227/EU (OJ L 117, 5.5.2017, p. 176). Section B. List of other Union harmonisation legislation
12. 体外診断用医療機器に関する2017年4月5日の欧州議会及び理事会規則(EU) 2017/746(指令98/79/EC及び欧州委員会決定2010/227/EUを廃止するもの)(OJ L 117, 5.5.2017, p. 176) B部。その他の連合調和法令の一覧
13. Regulation (EC) No 300/2008 of the European Parliament and of the Council of 11 March 2008 on common rules in the field of civil aviation security and repealing Regulation (EC) No 2320/2002 (OJ L 97, 9.4.2008, p. 72);
13. 民間航空保安のための共通規則に関する2008年3月11日の欧州議会及び理事会規則(EC) No 300/2008(規則(EC) No 2320/2002を廃止するもの)(OJ L 97, 9.4.2008, p. 72)
14. Regulation (EU) No 168/2013 of the European Parliament and of the Council of 15 January 2013 on the approval and market surveillance of two- or three-wheel vehicles and quadricycles (OJ L 60, 2.3.2013, p. 52);
14. 二輪車若しくは三輪車及び四輪車の承認及び市場監視に関する2013年1月15日の欧州議会及び理事会規則(EU) No 168/2013(OJ L 60, 2.3.2013, p. 52)
15. Regulation (EU) No 167/2013 of the European Parliament and of the Council of 5 February 2013 on the approval and market surveillance of agricultural and forestry vehicles (OJ L 60, 2.3.2013, p. 1);
15. 農業用及び林業用車両の承認及び市場監視に関する2013年2月5日の欧州議会及び理事会規則(EU) No 167/2013(OJ L 60, 2.3.2013, p. 1)
16. Directive 2014/90/EU of the European Parliament and of the Council of 23 July 2014 on marine equipment and repealing Council Directive 96/98/EC (OJ L 257, 28.8.2014, p. 146);
16. 船舶用機器に関する2014年7月23日の欧州議会及び理事会指令2014/90/EU(理事会指令96/98/ECを廃止するもの)(OJ L 257, 28.8.2014, p. 146)
17. Directive (EU) 2016/797 of the European Parliament and of the Council of 11 May 2016 on the interoperability of the rail system within the European Union (OJ L 138, 26.5.2016, p. 44);
17. 欧州連合内における鉄道システムの相互運用性に関する2016年5月11日の欧州議会及び理事会指令(EU) 2016/797(OJ L 138, 26.5.2016, p. 44)
18. Regulation (EU) 2018/858 of the European Parliament and of the Council of 30 May 2018 on the approval and market surveillance of motor vehicles and their trailers, and of systems, components and separate technical units intended for such vehicles, amending Regulations (EC) No 715/2007 and (EC) No 595/2009 and repealing Directive 2007/46/EC (OJ L 151, 14.6.2018, p. 1);
18. 自動車及びそのトレーラー並びにこれらの車両を対象とするシステム、構成部品及び別個の技術ユニットの承認及び市場監視に関する2018年5月30日の欧州議会及び理事会規則(EU) 2018/858(規則(EC) No 715/2007及び(EC) No 595/2009を改正し、指令2007/46/ECを廃止するもの)(OJ L 151, 14.6.2018, p. 1)
19. Regulation (EU) 2019/2144 of the European Parliament and of the Council of 27 November 2019 on type-approval requirements for motor vehicles and their trailers, and systems, components and separate technical units intended for such vehicles, as regards their general safety and the protection of vehicle occupants and vulnerable road users, amending Regulation (EU) 2018/858 of the European Parliament and of the Council and repealing Regulations (EC) No 78/2009, (EC) No 79/2009 and (EC) No 661/2009 of the European Parliament and of the Council and Commission Regulations (EC) No 631/2009, (EU) No 406/2010, (EU) No 672/2010, (EU) No 1003/2010, (EU) No 1005/2010, (EU) No 1008/2010, (EU) No 1009/2010, (EU) No 19/2011, (EU) No 109/2011, (EU) No 458/2011, (EU) No 65/2012, (EU) No 130/2012, (EU) No 347/2012, (EU) No 351/2012, (EU) No 1230/2012 and (EU) 2015/166 (OJ L 325, 16.12.2019, p. 1);
19. 自動車及びそのトレーラー並びにこれらの車両を対象とするシステム、構成部品及び別個の技術ユニットについて、一般的安全性並びに車両乗員及び脆弱な道路利用者の保護に関する型式承認要件に関する2019年11月27日の欧州議会及び理事会規則(EU) 2019/2144(欧州議会及び理事会規則(EU) 2018/858を改正し、欧州議会及び理事会規則(EC) No 78/2009、(EC) No 79/2009及び(EC) No 661/2009、並びに欧州委員会規則(EC) No 631/2009、(EU) No 406/2010、(EU) No 672/2010、(EU) No 1003/2010、(EU) No 1005/2010、(EU) No 1008/2010、(EU) No 1009/2010、(EU) No 19/2011、(EU) No 109/2011、(EU) No 458/2011、(EU) No 65/2012、(EU) No 130/2012、(EU) No 347/2012、(EU) No 351/2012、(EU) No 1230/2012及び(EU) 2015/166を廃止するもの)(OJ L 325, 16.12.2019, p. 1)
20. Regulation (EU) 2018/1139 of the European Parliament and of the Council of 4 July 2018 on common rules in the field of civil aviation and establishing a European Union Aviation Safety Agency, and amending Regulations (EC) No 2111/2005, (EC) No 1008/2008, (EU) No 996/2010, (EU) No 376/2014 and Directives 2014/30/EU and 2014/53/EU of the European Parliament and of the Council, and repealing Regulations (EC) No 552/2004 and (EC) No 216/2008 of the European Parliament and of the Council and Council Regulation (EEC) No 3922/91 (OJ L 212, 22.8.2018, p. 1), in so far as the design, production and placing on the market of aircrafts referred to in Article 2(1), points (a) and (b) thereof, where it concerns unmanned aircraft and their engines, propellers, parts and equipment to control them remotely, are concerned;
20. 民間航空の分野における共通規則を定め、欧州連合航空安全機関を設立し、並びに欧州議会及び理事会の規則(EC)No 2111/2005、(EC)No 1008/2008、(EU)No 996/2010、(EU)No 376/2014並びに欧州議会及び理事会の指令2014/30/EU及び2014/53/EUを改正し、並びに欧州議会及び理事会の規則(EC)No 552/2004及び(EC)No 216/2008並びに理事会規則(EEC)No 3922/91を廃止する2018年7月4日の欧州議会及び理事会の規則(EU)2018/1139(OJ L 212, 22.8.2018, p. 1)。ただし、同規則第2条第1項(a)号及び(b)号にいう航空機の設計、製造及び上市に関する限りにおいて、無人航空機並びにそれらを遠隔操縦するためのエンジン、プロペラ、部品及び機器に係るものに限る。
2026年改正21. Regulation (EU) 2023/1230 of the European Parliament and of the Council of 14 June 2023 on machinery and repealing Directive 2006/42/EC of the European Parliament and of the Council and Council Directive 73/361/EEC (OJ L 165, 29.6.2023, p. 1, ELI: http://data.europa.eu/eli/reg/2023/1230/oj).
21. 機械に関し、かつ欧州議会及び理事会の指令2006/42/EC並びに理事会指令73/361/EECを廃止する2023年6月14日の欧州議会及び理事会の規則(EU)2023/1230(OJ L 165, 29.6.2023, p. 1, ELI: http://data.europa.eu/eli/reg/2023/1230/oj)。

16 Annex II: List of criminal offences referred to in Article 5(1), first subparagraph, point (h)(iii) / 第5条第1項第1号(h)(iii)にいう犯罪行為の一覧

Criminal offences referred to in Article 5(1), first subparagraph, point (h)(iii): — terrorism, — trafficking in human beings, — sexual exploitation of children, and child pornography, — illicit trafficking in narcotic drugs or psychotropic substances, — illicit trafficking in weapons, munitions or explosives, — murder, grievous bodily injury, — illicit trade in human organs or tissue, — illicit trafficking in nuclear or radioactive materials, — kidnapping, illegal restraint or hostage-taking, — crimes within the jurisdiction of the International Criminal Court, — unlawful seizure of aircraft or ships, — rape, — environmental crime, — organised or armed robbery, — sabotage, — participation in a criminal organisation involved in one or more of the offences listed above.
第5条第1項第1号(h)(iii)にいう犯罪行為は、次のとおりとする。 — テロリズム — 人身売買 — 児童の性的搾取及び児童ポルノ — 麻薬又は向精神物質の不正取引 — 武器、弾薬又は爆発物の不正取引 — 殺人、重傷害 — 人体の臓器又は組織の不正取引 — 核物質又は放射性物質の不正取引 — 誘拐、不法監禁又は人質立てこもり — 国際刑事裁判所の管轄に属する犯罪 — 航空機又は船舶の不法な奪取 — 強姦 — 環境犯罪 — 組織的犯罪又は武装強盗 — 妨害行為(サボタージュ) — 上記に掲げる犯罪の一つ又は複数に関与する犯罪組織への参加

17 Annex III: High-risk AI systems referred to in Article 6(2) / 第6条第2項にいうハイリスクAIシステム

High-risk AI systems pursuant to Article 6(2) are the AI systems listed in any of the following areas:
第6条第2項に基づくハイリスクAIシステムとは、次のいずれかの分野に掲げるAIシステムをいう。
1. Biometrics, in so far as their use is permitted under relevant Union or national law:
1. 生体データ(バイオメトリクス)。ただし、その使用が関連する連合法又は国内法において許容される場合に限る。
(a) remote biometric identification systems. This shall not include AI systems intended to be used for biometric verification the sole purpose of which is to confirm that a specific natural person is the person he or she claims to be;
(a) 遠隔生体識別システム。 これには、特定の自然人が本人であると主張する者と同一であることを確認することのみを目的とする生体認証(本人確認)に使用することを意図したAIシステムは含まれない。
(b) AI systems intended to be used for biometric categorisation, according to sensitive or protected attributes or characteristics based on the inference of those attributes or characteristics;
(b) 機微な若しくは保護された属性若しくは特性、又はそれらの推論に基づく属性若しくは特性による生体分類に使用することを意図したAIシステム。
(c) AI systems intended to be used for emotion recognition.
(c) 感情認識に使用することを意図したAIシステム。
2. Critical infrastructure: AI systems intended to be used as safety components in the management and operation of critical digital infrastructure, road traffic, or in the supply of water, gas, heating or electricity.
2. 重要インフラ: 重要なデジタルインフラ、道路交通の管理及び運用、又は水、ガス、暖房若しくは電力の供給における安全部品として使用することを意図したAIシステム。
3. Education and vocational training:
3. 教育及び職業訓練:
(a) AI systems intended to be used to determine access or admission or to assign natural persons to educational and vocational training institutions at all levels;
(a) あらゆる段階の教育機関及び職業訓練機関への入学若しくは受入れの可否を判断するため、又は自然人を割り当てるために使用することを意図したAIシステム。
(b) AI systems intended to be used to evaluate learning outcomes, including when those outcomes are used to steer the learning process of natural persons in educational and vocational training institutions at all levels;
(b) 学習成果を評価するために使用することを意図したAIシステム。その成果があらゆる段階の教育機関及び職業訓練機関における自然人の学習過程を方向付けるために用いられる場合を含む。
(c) AI systems intended to be used for the purpose of assessing the appropriate level of education that an individual will receive or will be able to access, in the context of or within educational and vocational training institutions at all levels;
(c) あらゆる段階の教育機関及び職業訓練機関において又はこれに関連して、個人が受ける又はアクセスし得る適切な教育水準を評価する目的で使用することを意図したAIシステム。
(d) AI systems intended to be used for monitoring and detecting prohibited behaviour of students during tests in the context of or within educational and vocational training institutions at all levels.
(d) あらゆる段階の教育機関及び職業訓練機関において又はこれに関連して、試験中の学生による禁止行為を監視し、及び検知するために使用することを意図したAIシステム。
4. Employment, workers’ management and access to self-employment:
4. 雇用、労働者管理及び自営業へのアクセス:
(a) AI systems intended to be used for the recruitment or selection of natural persons, in particular to place targeted job advertisements, to analyse and filter job applications, and to evaluate candidates;
(a) 自然人の採用又は選考のために使用することを意図したAIシステム。特に、対象を絞った求人広告の掲載、応募書類の分析及び選別、並びに候補者の評価のために使用するものを含む。
(b) AI systems intended to be used to make decisions affecting terms of work-related relationships, the promotion or termination of work-related contractual relationships, to allocate tasks based on individual behaviour or personal traits or characteristics or to monitor and evaluate the performance and behaviour of persons in such relationships.
(b) 労働関係の条件に影響を及ぼす決定を行うため、労働契約関係の昇進若しくは終了に関する決定を行うため、個人の行動若しくは人的特性若しくは特徴に基づき業務を割り当てるため、又はそのような関係にある者の実績及び行動を監視し、及び評価するために使用することを意図したAIシステム。
5. Access to and enjoyment of essential private services and essential public services and benefits:
5. 不可欠な民間サービス並びに不可欠な公的サービス及び給付へのアクセス及び享受:
(a) AI systems intended to be used by public authorities or on behalf of public authorities to evaluate the eligibility of natural persons for essential public assistance benefits and services, including healthcare services, as well as to grant, reduce, revoke, or reclaim such benefits and services;
(a) 公的機関により又はその代理として、自然人の不可欠な公的扶助給付及びサービス(医療サービスを含む。)に対する受給資格を評価するため、並びにそのような給付及びサービスの付与、減額、取消し又は返還請求を行うために使用することを意図したAIシステム。
(b) AI systems intended to be used to evaluate the creditworthiness of natural persons or establish their credit score, with the exception of AI systems used for the purpose of detecting financial fraud;
(b) 自然人の信用力を評価し、又はその信用スコアを算定するために使用することを意図したAIシステム。ただし、金融詐欺の検知を目的として使用されるAIシステムを除く。
(c) AI systems intended to be used for risk assessment and pricing in relation to natural persons in the case of life and health insurance;
(c) 生命保険及び医療保険に関して、自然人についてのリスク評価及び保険料算定のために使用することを意図したAIシステム。
(d) AI systems intended to evaluate and classify emergency calls by natural persons or to be used to dispatch, or to establish priority in the dispatching of, emergency first response services, including by police, firefighters and medical aid, as well as of emergency healthcare patient triage systems.
(d) 自然人による緊急通報を評価し、及び分類するため、又は警察、消防及び救急医療を含む緊急初動対応サービスの派遣若しくはその優先順位付けのために使用することを意図したAIシステム、並びに緊急医療患者トリアージシステム。
6. Law enforcement, in so far as their use is permitted under relevant Union or national law:
6. 法執行。ただし、その使用が関連する連合法又は国内法において許容される場合に限る。
(a) AI systems intended to be used by or on behalf of law enforcement authorities, or by Union institutions, bodies, offices or agencies in support of law enforcement authorities or on their behalf to assess the risk of a natural person becoming the victim of criminal offences;
(a) 法執行当局により若しくはその代理として、又は法執行当局を支援する連合の機関、団体、事務所若しくは機関により若しくはその代理として、自然人が犯罪の被害者となるリスクを評価するために使用することを意図したAIシステム。
(b) AI systems intended to be used by or on behalf of law enforcement authorities or by Union institutions, bodies, offices or agencies in support of law enforcement authorities as polygraphs or similar tools;
(b) 法執行当局により若しくはその代理として、又は法執行当局を支援する連合の機関、団体、事務所若しくは機関により、ポリグラフ又は類似の手段として使用することを意図したAIシステム。
(c) AI systems intended to be used by or on behalf of law enforcement authorities, or by Union institutions, bodies, offices or agencies, in support of law enforcement authorities to evaluate the reliability of evidence in the course of the investigation or prosecution of criminal offences;
(c) 法執行当局により若しくはその代理として、又は法執行当局を支援する連合の機関、団体、事務所若しくは機関により、犯罪の捜査又は訴追の過程における証拠の信頼性を評価するために使用することを意図したAIシステム。
(d) AI systems intended to be used by law enforcement authorities or on their behalf or by Union institutions, bodies, offices or agencies in support of law enforcement authorities for assessing the risk of a natural person offending or re-offending not solely on the basis of the profiling of natural persons as referred to in Article 3(4) of Directive (EU) 2016/680, or to assess personality traits and characteristics or past criminal behaviour of natural persons or groups;
(d) 法執行当局により若しくはその代理として、又は法執行当局を支援する連合の機関、団体、事務所若しくは機関により、指令(EU) 2016/680第3条(4)にいう自然人のプロファイリングのみに基づかない方法で自然人が犯罪を行い若しくは再犯するリスクを評価するため、又は自然人若しくは集団の人格特性、特徴若しくは過去の犯罪行動を評価するために使用することを意図したAIシステム。
(e) AI systems intended to be used by or on behalf of law enforcement authorities or by Union institutions, bodies, offices or agencies in support of law enforcement authorities for the profiling of natural persons as referred to in Article 3(4) of Directive (EU) 2016/680 in the course of the detection, investigation or prosecution of criminal offences.
(e) 法執行当局により若しくはその代理として、又は法執行当局を支援する連合の機関、団体、事務所若しくは機関により、犯罪の検知、捜査又は訴追の過程において、指令(EU) 2016/680第3条(4)にいう自然人のプロファイリングのために使用することを意図したAIシステム。
7. Migration, asylum and border control management, in so far as their use is permitted under relevant Union or national law:
7. 移民、庇護及び国境管理。ただし、その使用が関連する連合法又は国内法において許容される場合に限る。
(a) AI systems intended to be used by or on behalf of competent public authorities or by Union institutions, bodies, offices or agencies as polygraphs or similar tools;
(a) 所管公的機関により若しくはその代理として、又は連合の機関、団体、事務所若しくは機関により、ポリグラフ又は類似の手段として使用することを意図したAIシステム。
(b) AI systems intended to be used by or on behalf of competent public authorities or by Union institutions, bodies, offices or agencies to assess a risk, including a security risk, a risk of irregular migration, or a health risk, posed by a natural person who intends to enter or who has entered into the territory of a Member State;
(b) 所管公的機関により若しくはその代理として、又は連合の機関、団体、事務所若しくは機関により、加盟国の領域に入国しようとし、又は入国した自然人がもたらすリスク(安全保障上のリスク、非正規移民のリスク又は保健上のリスクを含む。)を評価するために使用することを意図したAIシステム。
(c) AI systems intended to be used by or on behalf of competent public authorities or by Union institutions, bodies, offices or agencies to assist competent public authorities for the examination of applications for asylum, visa or residence permits and for associated complaints with regard to the eligibility of the natural persons applying for a status, including related assessments of the reliability of evidence;
(c) 所管公的機関により若しくはその代理として、又は連合の機関、団体、事務所若しくは機関により、庇護、査証若しくは在留許可の申請及びこれに関連する不服申立てについて、地位を申請する自然人の資格に関する審査(証拠の信頼性に関する関連評価を含む。)を所管公的機関が行うことを支援するために使用することを意図したAIシステム。
(d) AI systems intended to be used by or on behalf of competent public authorities, or by Union institutions, bodies, offices or agencies, in the context of migration, asylum or border control management, for the purpose of detecting, recognising or identifying natural persons, with the exception of the verification of travel documents.
(d) 所管公的機関により若しくはその代理として、又は連合の機関、団体、事務所若しくは機関により、移民、庇護又は国境管理に関連して、自然人の検知、認識又は識別を目的として使用することを意図したAIシステム。ただし、渡航文書の確認を目的とするものを除く。
8. Administration of justice and democratic processes:
8. 司法運営及び民主的手続:
(a) AI systems intended to be used by a judicial authority or on their behalf to assist a judicial authority in researching and interpreting facts and the law and in applying the law to a concrete set of facts, or to be used in a similar way in alternative dispute resolution;
(a) 司法当局により又はその代理として、事実及び法の調査及び解釈並びに具体的な事実関係への法の適用を支援するために使用することを意図したAIシステム、又は代替的紛争解決において同様の方法で使用することを意図したAIシステム。
(b) AI systems intended to be used for influencing the outcome of an election or referendum or the voting behaviour of natural persons in the exercise of their vote in elections or referenda. This does not include AI systems to the output of which natural persons are not directly exposed, such as tools used to organise, optimise or structure political campaigns from an administrative or logistical point of view.
(b) 選挙若しくは国民投票の結果、又は選挙若しくは国民投票における投票権の行使に係る自然人の投票行動に影響を与えるために使用することを意図したAIシステム。ただし、政治キャンペーンを運営上又は事務手続上の観点から組織し、最適化し、又は構成するために用いられるツールなど、自然人がその出力に直接さらされることのないAIシステムは、これに含まれない。

18 Annex IV: Technical documentation referred to in Article 11(1) / 第11条第1項にいう技術文書

The technical documentation referred to in Article 11(1) shall contain at least the following information, as applicable to the relevant AI system:
第11条第1項にいう技術文書は、該当するAIシステムに応じて、少なくとも次の情報を含まなければならない。
1. A general description of the AI system including:
1. 次の事項を含むAIシステムの一般的な説明:
(a) its intended purpose, the name of the provider and the version of the system reflecting its relation to previous versions;
(a) その意図された目的、提供者の名称、及び従前のバージョンとの関係を反映したシステムのバージョン。
(b) how the AI system interacts with, or can be used to interact with, hardware or software, including with other AI systems, that are not part of the AI system itself, where applicable;
(b) AIシステムがハードウェア若しくはソフトウェア(当該AIシステム自体の一部でない他のAIシステムを含む。)とどのように相互作用するか、又はそれらと相互作用させるために使用され得るか(該当する場合)。
(c) the versions of relevant software or firmware, and any requirements related to version updates;
(c) 関連するソフトウェア又はファームウェアのバージョン、及びバージョン更新に関する要件。
(d) the description of all the forms in which the AI system is placed on the market or put into service, such as software packages embedded into hardware, downloads, or APIs;
(d) AIシステムが市場に出され又は使用に供される全ての形態の説明(ハードウェアに組み込まれたソフトウェアパッケージ、ダウンロード又はAPIなど)。
(e) the description of the hardware on which the AI system is intended to run;
(e) AIシステムの実行を意図したハードウェアの説明。
(f) where the AI system is a component of products, photographs or illustrations showing external features, the marking and internal layout of those products;
(f) AIシステムが製品の構成部品である場合には、それらの製品の外観、マーキング及び内部配置を示す写真又は図。
(g) a basic description of the user-interface provided to the deployer;
(g) 導入者に提供されるユーザーインターフェースの基本的な説明。
(h) instructions for use for the deployer, and a basic description of the user-interface provided to the deployer, where applicable;
(h) 導入者向けの使用説明書、及び該当する場合には導入者に提供されるユーザーインターフェースの基本的な説明。
2. A detailed description of the elements of the AI system and of the process for its development, including:
2. AIシステムの要素及びその開発過程に関する詳細な説明であって、次の事項を含むもの:
(a) the methods and steps performed for the development of the AI system, including, where relevant, recourse to pre-trained systems or tools provided by third parties and how those were used, integrated or modified by the provider;
(a) AIシステムの開発のために実施された方法及び手順。該当する場合には、第三者が提供する事前学習済みのシステム又はツールの利用、並びに提供者によるそれらの使用、統合又は改変の方法を含む。
(b) the design specifications of the system, namely the general logic of the AI system and of the algorithms; the key design choices including the rationale and assumptions made, including with regard to persons or groups of persons in respect of who, the system is intended to be used; the main classification choices; what the system is designed to optimise for, and the relevance of the different parameters; the description of the expected output and output quality of the system; the decisions about any possible trade-off made regarding the technical solutions adopted to comply with the requirements set out in Chapter III, Section 2;
(b) システムの設計仕様、すなわちAIシステム及びアルゴリズムの一般的なロジック。主要な設計上の選択(その根拠及び前提を含み、システムの使用が意図される者又は集団に関するものを含む。)。主な分類の選択。システムが最適化するよう設計されている対象、及び異なるパラメータの関連性。システムの期待される出力及び出力の品質の説明。第III章第2節に定める要件を遵守するために採用された技術的解決策に関して行われたあらゆるトレードオフに関する判断。
(c) the description of the system architecture explaining how software components build on or feed into each other and integrate into the overall processing; the computational resources used to develop, train, test and validate the AI system;
(c) ソフトウェア構成要素が相互にどのように構築され、又は連携し、全体の処理にどのように統合されるかを説明するシステムアーキテクチャの説明。AIシステムの開発、学習、試験及び検証に使用された計算資源。
(d) where relevant, the data requirements in terms of datasheets describing the training methodologies and techniques and the training data sets used, including a general description of these data sets, information about their provenance, scope and main characteristics; how the data was obtained and selected; labelling procedures (e.g. for supervised learning), data cleaning methodologies (e.g. outliers detection);
(d) 該当する場合には、学習方法及び技法並びに使用された学習用データセットを記述するデータシートに関するデータ要件。これらのデータセットの一般的な説明、その出所、範囲及び主要な特性に関する情報、データの取得及び選択方法、ラベル付けの手順(教師あり学習の場合等)、データクリーニングの方法(外れ値検出等)を含む。
(e) assessment of the human oversight measures needed in accordance with Article 14, including an assessment of the technical measures needed to facilitate the interpretation of the outputs of AI systems by the deployers, in accordance with Article 13(3), point (d);
(e) 第14条に従って必要とされる人的監視措置の評価。第13条第3項(d)に従い、導入者によるAIシステムの出力の解釈を容易にするために必要な技術的措置の評価を含む。
(f) where applicable, a detailed description of pre-determined changes to the AI system and its performance, together with all the relevant information related to the technical solutions adopted to ensure continuous compliance of the AI system with the relevant requirements set out in Chapter III, Section 2;
(f) 該当する場合には、AIシステム及びその性能に対するあらかじめ定められた変更に関する詳細な説明、並びに第III章第2節に定める関連要件へのAIシステムの継続的な適合を確保するために採用された技術的解決策に関する全ての関連情報。
(g) the validation and testing procedures used, including information about the validation and testing data used and their main characteristics; metrics used to measure accuracy, robustness and compliance with other relevant requirements set out in Chapter III, Section 2, as well as potentially discriminatory impacts; test logs and all test reports dated and signed by the responsible persons, including with regard to pre-determined changes as referred to under point (f);
(g) 使用された検証及び試験の手順(使用された検証用及び試験用データ並びにその主要な特性に関する情報を含む。)。正確性、堅牢性及び第III章第2節に定めるその他の関連要件への適合性、並びに潜在的な差別的影響を測定するために使用された指標。責任者が日付を付して署名した試験記録及び全ての試験報告書((f)にいうあらかじめ定められた変更に関するものを含む。)。
(h) cybersecurity measures put in place;
(h) 講じられたサイバーセキュリティ対策。
3. Detailed information about the monitoring, functioning and control of the AI system, in particular with regard to: its capabilities and limitations in performance, including the degrees of accuracy for specific persons or groups of persons on which the system is intended to be used and the overall expected level of accuracy in relation to its intended purpose; the foreseeable unintended outcomes and sources of risks to health and safety, fundamental rights and discrimination in view of the intended purpose of the AI system; the human oversight measures needed in accordance with Article 14, including the technical measures put in place to facilitate the interpretation of the outputs of AI systems by the deployers; specifications on input data, as appropriate;
3. AIシステムの監視、機能及び制御に関する詳細な情報であって、特に次の事項に関するもの: その性能上の能力及び限界。システムの使用が意図される特定の者又は集団についての正確性の程度、及びその意図された目的に関連する全体的な期待正確性の水準を含む。AIシステムの意図された目的に照らして予見し得る意図しない結果、並びに健康及び安全、基本的権利及び差別に対するリスクの発生源。第14条に従って必要とされる人的監視措置。導入者によるAIシステムの出力の解釈を容易にするために講じられた技術的措置を含む。入力データに関する仕様(適宜)。
4. A description of the appropriateness of the performance metrics for the specific AI system;
4. 特定のAIシステムに対する性能指標の適切性の説明。
5. A detailed description of the risk management system in accordance with Article 9;
5. 第9条に従ったリスクマネジメントシステムの詳細な説明。
6. A description of relevant changes made by the provider to the system through its lifecycle;
6. 提供者がシステムのライフサイクルを通じて行った関連する変更の説明。
7. A list of the harmonised standards applied in full or in part the references of which have been published in the Official Journal of the European Union; where no such harmonised standards have been applied, a detailed description of the solutions adopted to meet the requirements set out in Chapter III, Section 2, including a list of other relevant standards and technical specifications applied;
7. 全部又は一部が適用され、その参照が欧州連合官報に公表された整合規格の一覧。当該整合規格が適用されていない場合には、第III章第2節に定める要件を満たすために採用された解決策の詳細な説明。適用されたその他の関連規格及び技術仕様の一覧を含む。
8. A copy of the EU declaration of conformity referred to in Article 47;
8. 第47条にいうEU適合宣言の写し。
9. A detailed description of the system in place to evaluate the AI system performance in the post-market phase in accordance with Article 72, including the post-market monitoring plan referred to in Article 72(3).
9. 第72条に従って市販後の段階においてAIシステムの性能を評価するために設けられた体制の詳細な説明。第72条第3項にいう市販後監視計画を含む。

19 Annex V: EU declaration of conformity / EU適合宣言

The EU declaration of conformity referred to in Article 47, shall contain all of the following information:
第47条にいうEU適合宣言は、次の全ての情報を含まなければならない。
1. AI system name and type and any additional unambiguous reference allowing the identification and traceability of the AI system;
1. AIシステムの名称及び種類、並びにAIシステムの識別及びトレーサビリティを可能にするその他の明確な参照情報。
2. The name and address of the provider or, where applicable, of their authorised representative;
2. 提供者の名称及び住所、並びに該当する場合にはその認定代理人の名称及び住所。
3. A statement that the EU declaration of conformity referred to in Article 47 is issued under the sole responsibility of the provider;
3. 第47条にいうEU適合宣言が提供者の単独の責任の下に発行される旨の陳述。
4. A statement that the AI system is in conformity with this Regulation and, if applicable, with any other relevant Union law that provides for the issuing of the EU declaration of conformity referred to in Article 47;
4. AIシステムが本規則に適合していること、及び該当する場合には第47条にいうEU適合宣言の発行を定めるその他の関連する連合法に適合していることの陳述。
5. Where an AI system involves the processing of personal data, a statement that that AI system complies with Regulations (EU) 2016/679 and (EU) 2018/1725 and Directive (EU) 2016/680;
5. AIシステムが個人データの処理を伴う場合には、当該AIシステムが規則(EU) 2016/679及び規則(EU) 2018/1725並びに指令(EU) 2016/680に適合している旨の陳述。
6. References to any relevant harmonised standards used or any other common specification in relation to which conformity is declared;
6. 適合が宣言される関連整合規格又はその他の共通仕様への参照。
7. Where applicable, the name and identification number of the notified body, a description of the conformity assessment procedure performed, and identification of the certificate issued;
7. 該当する場合には、届出機関の名称及び識別番号、実施された適合性評価手続の説明、並びに発行された証明書の識別情報。
8. The place and date of issue of the declaration, the name and function of the person who signed it, as well as an indication for, or on behalf of whom, that person signed, a signature.
8. 宣言の発行場所及び発行日、署名者の氏名及び役職、並びに当該署名者が誰のために又は誰を代理して署名したかを示す表示及び署名。

20 Annex VI: Conformity assessment procedure based on internal control / 内部管理に基づく適合性評価手続

1. The conformity assessment procedure based on internal control is the conformity assessment procedure based on points 2, 3 and 4.
1. 内部管理に基づく適合性評価手続とは、2、3及び4に基づく適合性評価手続をいう。
2. The provider verifies that the established quality management system is in compliance with the requirements of Article 17.
2. 提供者は、確立された品質マネジメントシステムが第17条の要件に適合していることを検証しなければならない。
3. The provider examines the information contained in the technical documentation in order to assess the compliance of the AI system with the relevant essential requirements set out in Chapter III, Section 2.
3. 提供者は、AIシステムが第III章第2節に定める関連する必須要件に適合しているかを評価するため、技術文書に含まれる情報を検討しなければならない。
4. The provider also verifies that the design and development process of the AI system and its post-market monitoring as referred to in Article 72 is consistent with the technical documentation.
4. 提供者は、AIシステムの設計及び開発過程並びに第72条にいう市販後監視が技術文書と整合していることについても検証しなければならない。

21 Annex VII: Conformity based on an assessment of the quality management system and an assessment of the technical documentation / 品質マネジメントシステムの評価及び技術文書の評価に基づく適合性

1. Introduction Conformity based on an assessment of the quality management system and an assessment of the technical documentation is the conformity assessment procedure based on points 2 to 5.
1. 序 品質管理システムの評価及び技術文書の評価に基づく適合性は、第2号から第5号までに基づく適合性評価手続である。
2. Overview The approved quality management system for the design, development and testing of AI systems pursuant to Article 17 shall be examined in accordance with point 3 and shall be subject to surveillance as specified in point 5. The technical documentation of the AI system shall be examined in accordance with point 4.
2. 概要 第17条に基づくAIシステムの設計、開発及び試験のために承認された品質管理システムは、第3号に従って審査されるものとし、かつ第5号に定めるところにより監視の対象となるものとする。AIシステムの技術文書は、第4号に従って審査されるものとする。
3. Quality management system 3.1. The application of the provider shall include:
3. 品質管理システム 3.1. 提供者の申請には、次の事項を含めるものとする。
(a) the name and address of the provider and, if the application is lodged by an authorised representative, also their name and address;
(a) 提供者の名称及び住所、並びに、申請が授権代理人により行われる場合には、当該授権代理人の名称及び住所
(b) the list of AI systems covered under the same quality management system;
(b) 同一の品質管理システムの対象となるAIシステムの一覧
(c) the technical documentation for each AI system covered under the same quality management system;
(c) 同一の品質管理システムの対象となる各AIシステムに係る技術文書
(d) the documentation concerning the quality management system which shall cover all the aspects listed under Article 17;
(d) 第17条に列挙されたすべての側面を網羅する品質管理システムに関する文書
(e) a description of the procedures in place to ensure that the quality management system remains adequate and effective;
(e) 品質管理システムが適切かつ有効であり続けることを確保するために設けられている手続の記述
(f) a written declaration that the same application has not been lodged with any other notified body. 3.2. The quality management system shall be assessed by the notified body, which shall determine whether it satisfies the requirements referred to in Article 17. The decision shall be notified to the provider or its authorised representative. The notification shall contain the conclusions of the assessment of the quality management system and the reasoned assessment decision. 3.3. The quality management system as approved shall continue to be implemented and maintained by the provider so that it remains adequate and efficient. 3.4. Any intended change to the approved quality management system or the list of AI systems covered by the latter shall be brought to the attention of the notified body by the provider. The proposed changes shall be examined by the notified body, which shall decide whether the modified quality management system continues to satisfy the requirements referred to in point 3.2 or whether a reassessment is necessary. The notified body shall notify the provider of its decision. The notification shall contain the conclusions of the examination of the changes and the reasoned assessment decision.
(f) 同一の申請が他の届出機関に提出されていない旨の書面による宣言。 3.2. 品質管理システムは届出機関により評価されるものとし、届出機関は、当該システムが第17条に規定する要件を満たすか否かを決定するものとする。当該決定は、提供者又はその授権代理人に通知されるものとする。当該通知には、品質管理システムの評価の結論及び理由を付した評価決定を含めるものとする。 3.3. 承認された品質管理システムは、それが適切かつ効果的であり続けるよう、提供者により引き続き実施及び維持されるものとする。 3.4. 承認された品質管理システム又はそれが対象とするAIシステムの一覧に予定される変更は、提供者により届出機関に通知されるものとする。 提案された変更は届出機関により審査されるものとし、届出機関は、変更後の品質管理システムが3.2に規定する要件を引き続き満たすか否か、又は再評価が必要か否かを決定するものとする。届出機関は、その決定を提供者に通知するものとする。当該通知には、変更の審査の結論及び理由を付した評価決定を含めるものとする。
4. Control of the technical documentation. 4.1. In addition to the application referred to in point 3, an application with a notified body of their choice shall be lodged by the provider for the assessment of the technical documentation relating to the AI system which the provider intends to place on the market or put into service and which is covered by the quality management system referred to under point 3. 4.2. The application shall include:
4. 技術文書の管理 4.1. 第3号に規定する申請に加え、提供者は、上市し又は供用を開始することを意図し、かつ第3号に規定する品質管理システムの対象となるAIシステムに関する技術文書の評価のため、自ら選択する届出機関に対し申請を提出するものとする。 4.2. 当該申請には、次の事項を含めるものとする。
(a) the name and address of the provider;
(a) 提供者の名称及び住所
(b) a written declaration that the same application has not been lodged with any other notified body;
(b) 同一の申請が他の届出機関に提出されていない旨の書面による宣言
(c) the technical documentation referred to in Annex IV. 4.3. The technical documentation shall be examined by the notified body. Where relevant, and limited to what is necessary to fulfil its tasks, the notified body shall be granted full access to the training, validation, and testing data sets used, including, where appropriate and subject to security safeguards, through API or other relevant technical means and tools enabling remote access. 4.4. In examining the technical documentation, the notified body may require that the provider supply further evidence or carry out further tests so as to enable a proper assessment of the conformity of the AI system with the requirements set out in Chapter III, Section 2. Where the notified body is not satisfied with the tests carried out by the provider, the notified body shall itself directly carry out adequate tests, as appropriate. 4.5. Where necessary to assess the conformity of the high-risk AI system with the requirements set out in Chapter III, Section 2, after all other reasonable means to verify conformity have been exhausted and have proven to be insufficient, and upon a reasoned request, the notified body shall also be granted access to the training and trained models of the AI system, including its relevant parameters. Such access shall be subject to existing Union law on the protection of intellectual property and trade secrets. 4.6. The decision of the notified body shall be notified to the provider or its authorised representative. The notification shall contain the conclusions of the assessment of the technical documentation and the reasoned assessment decision. Where the AI system is in conformity with the requirements set out in Chapter III, Section 2, the notified body shall issue a Union technical documentation assessment certificate. The certificate shall indicate the name and address of the provider, the conclusions of the examination, the conditions (if any) for its validity and the data necessary for the identification of the AI system. The certificate and its annexes shall contain all relevant information to allow the conformity of the AI system to be evaluated, and to allow for control of the AI system while in use, where applicable. Where the AI system is not in conformity with the requirements set out in Chapter III, Section 2, the notified body shall refuse to issue a Union technical documentation assessment certificate and shall inform the applicant accordingly, giving detailed reasons for its refusal.
(c) 附属書IVに規定する技術文書。 4.3. 技術文書は届出機関により審査されるものとする。関連する場合であって、かつその職務の遂行に必要な範囲に限り、届出機関は、適切な場合には、かつセキュリティ保護措置に従い、API又は遠隔アクセスを可能とするその他の関連する技術的手段及びツールを通じることを含め、使用された訓練用、検証用及び試験用データセットへの完全なアクセスを付与されるものとする。 4.4. 技術文書の審査に当たり、届出機関は、第III章第2節に定める要件へのAIシステムの適合性を適正に評価できるようにするため、提供者に対し、追加の証拠の提供又は追加の試験の実施を求めることができる。届出機関が提供者により実施された試験に満足しない場合、届出機関は、必要に応じて自ら直接適切な試験を実施するものとする。 4.5. 第III章第2節に定める要件への高リスクAIシステムの適合性を評価するために必要な場合であって、適合性を検証するためのその他のすべての合理的な手段が尽くされ、かつ不十分であることが判明した後、理由を付した請求に基づき、届出機関は、AIシステムの訓練及び訓練済みモデル(その関連するパラメータを含む)へのアクセスも付与されるものとする。当該アクセスは、知的財産及び営業秘密の保護に関する既存の連合法に従うものとする。 4.6. 届出機関の決定は、提供者又はその授権代理人に通知されるものとする。当該通知には、技術文書の評価の結論及び理由を付した評価決定を含めるものとする。 AIシステムが第III章第2節に定める要件に適合する場合、届出機関は連合技術文書評価証明書を発行するものとする。当該証明書には、提供者の名称及び住所、審査の結論、その有効性のための条件(存在する場合)並びにAIシステムの識別に必要なデータを記載するものとする。 当該証明書及びその附属書には、AIシステムの適合性の評価を可能にし、かつ該当する場合には使用中のAIシステムの管理を可能にするために必要なすべての関連情報を含めるものとする。 AIシステムが第III章第2節に定める要件に適合しない場合、届出機関は連合技術文書評価証明書の発行を拒否し、その旨を申請者に通知するとともに、拒否の詳細な理由を示すものとする。
Where the AI system does not meet the requirement relating to the data used to train it, re-training of the AI system will be needed prior to the application for a new conformity assessment. In this case, the reasoned assessment decision of the notified body refusing to issue the Union technical documentation assessment certificate shall contain specific considerations on the quality data used to train the AI system, in particular on the reasons for non-compliance. 4.7. Any change to the AI system that could affect the compliance of the AI system with the requirements or its intended purpose shall be assessed by the notified body which issued the Union technical documentation assessment certificate. The provider shall inform such notified body of its intention to introduce any of the abovementioned changes, or if it otherwise becomes aware of the occurrence of such changes. The intended changes shall be assessed by the notified body, which shall decide whether those changes require a new conformity assessment in accordance with Article 43(4) or whether they could be addressed by means of a supplement to the Union technical documentation assessment certificate. In the latter case, the notified body shall assess the changes, notify the provider of its decision and, where the changes are approved, issue to the provider a supplement to the Union technical documentation assessment certificate.
AIシステムがその訓練に用いられたデータに関する要件を満たさない場合、新たな適合性評価の申請に先立ち、当該AIシステムの再訓練が必要となる。この場合、連合技術文書評価証明書の発行を拒否する届出機関の理由を付した評価決定には、当該AIシステムの訓練に用いられたデータの品質に関する具体的な検討事項、特に不適合の理由を含めるものとする。4.7. AIシステムの要件への適合又はその意図された目的に影響を及ぼし得るAIシステムへのあらゆる変更は、連合技術文書評価証明書を発行した届出機関により評価されるものとする。提供者は、前述の変更のいずれかを導入する意図を当該届出機関に通知するものとし、また、そうした変更の発生を別途知った場合にもこれを通知するものとする。意図された変更は届出機関により評価されるものとし、届出機関は、当該変更が第43条第4項に従って新たな適合性評価を必要とするか否か、又は連合技術文書評価証明書への補遺により対応できるか否かを決定するものとする。後者の場合、届出機関は当該変更を評価し、その決定を提供者に通知するものとし、当該変更が承認された場合には、提供者に対し連合技術文書評価証明書の補遺を発行するものとする。
5. Surveillance of the approved quality management system. 5.1. The purpose of the surveillance carried out by the notified body referred to in Point 3 is to make sure that the provider duly complies with the terms and conditions of the approved quality management system. 5.2. For assessment purposes, the provider shall allow the notified body to access the premises where the design, development, testing of the AI systems is taking place. The provider shall further share with the notified body all necessary information. 5.3. The notified body shall carry out periodic audits to make sure that the provider maintains and applies the quality management system and shall provide the provider with an audit report. In the context of those audits, the notified body may carry out additional tests of the AI systems for which a Union technical documentation assessment certificate was issued.
5. 承認された品質管理システムの監視。5.1. 第3号にいう届出機関が行う監視の目的は、提供者が承認された品質管理システムの条件を適正に遵守していることを確認することにある。5.2. 評価の目的のため、提供者は、AIシステムの設計、開発及び試験が行われる施設への届出機関のアクセスを認めるものとする。提供者は、さらに、必要な全ての情報を届出機関と共有するものとする。5.3. 届出機関は、提供者が品質管理システムを維持し、かつ、これを適用していることを確認するため定期的な監査を実施するものとし、提供者に監査報告書を提供するものとする。これらの監査に関連して、届出機関は、連合技術文書評価証明書が発行されたAIシステムについて追加の試験を実施することができる。

22 Annex VIII: Information to be submitted upon the registration of high-risk AI systems in accordance with Article 49 / 第49条に従った高リスクAIシステムの登録に際して提出すべき情報

Section A — Information to be submitted by providers of high-risk AI systems in accordance with Article 49(1) The following information shall be provided and thereafter kept up to date with regard to high-risk AI systems to be registered in accordance with Article 49(1):
セクションA - 第49条(1)に従い高リスクAIシステムの提供者が提出すべき情報。第49条(1)に従って登録される高リスクAIシステムに関し、次の情報を提供し、その後最新の状態に保たなければならない。
1. The name, address and contact details of the provider;
1. 提供者の名称、住所及び連絡先;
2. Where submission of information is carried out by another person on behalf of the provider, the name, address and contact details of that person;
2. 情報の提出が提供者に代わって他の者により行われる場合には、当該者の名称、住所及び連絡先;
3. The name, address and contact details of the authorised representative, where applicable;
3. 該当する場合には、授権代理人の名称、住所及び連絡先;
4. The AI system trade name and any additional unambiguous reference allowing the identification and traceability of the AI system;
4. AIシステムの商品名及び当該AIシステムの識別及びトレーサビリティを可能とするその他の一義的な参照事項;
5. A description of the intended purpose of the AI system and of the components and functions supported through this AI system;
5. AIシステムの意図された目的並びに当該AIシステムを通じて支援される構成要素及び機能の説明;
6. A basic and concise description of the information used by the system (data, inputs) and its operating logic;
6. 当該システムが使用する情報(データ、入力)及びその作動論理に関する基本的かつ簡潔な説明;
7. The status of the AI system (on the market, or in service; no longer placed on the market/in service, recalled);
7. AIシステムの状況(上市中若しくは供用中、又は上市/供用が終了したか若しくは回収されたか);
8. The type, number and expiry date of the certificate issued by the notified body and the name or identification number of that notified body, where applicable;
8. 該当する場合には、届出機関が発行した証明書の種類、番号及び有効期限、並びに当該届出機関の名称又は識別番号;
9. A scanned copy of the certificate referred to in point 8, where applicable;
9. 該当する場合には、第8号にいう証明書のスキャンした写し;
10. Any Member States in which the AI system has been placed on the market, put into service or made available in the Union;
10. 当該AIシステムが上市され、供用が開始され、又は連合内で利用可能とされた加盟国;
11. A copy of the EU declaration of conformity referred to in Article 47;
11. 第47条にいうEU適合宣言の写し;
12. Electronic instructions for use; this information shall not be provided for high-risk AI systems in the areas of law enforcement or migration, asylum and border control management referred to in Annex III, points 1, 6 and 7;
12. 電子的な使用説明書。ただし、附属書III第1号、第6号及び第7号にいう法執行又は移住、庇護及び国境管理の分野における高リスクAIシステムについては、この情報を提供しないものとする;
13. A URL for additional information (optional). Section B — Information to be submitted by providers of high-risk AI systems in accordance with Article 49(2) The following information shall be provided and thereafter kept up to date with regard to AI systems to be registered in accordance with Article 49(2):
13. 追加情報のためのURL(任意)。節B — 第49条第2項に従って高リスクAIシステムの提供者が提出すべき情報 第49条第2項に従って登録されるAIシステムに関し、以下の情報を提供するものとし、その後も最新の状態に保つものとする:
1. The name, address and contact details of the provider;
1. 提供者の名称、住所及び連絡先;
2. Where submission of information is carried out by another person on behalf of the provider, the name, address and contact details of that person;
2. 情報の提出が提供者に代わって他の者により行われる場合には、当該者の名称、住所及び連絡先;
3. The name, address and contact details of the authorised representative, where applicable;
3. 該当する場合には、授権代理人の名称、住所及び連絡先;
4. The AI system trade name and any additional unambiguous reference allowing the identification and traceability of the AI system;
4. AIシステムの商品名及び当該AIシステムの識別及びトレーサビリティを可能とするその他の一義的な参照事項;
5. A description of the intended purpose of the AI system;
5. AIシステムの意図された目的の説明;
6. The condition or conditions under Article 6(3)based on which the AI system is considered to be not-high-risk;
6. 当該AIシステムが高リスクに該当しないとされる根拠となる第6条第3項の条件;
8. The status of the AI system (on the market, or in service; no longer placed on the market/in service, recalled).
8. AIシステムの状況(上市中若しくは供用中、又は上市/供用が終了したか若しくは回収されたか)。
Section C — Information to be submitted by deployers of high-risk AI systems in accordance with Article 49(3) The following information shall be provided and thereafter kept up to date with regard to high-risk AI systems to be registered in accordance with Article 49(3):
節C — 第49条第3項に従って高リスクAIシステムの配備者が提出すべき情報 第49条第3項に従って登録される高リスクAIシステムに関し、以下の情報を提供するものとし、その後も最新の状態に保つものとする:
1. The name, address and contact details of the deployer;
1. 配備者の名称、住所及び連絡先;
2. The name, address and contact details of the person submitting information on behalf of the deployer;
2. 配備者に代わって情報を提出する者の名称、住所及び連絡先;
3. The URL of the entry of the AI system in the EU database by its provider;
3. 提供者によるEUデータベースへの当該AIシステムの登録事項のURL;
4. A summary of the findings of the fundamental rights impact assessment conducted in accordance with Article 27;
4. 第27条に従って実施された基本的権利影響評価の結果の概要;
5. A summary of the data protection impact assessment carried out in accordance with Article 35 of Regulation (EU) 2016/679 or Article 27 of Directive (EU) 2016/680 as specified in Article 26(8) of this Regulation, where applicable.
5. 該当する場合には、本規則第26条第8項に規定するとおり、規則(EU)2016/679第35条又は指令(EU)2016/680第27条に従って実施されたデータ保護影響評価の概要。

23 Annex IX: Information to be submitted upon the registration of high-risk AI systems listed in Annex III in / 第60条に従った実環境試験に関し、附属書IIIに掲げる高リスクAIシステムの登録に際して提出すべき情報

relation to testing in real world conditions in accordance with Article 60 The following information shall be provided and thereafter kept up to date with regard to testing in real world conditions to be registered in accordance with Article 60:
第60条に従い登録される実環境試験に関し、次の情報が提供されなければならず、その後も最新の状態に保たれなければならない。
1. A Union-wide unique single identification number of the testing in real world conditions;
1. 実環境試験の連合全域における一意の単一識別番号
2. The name and contact details of the provider or prospective provider and of the deployers involved in the testing in real world conditions;
2. 提供者若しくは提供予定者、及び実環境試験に関与する導入者の名称及び連絡先
3. A brief description of the AI system, its intended purpose, and other information necessary for the identification of the system;
3. AIシステムの簡潔な説明、その使用目的並びに当該システムの識別に必要なその他の情報
4. A summary of the main characteristics of the plan for testing in real world conditions;
4. 実環境試験計画の主要な特徴の要約
5. Information on the suspension or termination of the testing in real world conditions.
5. 実環境試験の停止又は終了に関する情報

24 Annex X: Union legislative acts on large-scale IT systems in the area of Freedom, Security and Justice / 自由、安全及び司法の分野における大規模ITシステムに関する連合立法行為

1. Schengen Information System
1. シェンゲン情報システム
(a) Regulation (EU) 2018/1860 of the European Parliament and of the Council of 28 November 2018 on the use of the Schengen Information System for the return of illegally staying third-country nationals (OJ L 312, 7.12.2018, p. 1).
(a) 違法に滞在する第三国国民の送還のためのシェンゲン情報システムの使用に関する2018年11月28日の欧州議会及び理事会規則(EU)2018/1860(OJ L 312, 7.12.2018, p. 1)。
(b) Regulation (EU) 2018/1861 of the European Parliament and of the Council of 28 November 2018 on the establishment, operation and use of the Schengen Information System (SIS) in the field of border checks, and amending the Convention implementing the Schengen Agreement, and amending and repealing Regulation (EC) No 1987/2006 (OJ L 312, 7.12.2018, p. 14).
(b) 国境検問の分野におけるシェンゲン情報システム(SIS)の設立、運用及び使用に関し、シェンゲン協定実施条約を改正し、並びに規則(EC)No 1987/2006を改正及び廃止する2018年11月28日の欧州議会及び理事会規則(EU)2018/1861(OJ L 312, 7.12.2018, p. 14)。
(c) Regulation (EU) 2018/1862 of the European Parliament and of the Council of 28 November 2018 on the establishment, operation and use of the Schengen Information System (SIS) in the field of police cooperation and judicial cooperation in criminal matters, amending and repealing Council Decision 2007/533/JHA, and repealing Regulation (EC) No 1986/2006 of the European Parliament and of the Council and Commission Decision 2010/261/EU (OJ L 312, 7.12.2018, p. 56).
(c) 警察協力及び刑事司法協力の分野におけるシェンゲン情報システム(SIS)の設立、運用及び使用に関し、理事会決定2007/533/JHAを改正及び廃止し、並びに欧州議会及び理事会規則(EC)No 1986/2006及び委員会決定2010/261/EUを廃止する2018年11月28日の欧州議会及び理事会規則(EU)2018/1862(OJ L 312, 7.12.2018, p. 56)。
2. Visa Information System
2. ビザ情報システム
(a) Regulation (EU) 2021/1133 of the European Parliament and of the Council of 7 July 2021 amending Regulations (EU) No 603/2013, (EU) 2016/794, (EU) 2018/1862, (EU) 2019/816 and (EU) 2019/818 as regards the establishment of the conditions for accessing other EU information systems for the purposes of the Visa Information System (OJ L 248, 13.7.2021, p. 1).
(a) ビザ情報システムを目的とする他のEU情報システムへのアクセスに関する条件の設立に関し、規則(EU)No 603/2013、(EU)2016/794、(EU)2018/1862、(EU)2019/816及び(EU)2019/818を改正する2021年7月7日の欧州議会及び理事会規則(EU)2021/1133(OJ L 248, 13.7.2021, p. 1)。
(b) Regulation (EU) 2021/1134 of the European Parliament and of the Council of 7 July 2021 amending Regulations (EC) No 767/2008, (EC) No 810/2009, (EU) 2016/399, (EU) 2017/2226, (EU) 2018/1240, (EU) 2018/1860, (EU) 2018/1861, (EU) 2019/817 and (EU) 2019/1896 of the European Parliament and of the Council and repealing Council Decisions 2004/512/EC and 2008/633/JHA, for the purpose of reforming the Visa Information System (OJ L 248, 13.7.2021, p. 11).
(b) ビザ情報システムの改革を目的として、規則(EC)No 767/2008、(EC)No 810/2009、(EU)2016/399、(EU)2017/2226、(EU)2018/1240、(EU)2018/1860、(EU)2018/1861、(EU)2019/817及び(EU)2019/1896を改正し、並びに理事会決定2004/512/EC及び2008/633/JHAを廃止する2021年7月7日の欧州議会及び理事会規則(EU)2021/1134(OJ L 248, 13.7.2021, p. 11)。
3. Eurodac Regulation (EU) 2024/1358 of the European Parliament and of the Council of 14 May 2024 on the establishment of ‘Eurodac’ for the comparison of biometric data in order to effectively apply Regulations (EU) 2024/1315 and (EU) 2024/1350 of the European Parliament and of the Council and Council Directive 2001/55/EC and to identify illegally staying third-country nationals and stateless persons and on requests for the comparison with Eurodac data by Member States’ law enforcement authorities and Europol for law enforcement purposes, amending Regulations (EU) 2018/1240 and (EU) 2019/818 of the European Parliament and of the Council and repealing Regulation (EU) No 603/2013 of the European Parliament and of the Council (OJ L, 2024/1358, 22.5.2024, ELI: http://data.europa.eu/eli/reg/ 2024/1358/oj).
3. 欧州議会及び理事会規則(EU) 2024/1315及び(EU) 2024/1350並びに理事会指令2001/55/ECを効果的に適用するため、また不法に滞在する第三国国民及び無国籍者を識別するために生体データを比較するための「Eurodac」の設立に関する2024年5月14日の欧州議会及び理事会規則(EU) 2024/1358(Eurodac規則)であって、加盟国の法執行当局及びユーロポールによる法執行目的でのEurodacデータとの比較の要請についても定め、欧州議会及び理事会規則(EU) 2018/1240及び(EU) 2019/818を改正し、欧州議会及び理事会規則(EU) No 603/2013を廃止するもの(OJ L, 2024/1358, 22.5.2024, ELI: http://data.europa.eu/eli/reg/2024/1358/oj)。
4. Entry/Exit System Regulation (EU) 2017/2226 of the European Parliament and of the Council of 30 November 2017 establishing an Entry/Exit System (EES) to register entry and exit data and refusal of entry data of third-country nationals crossing the external borders of the Member States and determining the conditions for access to the EES for law enforcement purposes, and amending the Convention implementing the Schengen Agreement and Regulations (EC) No 767/2008 and (EU) No 1077/2011 (OJ L 327, 9.12.2017, p. 20).
4. 出入国管理システム 加盟国の対外国境を越える第三国国民の入国及び出国のデータ並びに入国拒否のデータを登録するための出入国管理システム(EES)を設立し、法執行を目的とするEESへのアクセスの条件を定め、並びにシェンゲン協定実施条約及び規則(EC)No 767/2008及び(EU)No 1077/2011を改正する2017年11月30日の欧州議会及び理事会規則(EU)2017/2226(OJ L 327, 9.12.2017, p. 20)。
5. European Travel Information and Authorisation System
5. 欧州渡航情報認証システム
(a) Regulation (EU) 2018/1240 of the European Parliament and of the Council of 12 September 2018 establishing a European Travel Information and Authorisation System (ETIAS) and amending Regulations (EU) No 1077/2011, (EU) No 515/2014, (EU) 2016/399, (EU) 2016/1624 and (EU) 2017/2226 (OJ L 236, 19.9.2018, p. 1).
(a) 欧州渡航情報認証システム(ETIAS)を設立し、規則(EU)No 1077/2011、(EU)No 515/2014、(EU)2016/399、(EU)2016/1624及び(EU)2017/2226を改正する2018年9月12日の欧州議会及び理事会規則(EU)2018/1240(OJ L 236, 19.9.2018, p. 1)。
(b) Regulation (EU) 2018/1241 of the European Parliament and of the Council of 12 September 2018 amending Regulation (EU) 2016/794 for the purpose of establishing a European Travel Information and Authorisation System (ETIAS) (OJ L 236, 19.9.2018, p. 72).
(b) 欧州渡航情報認証システム(ETIAS)の設立を目的として規則(EU)2016/794を改正する2018年9月12日の欧州議会及び理事会規則(EU)2018/1241(OJ L 236, 19.9.2018, p. 72)。
6. European Criminal Records Information System on third-country nationals and stateless persons Regulation (EU) 2019/816 of the European Parliament and of the Council of 17 April 2019 establishing a centralised system for the identification of Member States holding conviction information on third-country nationals and stateless persons (ECRIS-TCN) to supplement the European Criminal Records Information System and amending Regulation (EU) 2018/1726 (OJ L 135, 22.5.2019, p. 1).
6. 第三国国民及び無国籍者に関する欧州犯罪歴情報システム 欧州犯罪歴情報システムを補完するため、第三国国民及び無国籍者に係る有罪判決情報を保有する加盟国を識別するための集中システム(ECRIS-TCN)を設立し、規則(EU)2018/1726を改正する2019年4月17日の欧州議会及び理事会規則(EU)2019/816(OJ L 135, 22.5.2019, p. 1)。
7. Interoperability
7. 相互運用性
(a) Regulation (EU) 2019/817 of the European Parliament and of the Council of 20 May 2019 on establishing a framework for interoperability between EU information systems in the field of borders and visa and amending Regulations (EC) No 767/2008, (EU) 2016/399, (EU) 2017/2226, (EU) 2018/1240, (EU) 2018/1726 and (EU) 2018/1861 of the European Parliament and of the Council and Council Decisions 2004/512/EC and 2008/633/JHA (OJ L 135, 22.5.2019, p. 27).
(a) 国境及びビザの分野におけるEU情報システム間の相互運用性の枠組みを設立し、欧州議会及び理事会規則(EC)No 767/2008、(EU)2016/399、(EU)2017/2226、(EU)2018/1240、(EU)2018/1726及び(EU)2018/1861、並びに理事会決定2004/512/EC及び2008/633/JHAを改正する2019年5月20日の欧州議会及び理事会規則(EU)2019/817(OJ L 135, 22.5.2019, p. 27)。
(b) Regulation (EU) 2019/818 of the European Parliament and of the Council of 20 May 2019 on establishing a framework for interoperability between EU information systems in the field of police and judicial cooperation, asylum and migration and amending Regulations (EU) 2018/1726, (EU) 2018/1862 and (EU) 2019/816 (OJ L 135, 22.5.2019, p. 85).
(b) 警察及び司法協力、庇護及び移民の分野におけるEU情報システム間の相互運用性の枠組みを設立し、規則(EU)2018/1726、(EU)2018/1862及び(EU)2019/816を改正する2019年5月20日の欧州議会及び理事会規則(EU)2019/818(OJ L 135, 22.5.2019, p. 85)。

25 Annex XI: Technical documentation referred to in Article 53(1), point (a) — technical documentation for providers of general-purpose AI models / 第53条第1項(a)にいう技術文書 — 汎用目的AIモデルの提供者のための技術文書

Section 1 Information to be provided by all providers of general-purpose AI models The technical documentation referred to in Article 53(1), point (a) shall contain at least the following information as appropriate to the size and risk profile of the model:
セクション1 全ての汎用目的AIモデルの提供者が提供すべき情報。第53条(1)(a)にいう技術文書には、当該モデルの規模及びリスクプロファイルに応じて、少なくとも次の情報を含めなければならない。
1. A general description of the general-purpose AI model including:
1. 次の事項を含む、汎用目的AIモデルの一般的な説明
(a) the tasks that the model is intended to perform and the type and nature of AI systems in which it can be integrated;
(a) 当該モデルが実行することを意図するタスク、並びに当該モデルを組み込むことができるAIシステムの種類及び性質;
(b) the acceptable use policies applicable;
(b) 適用される許容使用方針
(c) the date of release and methods of distribution;
(c) 公開の日付及び配布の方法
(d) the architecture and number of parameters;
(d) アーキテクチャ及びパラメータの数;
(e) the modality (e.g. text, image) and format of inputs and outputs;
(e) 入力及び出力のモダリティ(例えばテキスト、画像)及び形式;
(f) the licence.
(f) ライセンス。
2. A detailed description of the elements of the model referred to in point 1, and relevant information of the process for the development, including the following elements:
2. 第1号にいうモデルの要素の詳細な説明、及び以下の要素を含む開発の過程に関する関連情報:
(a) the technical means (e.g. instructions of use, infrastructure, tools) required for the general-purpose AI model to be integrated in AI systems;
(a) 当該汎用AIモデルをAIシステムに組み込むために必要な技術的手段(例えば使用説明書、インフラストラクチャ、ツール);
(b) the design specifications of the model and training process, including training methodologies and techniques, the key design choices including the rationale and assumptions made; what the model is designed to optimise for and the relevance of the different parameters, as applicable;
(b) 訓練の方法論及び技術を含む当該モデル及び訓練プロセスの設計仕様、その理由及び前提を含む主要な設計上の選択、並びに、該当する場合には、当該モデルが最適化するよう設計された対象及び各パラメータの関連性;
(c) information on the data used for training, testing and validation, where applicable, including the type and provenance of data and curation methodologies (e.g. cleaning, filtering, etc.), the number of data points, their scope and main characteristics; how the data was obtained and selected as well as all other measures to detect the unsuitability of data sources and methods to detect identifiable biases, where applicable;
(c) 該当する場合には、訓練、試験及び検証に用いられたデータに関する情報であって、データの種類及び出所並びにキュレーションの方法論(例えばクレンジング、フィルタリング等)、データポイントの数、その範囲及び主要な特性を含むもの、並びに、データの取得及び選択の方法、並びに、該当する場合には、データソースの不適切性を検知するためのその他の全ての措置及び識別可能な偏りを検知するための方法;
(d) the computational resources used to train the model (e.g. number of floating point operations), training time, and other relevant details related to the training;
(d) 当該モデルの訓練に用いられた計算資源(例えば浮動小数点演算の回数)、訓練時間及びその他の訓練に関連する詳細事項;
(e) known or estimated energy consumption of the model. With regard to point (e), where the energy consumption of the model is unknown, the energy consumption may be based on information about computational resources used. Section 2 Additional information to be provided by providers of general-purpose AI models with systemic risk
(e) 当該モデルの既知の又は推定されるエネルギー消費量。(e)に関して、当該モデルのエネルギー消費量が不明である場合には、エネルギー消費量は使用された計算資源に関する情報に基づくことができる。節2 システミックリスクを伴う汎用AIモデルの提供者が提供すべき追加情報
1. A detailed description of the evaluation strategies, including evaluation results, on the basis of available public evaluation protocols and tools or otherwise of other evaluation methodologies. Evaluation strategies shall include evaluation criteria, metrics and the methodology on the identification of limitations.
1. 利用可能な公開の評価プロトコル及びツール、又はその他の評価方法論に基づく、評価結果を含む評価戦略の詳細な説明。評価戦略には、評価基準、指標及び限界の特定に関する方法論を含めるものとする。
2. Where applicable, a detailed description of the measures put in place for the purpose of conducting internal and/or external adversarial testing (e.g. red teaming), model adaptations, including alignment and fine-tuning.
2. 該当する場合には、内部及び/又は外部の敵対的試験(例えばレッドチーミング)、アライメント及びファインチューニングを含むモデルの適応を実施する目的で講じられた措置の詳細な説明。
3. Where applicable, a detailed description of the system architecture explaining how software components build or feed into each other and integrate into the overall processing.
3. 該当する場合には、ソフトウェアの構成要素が相互にどのように構築され、又は連携し、全体の処理にどのように統合されるかを説明するシステムアーキテクチャの詳細な説明。

26 Annex XII: Transparency information referred to in Article 53(1), point (b) — technical documentation for / 第53条第1項(b)にいう透明性情報 — モデルを自己のAIシステムに組み込む川下提供者に対する汎用目的AIモデルの提供者のための技術文書

providers of general-purpose AI models to downstream providers that integrate the model into their AI system The information referred to in Article 53(1), point (b) shall contain at least the following:
第53条第1項(b)にいう情報には、少なくとも次の事項を含めなければならない。
1. A general description of the general-purpose AI model including:
1. 次の事項を含む、汎用目的AIモデルの一般的な説明
(a) the tasks that the model is intended to perform and the type and nature of AI systems into which it can be integrated;
(a) モデルが実行することを意図するタスク、並びに当該モデルを組み込むことができるAIシステムの種類及び性質
(b) the acceptable use policies applicable;
(b) 適用される許容使用方針
(c) the date of release and methods of distribution;
(c) 公開の日付及び配布の方法
(d) how the model interacts, or can be used to interact, with hardware or software that is not part of the model itself, where applicable;
(d) 該当する場合には、モデルがモデル自体の一部ではないハードウェア又はソフトウェアとどのように相互作用するか、又は相互作用するために使用できるか
(e) the versions of relevant software related to the use of the general-purpose AI model, where applicable;
(e) 該当する場合には、汎用目的AIモデルの使用に関連する関連ソフトウェアのバージョン
(f) the architecture and number of parameters;
(f) アーキテクチャ及びパラメータ数
(g) the modality (e.g. text, image) and format of inputs and outputs;
(g) 入力及び出力のモダリティ(例えば、テキスト、画像)及び形式
(h) the licence for the model.
(h) モデルのライセンス
2. A description of the elements of the model and of the process for its development, including:
2. モデルの要素及びその開発プロセスの説明。これには次の事項を含む。
(a) the technical means (e.g. instructions for use, infrastructure, tools) required for the general-purpose AI model to be integrated into AI systems;
(a) 汎用目的AIモデルをAIシステムに組み込むために必要な技術的手段(例えば、使用のための説明書、インフラストラクチャ、ツール)
(b) the modality (e.g. text, image, etc.) and format of the inputs and outputs and their maximum size (e.g. context window length, etc.);
(b) 入力及び出力のモダリティ(例えば、テキスト、画像等)及び形式並びにその最大サイズ(例えば、コンテキストウィンドウの長さ等)
(c) information on the data used for training, testing and validation, where applicable, including the type and provenance of data and curation methodologies.
(c) 該当する場合には、訓練、試験及び検証に使用されたデータに関する情報(データの種類及び出所並びにキュレーションの方法論を含む。)

27 Annex XIII: Criteria for the designation of general-purpose AI models with systemic risk referred to in Article 51 / 第51条にいうシステミックリスクを伴う汎用目的AIモデルの指定のための基準

For the purpose of determining that a general-purpose AI model has capabilities or an impact equivalent to those set out in Article 51(1), point (a), the Commission shall take into account the following criteria:
汎用目的AIモデルが第51条第1項(a)に定める能力又は影響と同等の能力又は影響を有すると判断する目的のため、委員会は、次の基準を考慮しなければならない。
(a) the number of parameters of the model;
(a) モデルのパラメータ数
(b) the quality or size of the data set, for example measured through tokens;
(b) 例えばトークン数により測定される、データセットの質又は規模
(c) the amount of computation used for training the model, measured in floating point operations or indicated by a combination of other variables such as estimated cost of training, estimated time required for the training, or estimated energy consumption for the training;
(c) 浮動小数点演算で測定され、又は訓練の推定費用、訓練に必要な推定時間、若しくは訓練の推定エネルギー消費量等のその他の変数の組合せにより示される、モデルの訓練に使用された計算量
(d) the input and output modalities of the model, such as text to text (large language models), text to image, multi-modality, and the state of the art thresholds for determining high-impact capabilities for each modality, and the specific type of inputs and outputs (e.g. biological sequences);
(d) テキストからテキストへ(大規模言語モデル)、テキストから画像へ、マルチモダリティ等のモデルの入力及び出力のモダリティ、並びに各モダリティについて高い影響力を有する能力を判断するための最新技術水準の閾値、及び入力及び出力の特定の種類(例えば、生物学的配列)
(e) the benchmarks and evaluations of capabilities of the model, including considering the number of tasks without additional training, adaptability to learn new, distinct tasks, its level of autonomy and scalability, the tools it has access to;
(e) 追加の訓練を伴わないタスクの数、新規かつ別個のタスクを学習する適応能力、その自律性及び拡張性の水準、並びにアクセス可能なツールを考慮することを含む、モデルの能力に関するベンチマーク及び評価
(f) whether it has a high impact on the internal market due to its reach, which shall be presumed when it has been made available to at least 10 000 registered business users established in the Union;
(f) その到達範囲により域内市場に大きな影響を与えるか否か。これは、当該モデルが連合内に設立された少なくとも10,000の登録された事業者利用者に利用可能とされている場合に推定される。
(g) the number of registered end-users.
(g) 登録された最終利用者の数

28 Annex XIV: List of codes, categories and corresponding types of AI systems for the purpose of the notification procedure referred to in Article 30, specifying the scope of the designation as notified bodies / 届出機関としての指定の範囲を特定する、第30条にいう届出手続のためのコード、区分及び対応するAIシステムの種類の一覧 新設附属書(2026年)

1. Introduction Conformity assessment of high-risk AI systems pursuant to this Regulation may require the involvement of conformity assessment bodies. Only conformity assessment bodies that have been designated in accordance with this Regulation may carry out conformity assessments and only for the activities related to the types of AI systems concerned. The list of codes, categories, and corresponding types of AI systems sets the scope of the designation of conformity assessment bodies notified under Article 30.
1. 序 本規則に基づく高リスクAIシステムの適合性評価には、適合性評価機関の関与が必要となる場合がある。本規則に従って指定された適合性評価機関のみが適合性評価を実施することができ、かつ、それは当該AIシステムの種類に関連する活動についてのみ認められる。コード、区分及び対応するAIシステムの種類の一覧は、第30条に基づき届け出られた適合性評価機関の指定の範囲を定める。
2. List of Codes, categories, and corresponding AI systems a. AI systems subject to Annex I AIA Code AIP 0102 AI systems subject to point 2 of Section A of Annex I AIP 0103 AI systems subject to point 3 of Section A of Annex I AIP 0104 AI systems subject to point 4 of Section A of Annex I AIP 0105 AI systems subject to point 5 of Section A of Annex I AIP 0106 AI systems subject to point 6 of Section A of Annex I AIP 0107 AI systems subject to point 7 of Section A of Annex I AIP 0108 AI systems subject to point 8 of Section A of Annex I AIP 0109 AI systems subject to point 9 of Section A of Annex I AIP 0110 AI systems subject to point 10 of Section A of Annex I AIP 0111 AI systems subject to point 11 of Section A of Annex I AIP 0112 AI systems subject to point 12 of Section A of Annex I b. AI systems subject to point 1 of Annex III AIA Code AIB 0201 Remote biometric identification systems AIB 0202 Biometric categorisation AI systems AIB 0203 Emotion recognition AI systems
2. コード、区分及び対応するAIシステムの一覧 a. 附属書Iの対象となるAIシステム AIAコード AIP 0102 附属書I節A第2号の対象となるAIシステム AIP 0103 附属書I節A第3号の対象となるAIシステム AIP 0104 附属書I節A第4号の対象となるAIシステム AIP 0105 附属書I節A第5号の対象となるAIシステム AIP 0106 附属書I節A第6号の対象となるAIシステム AIP 0107 附属書I節A第7号の対象となるAIシステム AIP 0108 附属書I節A第8号の対象となるAIシステム AIP 0109 附属書I節A第9号の対象となるAIシステム AIP 0110 附属書I節A第10号の対象となるAIシステム AIP 0111 附属書I節A第11号の対象となるAIシステム AIP 0112 附属書I節A第12号の対象となるAIシステム b. 附属書III第1号の対象となるAIシステム AIAコード AIB 0201 遠隔生体識別システム AIB 0202 生体分類AIシステム AIB 0203 感情認識AIシステム
3. AI technology-specific codes a. Symbolic AI and expert systems AIA Code AIH 0101 AI systems based on symbolic AI, expert and knowledgebased systems, and AI systems based on search and optimisation
3. AI技術別のコード a. シンボリックAI及びエキスパートシステム AIAコード AIH 0101 シンボリックAI、エキスパートシステム及び知識ベースシステムに基づくAIシステム、並びに探索及び最適化に基づくAIシステム
2026年改正b. Machine learning, excluding generative AI and general-purpose AI systems AIA Code AIH 0201 AI systems that process structured data AIH 0202 AI systems that process signal and audio data AIH 0203 AI systems that process text data AIH 0204 AI systems that process image and video AIH 0205 AI systems that learn from their environment, excluding AI systems covered under AIH 0401 c. AI systems based on general-purpose AI models or generative AI AIA Code AIH 0301 generative AI systems, including AI systems based on generalpurpose AI models d. Emerging AI technologies AIA Code AIH 0401 AI systems based on other emerging AI technologies not covered by other codes, including Agentic AI
b. 機械学習(生成AI及び汎用AIシステムを除く) AIAコード AIH 0201 構造化データを処理するAIシステム AIH 0202 信号及び音声データを処理するAIシステム AIH 0203 テキストデータを処理するAIシステム AIH 0204 画像及び映像を処理するAIシステム AIH 0205 AIH 0401の対象となるAIシステムを除き、その環境から学習するAIシステム c. 汎用AIモデル又は生成AIに基づくAIシステム AIAコード AIH 0301 汎用AIモデルに基づくAIシステムを含む生成AIシステム d. 新興のAI技術 AIAコード AIH 0401 エージェント型AIを含む、他のコードの対象とならないその他の新興のAI技術に基づくAIシステム
2026年改正4. Application for designation Conformity assessment bodies shall use the lists of codes, categories and corresponding types of AI systems set out in this Annex when specifying the types of AI systems in the application for designation referred to in Article 29.
4. 指定の申請 適合性評価機関は、第29条にいう指定の申請においてAIシステムの種類を特定するに当たり、本附属書に定めるコード、区分及び対応するAIシステムの種類の一覧を用いるものとする。
NIST AI RMF 解説資料

米国NIST AI RMF 解説資料

NIST AI 100-1・米国国立標準技術研究所(NIST)公表
この資料の読み方: NIST AI RMFは、EUのような条文構造ではなく、「AIリスクにどう向き合うか」という考え方とプロセスを示した約48ページの実務ガイドです。この解説では、4機能(Govern・Map・Measure・Manage)がなぜこの順番・この関係になっているのかを中心にご説明します。

00 全体像:法律ではなく「考え方」を示す文書

NIST AI RMFは、特定の禁止事項や罰則を定める法律ではなく、組織がAIリスクにどう向き合うべきかという「考え方とプロセス」を体系化した任意のフレームワークです。2026年9月時点で、AI全般を包括的に規律する単一の連邦AI法は存在しないため、この種の任意フレームワークは、AIリスク管理における実務上の共通参照枠の一つとして利用されています。フレームワークの中心にあるのは、AIのリスクを個別の技術的欠陥としてではなく、データ・モデル・利用文脈・組織・社会にまたがる複合的なシステムリスクとして捉える考え方です。

01 4機能が循環する構造

フレームワークの中核は、以下の4つの機能が一方通行ではなく循環的に繰り返される構造です。

土台
Govern
責任者・方針・組織文化を定め、他の3機能全体を支える。
理解
Map
システムの目的・利用文脈・関係者を洗い出す。
検証
Measure
指標を選び、テスト・監査でリスクを可視化する。
対応
Manage
優先順位を付け、低減・移転・受容を判断し実行する。

この4機能は一度実施して終わりではなく、AIシステムのライフサイクル全体を通じて繰り返し循環させることが想定されています。新しいリスクが判明すればMapに立ち返り、組織方針が変われば再びGovernを見直す、という反復的な運用が前提です。

02 「信頼できるAI」という考え方

NIST AI RMFのもう一つの特徴は、AIの良し悪しを単一の指標(例えば精度)だけで測らず、妥当性・安全性・セキュリティ・説明責任・説明可能性・プライバシー・公平性という7つの要素で多面的に捉える点です。これらは互いにトレードオフの関係にあり得るため(精度を上げると説明可能性が下がる等)、フレームワークは「唯一の正解」を示すのではなく、組織が自らの文脈でトレードオフの判断根拠を明示的に文書化することを求めています。この「多面的でトレードオフを前提とする」設計思想は、単一の禁止事項を列挙するEU AI Actや、リスク層で分類する中国『AI安全治理框架3.0』とは異なる、NIST AI RMFに特徴的なアプローチといえます。

03 法的性質と実務での使われ方

NIST AI RMFに法的拘束力はなく、違反しても罰則はありません。あくまで任意適用のフレームワークであり、一律の調達要件や認証制度と直接結び付いているわけではありませんが、特定の調達契約・取引先からのガバナンス評価・保険会社の引受審査等、個別の実務の場面で参照され得る参照点になっています。法的義務がないことは「守らなくてよい」ことを意味せず、米国の政府機関・大企業と取引する事業者にとっては、Govern・Map・Measure・Manageの4機能に沿った体制整備をしておくことが、こうした個別の要求への対応をスムーズにする実務上のメリットになります。

04 関連法令・政策との関係 ― 連邦法の不在を埋める分権的な構造

NIST AI RMFは、2026年9月時点で、AI全般を包括的に規律する単一の連邦AI法が存在しない米国の制度状況の中で、既存の業種別規制・大統領令・州法という複数の系統と並行して機能しています。これらは互いに独立した制度であり、NIST AI RMFに準拠していれば他の法令上の義務を免れる、という関係にはありません。

法令・政策性質NIST AI RMFとの関係
FTC法第5条(不公正・欺瞞的行為の禁止)連邦法(拘束力・執行力あり)AI関連の誇大表示・データの不適切利用等に対し、連邦取引委員会(FTC)が既存の権限で事後的に執行する。NIST AI RMFへの準拠自体が第5条違反を免除するものではない。
大統領令(AI政策)大統領令(政権交代で撤回・変更され得る)2025年1月に前政権のAI関連大統領令(EO 14110)が撤回され、2025年7月のAI Action Planを経て、2025年12月には州のAI法制へのプリエンプション(連邦法による専占)を志向する新たな大統領令が署名されるなど、連邦のAI政策の方向性そのものが政権によって大きく変動している。
コロラド州 AI法制州法(拘束力・罰則は州ごとに異なる)コロラド州のAI差別規制法は、2026年5月に新法(Automated Decision-Making Technology Act、2027年1月施行予定)へ置き換えられました。これは2025年12月の連邦大統領令と近接した時期の動きですが、直接の因果関係は本資料では断定しません。
カリフォルニア州 CPPA ADMT規則(CCPA/CPRA改正規則)州規則(拘束力あり、2026年1月1日発効。既存ADMTへの適用は2027年1月1日まで猶予)個人情報を用いた「重要な決定」に自動意思決定技術(ADMT)を用いる事業者に、利用前の通知、オプトアウト権、仕組みの説明等を義務化。NIST AI RMFへの準拠自体はこの規則上の義務を免除しない。
カリフォルニア州 AI Transparency Act(SB 942、AB 853により改正)州法(拘束力あり、2026年8月2日発効)月間利用者100万人超の生成AIシステム提供者に、無料のAI検出ツールの提供、生成コンテンツの可視的な表示、メタデータへの電子透かし等の埋め込みを義務化。当初2026年1月1日発効予定だったが、AB 853により2026年8月2日に延期された。
イリノイ州 生体情報プライバシー法(BIPA)州法(拘束力・私人による訴権あり、2008年施行)顔認識等の生体識別子を収集・使用するAIシステムに、事前の書面同意取得等を義務化。違反1件ごとに制定法上の損害賠償(過失1,000ドル/故意・重過失5,000ドル)を私人が訴求できるため、顔認識・生体認証AIベンダーに対する集団訴訟の主要な法的根拠となっている。
政府調達要件契約上の義務(拘束力あり)連邦政府機関がAI調達を行う際のガイドライン・要件を通じて、NIST AI RMFの4機能が特定の調達・契約・組織内ガバナンス要件等で参照される場合がある。
既存の業種別規制(医療・金融・雇用等)各分野の連邦・州法(拘束力あり)HIPAA(医療情報)、ECOA・FCRA(与信判断)等、AI導入以前から存在する業種別規制がAIの利用にもそのまま適用される。NIST AI RMFはこれらの規制遵守を代替しない。
コロラド州の新法(Automated Decision-Making Technology Act、略称ADMTA)と、カリフォルニア州のCPPA ADMT規則(automated decisionmaking technologyを規律するCCPA/CPRA改正規則)は、名称・略称が似ており施行時期も2027年1月前後で近接していますが、前者はコロラド州が制定した独立の州法、後者はカリフォルニア州のプライバシー保護機関(CPPA)が既存のCCPA/CPRAの下で定めた規則であり、根拠法・所管機関の異なる別の制度です。混同しないようご注意ください。
上記は主な州法・州規則の例であり、網羅的な一覧ではありません。連邦・州いずれの水準でも制度が急速に変化しているため、事業展開先の州の最新の一次情報を必ず確認してください。
実務上の注意点

NIST AI RMF自体には罰則がありませんが、「罰則がない=法的リスクがない」わけではありません。実際の法的リスクは、FTC法・州法・業種別規制といった別の系統から生じます。NIST AI RMFのGovern・Map・Measure・Manageの4機能は、これらの個別法令への対応状況を体系的に説明するための「共通の参照枠」として活用するのが実務的です。本項は主要な関連法令・政策を概観したものであり、州法の動向を含め随時変化するため、最新の一次情報をご確認ください。

05 実務への示唆

米国向けにAI関連の製品・サービスを提供する事業者、または米国の取引先からAIガバナンス体制の説明を求められる事業者は、自社のAI管理体制をGovern(方針・体制)→Map(棚卸し・文脈整理)→Measure(テスト・監査)→Manage(対応・監視)の4区分に整理し直すだけで、NIST AI RMFへの対応状況を説明できる形に整理できます。生成AI・エージェントAIを扱う場合は、生成AIプロファイル(NIST AI 600-1)やエージェンティック・プロファイルへの言及も併せて準備しておくとよいでしょう。

NIST AI 100-1

米国NIST AI RMF(AI Risk Management Framework)要約全文

本タブは、米国国立標準技術研究所(NIST)が2023年1月に公表した「AI Risk Management Framework 1.0」の構成に沿って、Part1(基礎情報)とPart2(コア機能)の内容を要約した日本語資料です。要約であり公式の認証翻訳ではありません。実務適用にあたっては、NIST公式サイト(nist.gov/airc.nist.gov)で公開されている英語原文を必ずご確認ください。

01 基礎情報・位置づけ(Part 1)

NIST AI RMFは、AIの設計・開発・利用・評価の各段階に「信頼性(Trustworthiness)」の考慮を組み込むことを目的とした、任意利用のフレームワークです。特定の業種やユースケースに限定されない汎用的な内容であり、開発者・提供者・利用者・規制当局・エンドユーザーまで幅広い関係者が共通の参照枠として使うことを想定しています。法的拘束力はなく、民間・公的組織に一律の利用義務を課すものでもありませんが、リスク管理の参照フレームワークとして広く参照される場面が増えています。フレームワークは、AIのリスクを「個別の欠陥」としてではなく、データ・モデル・利用文脈・組織・社会全体にまたがる複合的なシステムリスクとして捉える点に特徴があります。

NIST AI RMFは、大統領令やホワイトハウスの政策文書(AI Action Plan等)と連動して改定される位置づけにあり、2023年1月の1.0版公表後も、生成AI・エージェントAIの普及を踏まえた拡張(プロファイル)が順次追加されています。2025年7月の「America's AI Action Plan」ではNISTにAI RMF本体の改訂が指示されており、2026年9月時点で改訂作業は進行中ですが、完成版・完了時期は明らかにされていません。

02 信頼できるAIの7要素

フレームワークは、信頼できるAIを構成する要素として以下の7つを挙げています。これらは互いにトレードオフの関係にあり得るため(例:精度を高めると説明可能性が下がる等)、優先順位の判断根拠を明示的に文書化することが求められます。

  • 妥当性・信頼性(Valid and Reliable):実運用条件下でも主張どおりの性能を安定して発揮すること
  • 安全性(Safe):人の生命・健康・環境を脅かさない範囲で動作すること
  • セキュリティ・レジリエンス(Secure and Resilient):データ汚染等の攻撃に耐え、被害からの復旧力を持つこと
  • 説明責任・透明性(Accountable and Transparent):システムの情報と責任の所在が明確であること
  • 説明可能性・解釈可能性(Explainable and Interpretable):AIシステムの出力や動作の仕組みを人が理解・解釈できること(異議申立て・救済の制度設計は別途、組織のガバナンスの問題として扱われます)
  • プライバシー強化(Privacy-Enhanced):データ最小化・同意設計等により個人の自律性を保護すること
  • 公平性・バイアス管理(Fair with Harmful Bias Managed):制度的・計算的・認知的な偏りを特定し管理すること

03 Govern機能(ガバナンス)

Governは他の3機能全体を支える基盤であり、組織のAIリスク管理文化そのものを対象とします。

  • Govern 1:AIリスクをマッピング・測定・管理するための組織方針・プロセスの整備
  • Govern 2:役割・責任を明確にし、訓練されたスタッフを配置する説明責任体制の構築
  • Govern 3:AIリスクに関する意思決定への多様な人材の参画
  • Govern 4:批判的思考と安全第一を重視する組織文化の醸成
  • Govern 5:外部の利害関係者・AI関係者との対話プロセスの整備
  • Govern 6:サードパーティ製ソフトウェア・データ・サプライチェーンに起因するリスクへの対応手順

04 Map機能(把握)

Mapは、リスクを測定する前提として、システムの利用文脈を理解する機能です。

  • Map 1:想定用途・展開文脈・組織目標の理解
  • Map 2:AIシステムのタスク・手法・知識の限界の分類
  • Map 3:能力・想定利用方法・便益とコストのベンチマーク比較分析
  • Map 4:サードパーティ要素を含むシステム全体のリスク・便益の特定
  • Map 5:個人・集団・コミュニティ・社会への影響の特性把握

05 Measure機能(測定)

Measureは、把握したリスクを定量的・定性的な手法で検証・追跡する機能です。

  • Measure 1:特定されたリスクに適した指標の選定・適用
  • Measure 2:複数の観点から信頼性特性(7要素)を評価するテストの実施
  • Measure 3:稼働中のAIリスクを継続的に追跡する仕組みの整備
  • Measure 4:測定手法自体の有効性に関するフィードバックの収集・評価

06 Manage機能(対応)

Manageは、測定結果を踏まえてリスクに優先順位を付け、実際の対応・是正につなげる機能です。

  • Manage 1:Map・Measureで特定されたリスクへの優先順位付けと対応
  • Manage 2:便益を最大化し負の影響を最小化する戦略の実行
  • Manage 3:サードパーティ・事前学習済みモデルに由来するリスクの管理
  • Manage 4:リスク対応・モニタリング計画・インシデント伝達手順の文書化

07 生成AI・エージェントAIへの拡張

NISTは2024年7月、生成AI固有のリスク(ハルシネーション、有害コンテンツの生成、著作権・知財リスク等)を扱う「生成AIプロファイル(NIST AI 600-1)」を公表し、4機能それぞれに生成AI向けの追加アクションを示しました。2026年4月には、重要インフラにおけるAI利用を対象とする新たなプロファイル(Trustworthy Use of AI in Critical Infrastructure Profile)の策定に向けたコンセプトノートも公表されており、プロファイルによる拡張は今後も続く見込みです。さらに、自律的に行動するAIエージェント特有のリスク(自律性の階層分け、ツール利用に伴う結果の重大性、稼働中の挙動監視、委任の連鎖における責任の所在)に対応する「エージェンティック・プロファイル」も、業界団体(Cloud Security Alliance等)によりNIST AI RMFの4機能を拡張する形で提案されています。これは中国『AI安全治理框架3.0』の附属書2(エージェントのリスク管理フレームワーク)と問題意識が近い領域です。

2026年9月時点では、エージェンティック・プロファイルは業界団体による提案であり、NIST自身が公式に発行した文書ではありません。業界側の報道ではNISTによる公式プロファイルが2026年第4四半期頃に公表される見通しとされていますが、正式な発行時期は明らかにされていません。

08 連邦AI政策との関係・実務への示唆

2026年9月時点で、米国には連邦レベルの包括的なAI法は存在せず、NIST AI RMFのような任意フレームワークに加えて、大統領令やホワイトハウスの政策文書、政府調達要件、既存の業種別規制(FTC法第5条等)、そして各州が独自に進めるAI法制が並存する分権的な状況が続いています。もっとも2025年12月には、州のAI法制を連邦法による専占(プリエンプション)等を通じて制限する方向性を示す大統領令「Ensuring a National Policy Framework for Artificial Intelligence」が署名されており、連邦が州法に介入する動きも強まっています。同時期の動きとして、当初アルゴリズム差別規制として注目されていたコロラド州のAI法も、2026年5月に廃止・置き換えられ、開発者・提供者の通知義務や説明を受ける権利等を中心とする新法(Automated Decision-Making Technology Act、2027年1月施行予定)に移行しました。両者の時期は近接していますが、本資料はこの置き換えが当該大統領令によって直接もたらされたと断定するものではありません。実務上は、法的義務がないからといって軽視するのではなく、連邦調達に関わる事業者や、米国の取引先からセキュリティ・ガバナンス評価を求められる事業者にとっては、Govern・Map・Measure・Manageの4機能を自社のAIガバナンス体制の点検項目としてそのまま活用できる点に実用的な価値があります。

Full Text — English / Japanese

NIST AI RMF 原文(英語・全文)+ 日本語対訳

NIST AI 100-1(AI RMF 1.0)2023年1月公表の英語原文と、その日本語訳を左右対比形式で全文収録しています。日本語訳はAIによる参考訳であり、公式訳ではありません。出典:米国国立標準技術研究所(NIST)。

01 Executive Summary

Executive Summary Artificial intelligence (AI) technologies have significant potential to transform society and people’s lives – from commerce and health to transportation and cybersecurity to the environment and our planet. AI technologies can drive inclusive economic growth and support scientific advancements that improve the conditions of our world. AI technologies, however, also pose risks that can negatively impact individuals, groups, organizations, communities, society, the environment, and the planet. Like risks for other types of technology, AI risks can emerge in a variety of ways and can be characterized as long- or short-term, highor low-probability, systemic or localized, and high- or low-impact.
エグゼクティブサマリー 人工知能(AI)技術は、商取引や医療からモビリティやサイバーセキュリティ、そして環境や地球に至るまで、社会と人々の生活を一変させる大きな可能性を有している。AI技術は、包摂的な経済成長を推進し、世界の状況を改善する科学的進歩を後押しすることができる。しかしながら、AI技術は、個人、集団、組織、コミュニティ、社会、環境、そして地球に対して負の影響を及ぼしうるリスクも併せ持つ。他の種類の技術に伴うリスクと同様に、AIリスクは様々な形で顕在化し得るものであり、長期的か短期的か、高確率か低確率か、システム的か局所的か、また影響が大きいか小さいかによって特徴づけることができる。
The AI RMF refers to an AI system as an engineered or machine-based system that can, for a given set of objectives, generate outputs such as predictions, recommendations, or decisions influencing real or virtual environments. AI systems are designed to operate with varying levels of autonomy (Adapted from: OECD Recommendation on AI:2019; ISO / IEC 22989:2022).
AI RMFにおいて、AIシステムとは、所与の一連の目的に対して、現実または仮想の環境に影響を及ぼす予測、推奨、または意思決定などの出力を生成することができる、エンジニアリングされた機械ベースのシステムを指す。AIシステムは様々な水準の自律性をもって動作するように設計されている(出典:OECD Recommendation on AI:2019、ISO/IEC 22989:2022を改変)。
While there are myriad standards and best practices to help organizations mitigate the risks of traditional software or information-based systems, the risks posed by AI systems are in many ways unique (See Appendix B). AI systems, for example, may be trained on data that can change over time, sometimes significantly and unexpectedly, affecting system functionality and trustworthiness in ways that are hard to understand. AI systems and the contexts in which they are deployed are frequently complex, making it difficult to detect and respond to failures when they occur. AI systems are inherently socio-technical in nature, meaning they are influenced by societal dynamics and human behavior. AI risks – and benefits – can emerge from the interplay of technical aspects combined with societal factors related to how a system is used, its interactions with other AI systems, who operates it, and the social context in which it is deployed.
従来のソフトウェアや情報ベースのシステムのリスクを組織が低減する助けとなる標準やベストプラクティスは数多く存在するが、AIシステムがもたらすリスクは多くの点で独自のものである(付録B参照)。例えば、AIシステムは時間とともに変化し得るデータ、時には大きく予期せぬ形で変化するデータで訓練される場合があり、これがシステムの機能性や信頼性に、理解しにくい形で影響を及ぼすことがある。AIシステムおよびそれが展開される文脈はしばしば複雑であり、そのため障害が発生した際にそれを検知し対応することが難しい場合がある。AIシステムは本質的に社会技術的な性質を持ち、社会的な力学や人間の行動の影響を受ける。AIのリスクおよび便益は、技術的側面と、システムの使用方法、他のAIシステムとの相互作用、運用者、および展開される社会的文脈に関連する社会的要因との相互作用から生じ得る。
These risks make AI a uniquely challenging technology to deploy and utilize both for organizations and within society. Without proper controls, AI systems can amplify, perpetuate, or exacerbate inequitable or undesirable outcomes for individuals and communities. With proper controls, AI systems can mitigate and manage inequitable outcomes.
こうしたリスクにより、AIは組織にとっても社会にとっても、導入・活用が特有の困難を伴う技術となっている。適切な管理策がなければ、AIシステムは個人やコミュニティにとって不公平または望ましくない結果を増幅、永続化、あるいは悪化させる可能性がある。適切な管理策があれば、AIシステムは不公平な結果を緩和し管理することができる。
AI risk management is a key component of responsible development and use of AI systems. Responsible AI practices can help align the decisions about AI system design, development, and uses with intended aim and values. Core concepts in responsible AI emphasize human centricity, social responsibility, and sustainability. AI risk management can drive responsible uses and practices by prompting organizations and their internal teams who design, develop, and deploy AI to think more critically about context and potential or unexpected negative and positive impacts. Understanding and managing the risks of AI systems will help to enhance trustworthiness, and in turn, cultivate public trust.
AIリスクマネジメントは、AIシステムの責任ある開発と利用における重要な要素である。責任あるAIの実践は、AIシステムの設計、開発、利用に関する意思決定を、意図した目的と価値観に整合させる助けとなり得る。責任あるAIにおける中核的な概念は、人間中心性、社会的責任、そして持続可能性を強調する。AIリスクマネジメントは、AIを設計、開発、展開する組織およびその内部チームに対し、文脈や、予期せぬものも含む正負両方の潜在的影響についてより批判的に検討するよう促すことで、責任ある利用と実践を推進することができる。AIシステムのリスクを理解し管理することは、信頼性の向上に寄与し、ひいては社会的な信頼の醸成につながる。
Social responsibility can refer to the organization’s responsibility “for the impacts of its decisions and activities on society and the environment through transparent and ethical behavior” (ISO 26000:2010). Sustainability refers to the “state of the global system, including environmental, social, and economic aspects, in which the needs of the present are met without compromising the ability of future generations to meet their own needs” (ISO / IEC TR 24368:2022). Responsible AI is meant to result in technology that is also equitable and accountable. The expectation is that organizational practices are carried out in accord with “professional responsibility,” defined by ISO as an approach that “aims to ensure that professionals who design, develop, or deploy AI systems and applications or AI-based products or systems, recognize their unique position to exert influence on people, society, and the future of AI” (ISO / IEC TR 24368:2022).
社会的責任とは、組織が「透明かつ倫理的な行動を通じて、自らの意思決定および活動が社会および環境に及ぼす影響」に対して負う責任を指す場合がある(ISO 26000:2010)。持続可能性とは、「環境的、社会的、経済的側面を含む地球規模システムの状態であって、現在の世代のニーズを満たしつつ、将来の世代が自らのニーズを満たす能力を損なわない状態」を指す(ISO/IEC TR 24368:2022)。責任あるAIは、公平でアカウンタブルな技術をもたらすことを意図している。組織の実践は、ISOが定義する「専門職としての責任」、すなわち「AIシステムやアプリケーション、またはAIベースの製品やシステムを設計、開発、または展開する専門家が、人々、社会、そしてAIの未来に影響を及ぼしうる自らの特別な立場を認識すること」を目指すアプローチに沿って行われることが期待される(ISO/IEC TR 24368:2022)。
As directed by the National Artificial Intelligence Initiative Act of 2020 (P.L. 116-283), the goal of the AI RMF is to offer a resource to the organizations designing, developing, deploying, or using AI systems to help manage the many risks of AI and promote trustworthy and responsible development and use of AI systems. The Framework is intended to be voluntary, rights-preserving, non-sector-specific, and use-case agnostic, providing flexibility to organizations of all sizes and in all sectors and throughout society to implement the approaches in the Framework.
2020年国家人工知能イニシアチブ法(公法116-283)の指示に基づき、AI RMFの目標は、AIシステムを設計、開発、展開、または利用する組織に対し、AIの多様なリスクを管理し、AIシステムの信頼できる責任ある開発と利用を促進するための資源を提供することである。本フレームワークは、任意であり、権利を保護し、特定のセクターに限定されず、ユースケースを問わないものであることを意図しており、あらゆる規模、あらゆるセクター、そして社会全体の組織が本フレームワークのアプローチを実施できるよう、柔軟性を提供する。
The Framework is designed to equip organizations and individuals – referred to here as AI actors – with approaches that increase the trustworthiness of AI systems, and to help foster the responsible design, development, deployment, and use of AI systems over time. AI actors are defined by the Organisation for Economic Co-operation and Development (OECD) as “those who play an active role in the AI system lifecycle, including organizations and individuals that deploy or operate AI” [OECD (2019) Artificial Intelligence in Society—OECD iLibrary] (See Appendix A).
本フレームワークは、組織および個人(本書では「AIアクター」と呼ぶ)に対し、AIシステムの信頼性を高めるアプローチを提供し、AIシステムの責任ある設計、開発、展開、および利用を長期にわたって促進する助けとなるよう設計されている。AIアクターは、経済協力開発機構(OECD)により、「AIシステムのライフサイクルにおいて能動的な役割を果たす者、すなわちAIを展開または運用する組織および個人を含む」と定義されている〔OECD(2019)Artificial Intelligence in Society — OECD iLibrary〕(付録A参照)。
The AI RMF is intended to be practical, to adapt to the AI landscape as AI technologies continue to develop, and to be operationalized by organizations in varying degrees and capacities so society can benefit from AI while also being protected from its potential harms.
AI RMFは、実用的であること、AI技術の発展に伴いAIの状況に適応できること、そして組織が様々な程度や能力に応じて運用できることを意図しており、これにより社会がAIから恩恵を受けると同時に、その潜在的な害から保護されるようにすることを目指している。
The Framework and supporting resources will be updated, expanded, and improved based on evolving technology, the standards landscape around the world, and AI community experience and feedback. NIST will continue to align the AI RMF and related guidance with applicable international standards, guidelines, and practices. As the AI RMF is put into use, additional lessons will be learned to inform future updates and additional resources.
本フレームワークおよびそれを支える資料は、進化する技術、世界各国における標準の動向、そしてAIコミュニティの経験やフィードバックに基づき、更新、拡充、改善されていく。NISTは、AI RMFおよび関連ガイダンスを、適用可能な国際標準、ガイドライン、実践と引き続き整合させていく。AI RMFが実際に運用される中で、さらなる知見が得られ、今後の更新や追加の資料に反映されていく。
The Framework is divided into two parts. Part 1 discusses how organizations can frame the risks related to AI and describes the intended audience. Next, AI risks and trustworthiness are analyzed, outlining the characteristics of trustworthy AI systems, which include valid and reliable, safe, secure and resilient, accountable and transparent, explainable and interpretable, privacy enhanced, and fair with their harmful biases managed.
本フレームワークは2つの部分から構成される。パート1では、組織がAIに関連するリスクをどのように捉えるべきかを論じ、想定される読者について説明する。続いて、AIリスクと信頼性が分析され、信頼できるAIシステムの特徴が概説される。これには、妥当性と信頼性、安全性、セキュリティとレジリエンス、アカウンタビリティと透明性、説明可能性と解釈可能性、プライバシーへの配慮、そして有害なバイアスが管理された公平性が含まれる。
Part 2 comprises the “Core” of the Framework. It describes four specific functions to help organizations address the risks of AI systems in practice. These functions – GOVERN, MAP , MEASURE , and MANAGE – are broken down further into categories and subcategories. While GOVERN applies to all stages of organizations’ AI risk management processes and procedures, the MAP, MEASURE, and MANAGE functions can be applied in AI system-specific contexts and at specific stages of the AI lifecycle.
パート2は本フレームワークの「コア」で構成される。ここでは、組織が実務においてAIシステムのリスクに対処するための助けとなる4つの具体的な機能が説明される。これらの機能——GOVERN(ガバナンス)、MAP(マッピング)、MEASURE(測定)、MANAGE(管理)——は、さらにカテゴリーおよびサブカテゴリーに分解される。GOVERNは組織のAIリスクマネジメントのプロセスと手続きのあらゆる段階に適用されるのに対し、MAP、MEASURE、MANAGEの各機能は、AIシステムに固有の文脈およびAIライフサイクルの特定の段階において適用され得る。
Additional resources related to the Framework are included in the AI RMF Playbook, which is available via the NIST AI RMF website: https://www.nist.gov/itl/ai-risk-management-framework.
本フレームワークに関連する追加の資料は、AI RMFプレイブックに含まれており、NIST AI RMFのウェブサイトから入手できる。 https://www.nist.gov/itl/ai-risk-management-framework
Development of the AI RMF by NIST in collaboration with the private and public sectors is directed and consistent with its broader AI efforts called for by the National AI Initiative Act of 2020, the National Security Commission on Artificial Intelligence recommendations, and the Plan for Federal Engagement in Developing Technical Standards and Related Tools. Engagement with the AI community during this Framework’s development – via responses to a formal Request for Information, three widely attended workshops, public comments on a concept paper and two drafts of the Framework, discussions at multiple public forums, and many small group meetings – has informed development of the AI RMF 1.0 as well as AI research and development and evaluation conducted by NIST and others. Priority research and additional guidance that will enhance this Framework will be captured in an associated AI Risk Management Framework Roadmap to which NIST and the broader community can contribute.
NISTが官民セクターと協力して行うAI RMFの策定は、2020年国家AIイニシアチブ法、国家人工知能安全保障委員会の勧告、および技術標準関連ツールの策定に関する連邦の関与計画によって求められている、NISTのより広範なAIへの取り組みに沿って、またそれと整合する形で指示されたものである。本フレームワークの策定過程におけるAIコミュニティとの関わり——正式な情報提供依頼(RFI)への回答、広く参加を得た3回のワークショップ、コンセプトペーパーおよびフレームワークの2つの草案に対するパブリックコメント、複数の公開フォーラムでの議論、そして数多くの少人数会合を通じたもの——は、AI RMF 1.0の策定、およびNISTその他による研究開発と評価に反映されている。本フレームワークを充実させる優先研究課題および追加のガイダンスは、NISTおよびより広いコミュニティが貢献できる関連文書であるAIリスクマネジメントフレームワーク・ロードマップに取りまとめられる予定である。

02 1. Framing Risk

1. Framing Risk AI risk management offers a path to minimize potential negative impacts of AI systems, such as threats to civil liberties and rights, while also providing opportunities to maximize positive impacts. Addressing, documenting, and managing AI risks and potential negative impacts effectively can lead to more trustworthy AI systems.
1. リスクの捉え方 AIリスクマネジメントは、市民的自由や権利への脅威など、AIシステムがもたらしうる負の影響を最小化する道筋を提供すると同時に、正の影響を最大化する機会をもたらす。AIリスクおよび潜在的な負の影響に効果的に対処し、文書化し、管理することは、より信頼できるAIシステムの実現につながり得る。
1.1 Understanding and Addressing Risks, Impacts, and Harms
1.1 リスク、影響、および害の理解と対処
In the context of the AI RMF, risk refers to the composite measure of an event’s probability of occurring and the magnitude or degree of the consequences of the corresponding event. The impacts, or consequences, of AI systems can be positive, negative, or both and can result in opportunities or threats (Adapted from: ISO 31000:2018). When considering the negative impact of a potential event, risk is a function of 1) the negative impact, or magnitude of harm, that would arise if the circumstance or event occurs and 2) the likelihood of occurrence (Adapted from: OMB Circular A-130:2016). Negative impact or harm can be experienced by individuals, groups, communities, organizations, society, the environment, and the planet.
AI RMFの文脈において、リスクとは、ある事象が発生する確率と、それに対応する結果の大きさまたは程度とを組み合わせた複合的な尺度を指す。AIシステムの影響、すなわち結果は、正または負、あるいはその両方であり得るものであり、機会にも脅威にもなり得る(出典:ISO 31000:2018を改変)。ある事象が生じうる負の影響を検討する際、リスクは、(1) その状況または事象が発生した場合に生じる負の影響(害の大きさ)と、(2) その発生の可能性という2つの要素の関数である(出典:OMB Circular A-130:2016を改変)。負の影響または害は、個人、集団、コミュニティ、組織、社会、環境、そして地球によって被られる可能性がある。
“Risk management refers to coordinated activities to direct and control an organization with regard to risk” (Source: ISO 31000:2018).
「リスクマネジメントとは、リスクに関して組織を指揮し、管理するための協調的な活動を指す」(出典:ISO 31000:2018)。
While risk management processes generally address negative impacts, this Framework offers approaches to minimize anticipated negative impacts of AI systems and identify opportunities to maximize positive impacts. Effectively managing the risk of potential harms could lead to more trustworthy AI systems and unleash potential benefits to people (individuals, communities, and society), organizations, and systems/ecosystems. Risk management can enable AI developers and users to understand impacts and account for the inherent limitations and uncertainties in their models and systems, which in turn can improve overall system performance and trustworthiness and the likelihood that AI technologies will be used in ways that are beneficial.
リスクマネジメントのプロセスは一般に負の影響に対処するものであるが、本フレームワークは、AIシステムの予想される負の影響を最小化し、正の影響を最大化する機会を特定するためのアプローチを提供する。潜在的な害のリスクを効果的に管理することは、より信頼できるAIシステムの実現につながり、人々(個人、コミュニティ、社会)、組織、そしてシステム/エコシステムにとっての潜在的な便益を引き出すことができる。リスクマネジメントは、AIの開発者や利用者が影響を理解し、自らのモデルやシステムに内在する限界や不確実性を考慮に入れることを可能にし、それによりシステム全体の性能と信頼性、そしてAI技術が有益な形で利用される可能性を高めることができる。
The AI RMF is designed to address new risks as they emerge. This flexibility is particularly important where impacts are not easily foreseeable and applications are evolving. While some AI risks and benefits are well-known, it can be challenging to assess negative impacts and the degree of harms. Figure 1 provides examples of potential harms that can be related to AI systems.
AI RMFは、新たに生じるリスクに対応できるよう設計されている。この柔軟性は、影響を容易に予見できない場合や、用途が発展し続けている場合に特に重要である。一部のAIリスクや便益はよく知られているものの、負の影響とその害の程度を評価することは難しい場合がある。図1に、AIシステムに関連しうる潜在的な害の例を示す。
AI risk management efforts should consider that humans may assume that AI systems work – and work well – in all settings. For example, whether correct or not, AI systems are often perceived as being more objective than humans or as offering greater capabilities than general software.
AIリスクマネジメントの取り組みにおいては、人間がAIシステムはあらゆる状況で機能する——それもうまく機能する——と思い込む可能性があることを考慮すべきである。例えば、正しいかどうかにかかわらず、AIシステムは人間よりも客観的であるとか、一般的なソフトウェアより優れた能力を持つと認識されることが多い。
Fig. 1. Examples of potential harms related to AI systems. Trustworthy AI systems and their responsible use can mitigate negative risks and contribute to benefits for people, organizations, and ecosystems.
図1. AIシステムに関連しうる潜在的な害の例。信頼できるAIシステムおよびその責任ある利用は、負のリスクを緩和し、人々、組織、エコシステムにとっての便益に寄与することができる。
1.2 Challenges for AI Risk Management
1.2 AIリスクマネジメントにおける課題
Several challenges are described below. They should be taken into account when managing risks in pursuit of AI trustworthiness.
以下にいくつかの課題を説明する。AIの信頼性を追求してリスクを管理する際には、これらを考慮に入れるべきである。
1.2.1 Risk Measurement
1.2.1 リスクの測定
AI risks or failures that are not well-defined or adequately understood are difficult to measure quantitatively or qualitatively. The inability to appropriately measure AI risks does not imply that an AI system necessarily poses either a high or low risk. Some risk measurement challenges include:
十分に定義されていない、あるいは十分に理解されていないAIリスクや障害は、定量的または定性的に測定することが難しい。AIリスクを適切に測定できないからといって、そのAIシステムが必然的に高リスクまたは低リスクであることを意味するわけではない。リスク測定における課題には、以下のようなものがある。
Risks related to third-party software, hardware, and data: Third-party data or systems can accelerate research and development and facilitate technology transition. They also may complicate risk measurement. Risk can emerge both from third-party data, software or hardware itself and how it is used. Risk metrics or methodologies used by the organization developing the AI system may not align with the risk metrics or methodologies uses by the organization deploying or operating the system. Also, the organization developing the AI system may not be transparent about the risk metrics or methodologies it used. Risk measurement and management can be complicated by how customers use or integrate thirdparty data or systems into AI products or services, particularly without sufficient internal governance structures and technical safeguards. Regardless, all parties and AI actors should manage risk in the AI systems they develop, deploy, or use as standalone or integrated components.
サードパーティ製のソフトウェア、ハードウェア、およびデータに関するリスク:サードパーティのデータやシステムは、研究開発を加速し、技術移転を促進し得る。一方で、これらはリスク測定を複雑化させる可能性もある。リスクは、サードパーティのデータ、ソフトウェア、ハードウェアそのものからも、またそれらがどのように使用されるかからも生じ得る。AIシステムを開発する組織が用いるリスク指標や手法は、そのシステムを展開または運用する組織が用いるリスク指標や手法と一致しない場合がある。また、AIシステムを開発する組織が、自らが用いたリスク指標や手法について透明性を確保していない場合もある。リスクの測定と管理は、十分な内部ガバナンス体制や技術的な安全策がないまま、顧客がサードパーティのデータやシステムをAI製品やサービスにどのように利用・統合するかによって複雑化することがある。いずれにせよ、すべての関係者およびAIアクターは、自らが単独の構成要素として、または統合された構成要素として開発、展開、または利用するAIシステムにおいて、リスクを管理すべきである。
Tracking emergent risks: Organizations’ risk management efforts will be enhanced by identifying and tracking emergent risks and considering techniques for measuring them.
新たに生じるリスクの追跡:組織のリスクマネジメントの取り組みは、新たに生じるリスクを特定・追跡し、それらを測定する手法を検討することによって強化される。
AI system impact assessment approaches can help AI actors understand potential impacts or harms within specific contexts.
AIシステムの影響評価のアプローチは、AIアクターが特定の文脈における潜在的な影響や害を理解する助けとなり得る。
Availability of reliable metrics: The current lack of consensus on robust and verifiable measurement methods for risk and trustworthiness, and applicability to different AI use cases, is an AI risk measurement challenge. Potential pitfalls when seeking to measure negative risk or harms include the reality that development of metrics is often an institutional endeavor and may inadvertently reflect factors unrelated to the underlying impact. In addition, measurement approaches can be oversimplified, gamed, lack critical nuance, become relied upon in unexpected ways, or fail to account for differences in affected groups and contexts.
信頼できる指標の入手可能性:リスクおよび信頼性についての堅牢で検証可能な測定手法や、それらの様々なAIユースケースへの適用可能性について、現時点でコンセンサスが得られていないことは、AIリスク測定上の課題である。負のリスクや害を測定しようとする際の潜在的な落とし穴としては、指標の策定がしばしば組織的な営みであり、根底にある影響とは無関係な要因を意図せず反映してしまう可能性があるという現実が挙げられる。加えて、測定アプローチが過度に単純化されたり、恣意的に操作されたり、重要なニュアンスを欠いたり、予期しない形で過度に依存されるようになったり、影響を受ける集団や文脈の違いを考慮できなかったりすることがある。
Approaches for measuring impacts on a population work best if they recognize that contexts matter, that harms may affect varied groups or sub-groups differently, and that communities or other sub-groups who may be harmed are not always direct users of a system.
集団への影響を測定するアプローチは、文脈が重要であること、害が様々な集団やサブグループに異なる形で及びうること、そして害を受ける可能性のあるコミュニティやその他のサブグループが必ずしもシステムの直接的な利用者とは限らないことを認識している場合に、最も効果的に機能する。
Risk at different stages of the AI lifecycle: Measuring risk at an earlier stage in the AI lifecycle may yield different results than measuring risk at a later stage; some risks may be latent at a given point in time and may increase as AI systems adapt and evolve. Furthermore, different AI actors across the AI lifecycle can have different risk perspectives. For example, an AI developer who makes AI software available, such as pre-trained models, can have a different risk perspective than an AI actor who is responsible for deploying that pre-trained model in a specific use case. Such deployers may not recognize that their particular uses could entail risks which differ from those perceived by the initial developer. All involved AI actors share responsibilities for designing, developing, and deploying a trustworthy AI system that is fit for purpose.
AIライフサイクルの異なる段階におけるリスク:AIライフサイクルの早い段階でリスクを測定した場合と、後の段階で測定した場合とでは、異なる結果が得られることがある。一部のリスクは、ある時点では潜在的なものにとどまり、AIシステムが適応し進化するにつれて増大することがある。さらに、AIライフサイクル全体にわたる異なるAIアクターは、それぞれ異なるリスクの視点を持ちうる。例えば、事前学習済みモデルなどのAIソフトウェアを提供するAI開発者は、その事前学習済みモデルを特定のユースケースで展開する責任を負うAIアクターとは異なるリスクの視点を持つことがある。そうした展開者は、自らの特定の用途が、当初の開発者が認識していたものとは異なるリスクを伴いうることに気づかない場合がある。関与するすべてのAIアクターは、目的に適合した信頼できるAIシステムを設計、開発、展開する責任を共有している。
Risk in real-world settings: While measuring AI risks in a laboratory or a controlled environment may yield important insights pre-deployment, these measurements may differ from risks that emerge in operational, real-world settings.
現実世界の環境におけるリスク:実験室や管理された環境でAIリスクを測定することは、展開前の重要な知見をもたらしうるが、こうした測定結果は、実際の運用環境で顕在化するリスクとは異なる場合がある。
Inscrutability: Inscrutable AI systems can complicate risk measurement. Inscrutability can be a result of the opaque nature of AI systems (limited explainability or interpretability), lack of transparency or documentation in AI system development or deployment, or inherent uncertainties in AI systems.
不可解性(インスクルータビリティ):不可解なAIシステムは、リスクの測定を複雑化させることがある。この不可解性は、AIシステムの不透明な性質(限定的な説明可能性または解釈可能性)、AIシステムの開発または展開における透明性や文書化の欠如、あるいはAIシステムに内在する不確実性に起因することがある。
Human baseline: Risk management of AI systems that are intended to augment or replace human activity, for example decision making, requires some form of baseline metrics for comparison. This is difficult to systematize since AI systems carry out different tasks – and perform tasks differently – than humans.
人間のベースライン:人間の活動、例えば意思決定を補完または代替することを意図したAIシステムのリスクマネジメントには、比較のための何らかのベースライン指標が必要となる。AIシステムは人間とは異なる作業を——また異なる形で作業を——行うため、これを体系化することは難しい。
1.2.2 Risk Tolerance
1.2.2 リスク許容度
While the AI RMF can be used to prioritize risk, it does not prescribe risk tolerance. Risk tolerance refers to the organization’s or AI actor’s (see Appendix A) readiness to bear the risk in order to achieve its objectives. Risk tolerance can be influenced by legal or regulatory requirements (Adapted from: ISO GUIDE 73). Risk tolerance and the level of risk that is acceptable to organizations or society are highly contextual and application and use-case specific. Risk tolerances can be influenced by policies and norms established by AI system owners, organizations, industries, communities, or policy makers. Risk tolerances are likely to change over time as AI systems, policies, and norms evolve. Different organizations may have varied risk tolerances due to their particular organizational priorities and resource considerations.
AI RMFはリスクの優先順位付けに用いることができるが、リスク許容度を規定するものではない。リスク許容度とは、組織またはAIアクター(付録A参照)が、自らの目的を達成するためにリスクを引き受ける準備がどの程度整っているかを指す。リスク許容度は、法令または規制上の要件によって左右されうる(出典:ISO GUIDE 73を改変)。リスク許容度、および組織や社会にとって許容可能なリスクの水準は、文脈や用途、ユースケースに強く依存する。リスク許容度は、AIシステムの所有者、組織、業界、コミュニティ、または政策立案者が定めた方針や規範によって左右されうる。AIシステム、方針、規範が変化するのに伴い、リスク許容度も時間とともに変化していく可能性が高い。組織によって、その組織固有の優先事項やリソース上の事情から、リスク許容度は異なりうる。
Emerging knowledge and methods to better inform harm/cost-benefit tradeoffs will continue to be developed and debated by businesses, governments, academia, and civil society. To the extent that challenges for specifying AI risk tolerances remain unresolved, there may be contexts where a risk management framework is not yet readily applicable for mitigating negative AI risks.
害/費用便益のトレードオフをより良く判断するための新たな知見や手法は、企業、政府、学界、市民社会によって今後も開発され、議論され続けるであろう。AIのリスク許容度を明確化する上での課題が未解決のままである限り、負のAIリスクを緩和するためのリスクマネジメントフレームワークが、まだ十分に適用可能とは言えない文脈も存在しうる。
The Framework is intended to be flexible and to augment existing risk practices which should align with applicable laws, regulations, and norms. Organizations should follow existing regulations and guidelines for risk criteria, tolerance, and response established by organizational, domain, discipline, sector, or professional requirements. Some sectors or industries may have established definitions of harm or established documentation, reporting, and disclosure requirements. Within sectors, risk management may depend on existing guidelines for specific applications and use case settings. Where established guidelines do not exist, organizations should define reasonable risk tolerance. Once tolerance is defined, this AI RMF can be used to manage risks and to document risk management processes.
本フレームワークは柔軟であることを意図しており、適用される法律、規制、規範と整合すべき既存のリスク実務を補完するものである。組織は、組織、分野、専門職、セクター、または職業上の要件によって確立されたリスク基準、許容度、対応に関する既存の規制やガイドラインに従うべきである。一部のセクターや業界では、害についての定義や、文書化・報告・開示要件が既に確立されている場合がある。セクター内では、リスクマネジメントは特定のアプリケーションやユースケースの状況に関する既存のガイドラインに依拠する場合がある。確立されたガイドラインが存在しない場合、組織は合理的なリスク許容度を定めるべきである。許容度が定められた後は、本AI RMFを用いてリスクを管理し、リスクマネジメントのプロセスを文書化することができる。
1.2.3 Risk Prioritization
1.2.3 リスクの優先順位付け
Attempting to eliminate negative risk entirely can be counterproductive in practice because not all incidents and failures can be eliminated. Unrealistic expectations about risk may lead organizations to allocate resources in a manner that makes risk triage inefficient or impractical or wastes scarce resources. A risk management culture can help organizations recognize that not all AI risks are the same, and resources can be allocated purposefully. Actionable risk management efforts lay out clear guidelines for assessing trustworthiness of each AI system an organization develops or deploys. Policies and resources should be prioritized based on the assessed risk level and potential impact of an AI system. The extent to which an AI system may be customized or tailored to the specific context of use by the AI deployer can be a contributing factor.
負のリスクを完全に排除しようとすることは、実務上、かえって逆効果になりうる。なぜなら、すべてのインシデントや障害を排除できるわけではないからである。リスクに関する非現実的な期待は、組織がリソースを非効率的あるいは非現実的な形でリスクのトリアージに配分してしまったり、限られたリソースを浪費してしまったりする結果につながりかねない。リスクマネジメントの文化は、すべてのAIリスクが同一ではないことを組織が認識し、リソースを目的意識をもって配分する助けとなり得る。実効性のあるリスクマネジメントの取り組みは、組織が開発または展開する各AIシステムの信頼性を評価するための明確なガイドラインを示す。方針とリソースは、AIシステムについて評価されたリスクの水準と潜在的な影響に基づいて優先順位付けされるべきである。AIシステムがAI展開者による特定の利用文脈に合わせてどの程度カスタマイズまたは調整され得るかも、これに寄与する要因となりうる。
When applying the AI RMF, risks which the organization determines to be highest for the AI systems within a given context of use call for the most urgent prioritization and most thorough risk management process. In cases where an AI system presents unacceptable negative risk levels – such as where significant negative impacts are imminent, severe harms are actually occurring, or catastrophic risks are present – development and deployment should cease in a safe manner until risks can be sufficiently managed. If an AI system’s development, deployment, and use cases are found to be low-risk in a specific context, that may suggest potentially lower prioritization.
AI RMFを適用するにあたり、組織が特定の利用文脈においてAIシステムにとって最も高いと判断したリスクは、最も緊急の優先順位付けと最も徹底したリスクマネジメントのプロセスを必要とする。AIシステムが許容できない水準の負のリスクを呈する場合——重大な負の影響が差し迫っている場合、深刻な害が実際に生じている場合、または破滅的なリスクが存在する場合など——には、リスクが十分に管理できるようになるまで、開発と展開を安全な方法で中止すべきである。特定の文脈においてAIシステムの開発、展開、利用がリスクの低いものであると判明した場合、それは相対的に優先順位が低くてよいことを示唆する場合がある。
Risk prioritization may differ between AI systems that are designed or deployed to directly interact with humans as compared to AI systems that are not. Higher initial prioritization may be called for in settings where the AI system is trained on large datasets comprised of sensitive or protected data such as personally identifiable information, or where the outputs of the AI systems have direct or indirect impact on humans. AI systems designed to interact only with computational systems and trained on non-sensitive datasets (for example, data collected from the physical environment) may call for lower initial prioritization. Nonetheless, regularly assessing and prioritizing risk based on context remains important because non-human-facing AI systems can have downstream safety or social implications.
AIシステムが人間と直接やり取りするよう設計または展開されている場合と、そうでない場合とでは、リスクの優先順位付けが異なりうる。AIシステムが個人を特定しうる情報などの機微または保護されたデータからなる大規模なデータセットで訓練されている場合、またはAIシステムの出力が人間に直接的または間接的な影響を及ぼす場合には、当初からより高い優先順位付けが求められることがある。計算システムとのみやり取りするよう設計され、機微でないデータセット(例えば物理環境から収集されたデータ)で訓練されたAIシステムについては、当初の優先順位付けは低くてもよい場合がある。とはいえ、人間と直接対面しないAIシステムであっても下流の安全上または社会的な影響を及ぼしうるため、文脈に基づいてリスクを定期的に評価し優先順位付けすることは依然として重要である。
Residual risk – defined as risk remaining after risk treatment (Source: ISO GUIDE 73) – directly impacts end users or affected individuals and communities. Documenting residual risks will call for the system provider to fully consider the risks of deploying the AI product and will inform end users about potential negative impacts of interacting with the system.
残余リスク——リスク対応後に残るリスクと定義される(出典:ISO GUIDE 73)——は、エンドユーザーや影響を受ける個人・コミュニティに直接的な影響を及ぼす。残余リスクを文書化することにより、システム提供者はAI製品を展開することのリスクを十分に検討することが求められ、また、エンドユーザーはシステムとやり取りすることに伴う潜在的な負の影響について知らされることになる。
1.2.4 Organizational Integration and Management of Risk
1.2.4 組織への統合とリスクの管理
AI risks should not be considered in isolation. Different AI actors have different responsibilities and awareness depending on their roles in the lifecycle. For example, organizations developing an AI system often will not have information about how the system may be used. AI risk management should be integrated and incorporated into broader enterprise risk management strategies and processes. Treating AI risks along with other critical risks, such as cybersecurity and privacy, will yield a more integrated outcome and organizational efficiencies.
AIリスクは、単独で検討されるべきではない。異なるAIアクターは、ライフサイクルにおける役割に応じて異なる責任と認識を持つ。例えば、AIシステムを開発する組織は、そのシステムがどのように利用されるかについての情報を持たないことが多い。AIリスクマネジメントは、より広範なエンタープライズ・リスクマネジメントの戦略やプロセスに統合され、組み込まれるべきである。サイバーセキュリティやプライバシーなど、他の重要なリスクと合わせてAIリスクに対処することで、より統合された成果と組織上の効率性が得られる。
The AI RMF may be utilized along with related guidance and frameworks for managing AI system risks or broader enterprise risks. Some risks related to AI systems are common across other types of software development and deployment. Examples of overlapping risks include: privacy concerns related to the use of underlying data to train AI systems; the energy and environmental implications associated with resource-heavy computing demands; security concerns related to the confidentiality, integrity, and availability of the system and its training and output data; and general security of the underlying software and hardware for AI systems.
AI RMFは、AIシステムのリスクやより広範なエンタープライズリスクを管理するための関連ガイダンスやフレームワークと併せて活用することができる。AIシステムに関連する一部のリスクは、他の種類のソフトウェアの開発や展開にも共通するものである。重複するリスクの例としては、AIシステムの訓練に用いる基盤データの利用に関するプライバシー上の懸念、リソースを大量に消費する計算需要に伴うエネルギーおよび環境への影響、システムおよびその訓練データ・出力データの機密性、完全性、可用性に関するセキュリティ上の懸念、そしてAIシステムを支えるソフトウェアおよびハードウェア全般のセキュリティが挙げられる。
Organizations need to establish and maintain the appropriate accountability mechanisms, roles and responsibilities, culture, and incentive structures for risk management to be effective. Use of the AI RMF alone will not lead to these changes or provide the appropriate incentives. Effective risk management is realized through organizational commitment at senior levels and may require cultural change within an organization or industry. In addition, small to medium-sized organizations managing AI risks or implementing the AI RMF may face different challenges than large organizations, depending on their capabilities and resources.
組織は、リスクマネジメントを有効なものとするために、適切なアカウンタビリティの仕組み、役割と責任、文化、そしてインセンティブ構造を確立し、維持する必要がある。AI RMFを活用するだけでは、こうした変化はもたらされず、適切なインセンティブも提供されない。効果的なリスクマネジメントは、上級レベルでの組織的なコミットメントを通じて実現されるものであり、組織や業界における文化的な変革を必要とする場合がある。さらに、AIリスクを管理する、あるいはAI RMFを実施する中小規模の組織は、その能力やリソースに応じて、大規模な組織とは異なる課題に直面する可能性がある。

03 2. Audience

2. Audience Identifying and managing AI risks and potential impacts – both positive and negative – requires a broad set of perspectives and actors across the AI lifecycle. Ideally, AI actors will represent a diversity of experience, expertise, and backgrounds and comprise demographically and disciplinarily diverse teams. The AI RMF is intended to be used by AI actors across the AI lifecycle and dimensions.
2. 対象読者 AIリスクおよび潜在的な影響——正負いずれも——を特定し管理するには、AIライフサイクル全体にわたる幅広い視点と関係者が必要である。理想的には、AIアクターは多様な経験、専門性、背景を代表し、人口統計的にも専門分野的にも多様なチームで構成されることが望ましい。AI RMFは、AIライフサイクルおよびその諸側面にわたるAIアクターによって利用されることを意図している。
The OECD has developed a framework for classifying AI lifecycle activities according to five key socio-technical dimensions, each with properties relevant for AI policy and governance, including risk management [OECD (2022) OECD Framework for the Classification of AI systems — OECD Digital Economy Papers]. Figure 2 shows these dimensions, slightly modified by NIST for purposes of this framework. The NIST modification highlights the importance of test, evaluation, verification, and validation (TEVV) processes throughout an AI lifecycle and generalizes the operational context of an AI system.
OECDは、AIのライフサイクル活動を、リスクマネジメントを含むAI政策・ガバナンスに関連する特性を備えた5つの主要な社会技術的側面に従って分類するフレームワークを策定している〔OECD(2022)OECD Framework for the Classification of AI systems — OECD Digital Economy Papers〕。図2はこれらの側面を示しており、本フレームワークの目的のためにNISTが若干修正を加えている。NISTによる修正は、AIライフサイクル全体を通じたテスト、評価、検証、および妥当性確認(TEVV)プロセスの重要性を強調するとともに、AIシステムの運用上の文脈を一般化するものである。
AI dimensions displayed in Figure 2 are the Application Context, Data and Input, AI Model, and Task and Output. AI actors involved in these dimensions who perform or manage the design, development, deployment, evaluation, and use of AI systems and drive AI risk management efforts are the primary AI RMF audience.
図2に示されるAIの諸側面とは、アプリケーションの文脈、データと入力、AIモデル、そしてタスクと出力である。これらの側面に関与し、AIシステムの設計、開発、展開、評価、利用を行う、あるいは管理し、AIリスクマネジメントの取り組みを推進するAIアクターが、AI RMFの主たる対象読者である。
Representative AI actors across the lifecycle dimensions are listed in Figure 3 and described in detail in Appendix A. Within the AI RMF, all AI actors work together to manage risks and achieve the goals of trustworthy and responsible AI. AI actors with TEVV-specific expertise are integrated throughout the AI lifecycle and are especially likely to benefit from the Framework. Performed regularly, TEVV tasks can provide insights relative to technical, societal, legal, and ethical standards or norms, and can assist with anticipating impacts and assessing and tracking emergent risks. As a regular process within an AI lifecycle, TEVV allows for both mid-course remediation and post-hoc risk management.
ライフサイクルの各側面における代表的なAIアクターは図3に示されており、付録Aで詳細に説明されている。AI RMFにおいては、すべてのAIアクターが協働して、リスクを管理し、信頼できる責任あるAIという目標を達成する。TEVVに関する専門性を持つAIアクターは、AIライフサイクル全体に組み込まれており、本フレームワークから特に恩恵を受ける可能性が高い。定期的に実施されるTEVVのタスクは、技術的、社会的、法的、倫理的な基準や規範に関連する知見をもたらし、影響の予測や、新たに生じるリスクの評価・追跡を支援することができる。AIライフサイクルにおける定期的なプロセスとして、TEVVは、中間段階での是正と事後的なリスクマネジメントの両方を可能にする。
The People & Planet dimension at the center of Figure 2 represents human rights and the broader well-being of society and the planet. The AI actors in this dimension comprise a separate AI RMF audience who informs the primary audience. These AI actors may include trade associations, standards developing organizations, researchers, advocacy groups,
図2の中心に位置する「人々と地球」の側面は、人権、そしてより広い社会と地球の幸福(ウェルビーイング)を表している。この側面におけるAIアクターは、主たる対象読者に情報を提供する、別のAI RMFの対象読者を構成する。こうしたAIアクターには、業界団体、標準策定機関、研究者、擁護団体、
Fig. 2. Lifecycle and Key Dimensions of an AI System. Modified from OECD (2022) OECD Framework for the Classification of AI systems — OECD Digital Economy Papers. The two inner circles show AI systems’ key dimensions and the outer circle shows AI lifecycle stages. Ideally, risk management efforts start with the Plan and Design function in the application context and are performed throughout the AI system lifecycle. See Figure 3 for representative AI actors.
図2. AIシステムのライフサイクルと主要な側面。OECD(2022)OECD Framework for the Classification of AI systems — OECD Digital Economy Papers を改変。内側の2つの円はAIシステムの主要な側面を示し、外側の円はAIライフサイクルの各段階を示す。理想的には、リスクマネジメントの取り組みは、アプリケーションの文脈における計画・設計機能から始まり、AIシステムのライフサイクル全体を通じて行われる。代表的なAIアクターについては図3を参照のこと。
environmental groups, civil society organizations, end users, and potentially impacted individuals and communities. These actors can:
環境団体、市民社会組織、エンドユーザー、そして影響を受ける可能性のある個人やコミュニティが含まれうる。これらの関係者は、以下のことができる。
• assist in providing context and understanding potential and actual impacts; • be a source of formal or quasi-formal norms and guidance for AI risk management; • designate boundaries for AI operation (technical, societal, legal, and ethical); and • promote discussion of the tradeoffs needed to balance societal values and priorities related to civil liberties and rights, equity, the environment and the planet, and the economy.
• 潜在的および実際の影響についての文脈と理解を提供する一助となる。 • AIリスクマネジメントのための正式または準正式な規範やガイダンスの源となる。 • AIの運用(技術的、社会的、法的、倫理的)に関する境界を定める。 • 市民的自由や権利、公平性、環境と地球、そして経済に関連する社会的な価値観や優先事項のバランスを取るために必要なトレードオフについての議論を促進する。
Successful risk management depends upon a sense of collective responsibility among AI actors shown in Figure 3. The AI RMF functions, described in Section 5, require diverse perspectives, disciplines, professions, and experiences. Diverse teams contribute to more open sharing of ideas and assumptions about the purposes and functions of technology – making these implicit aspects more explicit. This broader collective perspective creates opportunities for surfacing problems and identifying existing and emergent risks.
リスクマネジメントを成功させるには、図3に示されたAIアクターの間での集団的責任の意識が不可欠である。第5節で説明するAI RMFの各機能には、多様な視点、専門分野、職業、経験が求められる。多様なチームは、技術の目的や機能についての考えや前提をより開かれた形で共有することに寄与し、こうした暗黙の側面をより明示的なものにする。この、より広範な集団的視点は、問題を表面化させ、既存および新たに生じるリスクを特定する機会を生み出す。
Fig. 3. AI actors across AI lifecycle stages. See Appendix A for detailed descriptions of AI actor tasks, including details about testing, evaluation, verification, and validation tasks. Note that AI actors in the AI Model dimension (Figure 2) are separated as a best practice, with those building and using the models separated from those verifying and validating the models.
図3. AIライフサイクルの各段階にわたるAIアクター。テスト、評価、検証、および妥当性確認に関するタスクの詳細を含む、AIアクターのタスクの詳細な説明については付録Aを参照のこと。なお、(図2の)AIモデルの側面におけるAIアクターは、ベストプラクティスとして、モデルを構築・利用する者とモデルを検証・妥当性確認する者とに区別されている点に留意されたい。

04 3. AI Risks and Trustworthiness

3. AI Risks and Trustworthiness For AI systems to be trustworthy, they often need to be responsive to a multiplicity of criteria that are of value to interested parties. Approaches which enhance AI trustworthiness can reduce negative AI risks. This Framework articulates the following characteristics of trustworthy AI and offers guidance for addressing them. Characteristics of trustworthy AI systems include: valid and reliable, safe, secure and resilient, accountable and transparent, explainable and interpretable, privacy-enhanced, and fair with harmful bias managed. Creating trustworthy AI requires balancing each of these characteristics based on the AI system’s context of use. While all characteristics are socio-technical system attributes, accountability and transparency also relate to the processes and activities internal to an AI system and its external setting. Neglecting these characteristics can increase the probability and magnitude of negative consequences.
3. AIのリスクと信頼性 AIシステムが信頼できるものであるためには、多くの場合、関係者にとって価値のある多様な基準に応えられる必要がある。AIの信頼性を高めるアプローチは、負のAIリスクを低減することができる。本フレームワークは、信頼できるAIの以下の特性を明示し、それらに対処するためのガイダンスを提供する。信頼できるAIシステムの特性には、妥当性と信頼性、安全性、セキュリティとレジリエンス、アカウンタビリティと透明性、説明可能性と解釈可能性、プライバシーへの配慮、そして有害なバイアスが管理された公平性が含まれる。信頼できるAIを実現するには、AIシステムの利用文脈に応じて、これらの特性それぞれの間でバランスを取ることが必要である。すべての特性は社会技術システムの属性であるが、アカウンタビリティと透明性は、AIシステム内部のプロセスや活動、およびその外部の環境にも関連する。これらの特性を軽視すると、負の結果が生じる確率と大きさが増大しかねない。
Fig. 4. Characteristics of trustworthy AI systems. Valid & Reliable is a necessary condition of trustworthiness and is shown as the base for other trustworthiness characteristics. Accountable & Transparent is shown as a vertical box because it relates to all other characteristics.
図4. 信頼できるAIシステムの特性。妥当性と信頼性は信頼性(トラストワーシネス)の必要条件であり、他の信頼性に関する特性を支える基盤として示されている。アカウンタビリティと透明性は、他のすべての特性に関わることから、縦方向のボックスとして示されている。
Trustworthiness characteristics (shown in Figure 4) are inextricably tied to social and organizational behavior, the datasets used by AI systems, selection of AI models and algorithms and the decisions made by those who build them, and the interactions with the humans who provide insight from and oversight of such systems. Human judgment should be employed when deciding on the specific metrics related to AI trustworthiness characteristics and the precise threshold values for those metrics.
図4に示す信頼性の特性は、社会的・組織的な行動、AIシステムが用いるデータセット、AIモデルやアルゴリズムの選択とそれを構築する者による意思決定、そしてこうしたシステムから知見を得たりこれを監督したりする人間との相互作用と、切り離せない形で結びついている。AIの信頼性に関する特性に関連する具体的な指標や、その指標の正確な閾値を決定する際には、人間の判断が用いられるべきである。
Addressing AI trustworthiness characteristics individually will not ensure AI system trustworthiness; tradeoffs are usually involved, rarely do all characteristics apply in every setting, and some will be more or less important in any given situation. Ultimately, trustworthiness is a social concept that ranges across a spectrum and is only as strong as its weakest characteristics.
AIの信頼性に関する特性に個別に対処するだけでは、AIシステムの信頼性は確保されない。通常はトレードオフが伴い、すべての特性があらゆる状況において当てはまることは稀であり、ある状況によっては特定の特性がより重要になったり、逆に重要性が低くなったりする。最終的に、信頼性とは、ある幅を持つスペクトルにまたがる社会的な概念であり、その強さは最も弱い特性によって規定される。
When managing AI risks, organizations can face difficult decisions in balancing these characteristics. For example, in certain scenarios tradeoffs may emerge between optimizing for interpretability and achieving privacy. In other cases, organizations might face a tradeoff between predictive accuracy and interpretability. Or, under certain conditions such as data sparsity, privacy-enhancing techniques can result in a loss in accuracy, affecting decisions about fairness and other values in certain domains. Dealing with tradeoffs requires taking into account the decision-making context. These analyses can highlight the existence and extent of tradeoffs between different measures, but they do not answer questions about how to navigate the tradeoff. Those depend on the values at play in the relevant context and should be resolved in a manner that is both transparent and appropriately justifiable.
AIリスクを管理するにあたり、組織はこれらの特性のバランスを取る上で難しい判断を迫られることがある。例えば、ある種の状況では、解釈可能性の最適化とプライバシーの達成との間にトレードオフが生じることがある。また別の場合には、組織は予測精度と解釈可能性との間のトレードオフに直面することもある。あるいは、データの疎性など特定の条件下では、プライバシー強化技術が精度の低下をもたらし、特定の領域における公平性やその他の価値観に関する判断に影響を及ぼすことがある。トレードオフに対処するには、意思決定の文脈を考慮に入れる必要がある。こうした分析は、異なる測定指標間のトレードオフの存在とその程度を明らかにすることはできるが、そのトレードオフをどのように舵取りすべきかという問いには答えない。それは、関連する文脈において働いている価値観に依存するものであり、透明で、かつ適切に正当化できる形で解決されるべきである。
There are multiple approaches for enhancing contextual awareness in the AI lifecycle. For example, subject matter experts can assist in the evaluation of TEVV findings and work with product and deployment teams to align TEVV parameters to requirements and deployment conditions. When properly resourced, increasing the breadth and diversity of input from interested parties and relevant AI actors throughout the AI lifecycle can enhance opportunities for informing contextually sensitive evaluations, and for identifying AI system benefits and positive impacts. These practices can increase the likelihood that risks arising in social contexts are managed appropriately.
AIライフサイクルにおける文脈への感度を高めるためのアプローチは複数存在する。例えば、専門的知見を持つ者がTEVVの結果の評価を支援し、製品チームや展開チームと連携してTEVVのパラメータを要件や展開条件に整合させることができる。適切なリソースが投じられれば、AIライフサイクル全体を通じて関係者や関連するAIアクターからの意見の幅と多様性を高めることは、文脈に即した評価に情報を与える機会や、AIシステムの便益と正の影響を特定する機会を増やすことができる。こうした実践は、社会的な文脈において生じるリスクが適切に管理される可能性を高めることができる。
Understanding and treatment of trustworthiness characteristics depends on an AI actor’s particular role within the AI lifecycle. For any given AI system, an AI designer or developer may have a different perception of the characteristics than the deployer.
信頼性に関する特性の理解と扱いは、AIライフサイクルにおけるAIアクターの特定の役割によって異なる。特定のAIシステムについて、AIの設計者や開発者は、展開者とは異なる形でこれらの特性を認識する場合がある。
Trustworthiness characteristics explained in this document influence each other. Highly secure but unfair systems, accurate but opaque and uninterpretable systems, and inaccurate but secure, privacy-enhanced, and transparent systems are all undesirable. A comprehensive approach to risk management calls for balancing tradeoffs among the trustworthiness characteristics. It is the joint responsibility of all AI actors to determine whether AI technology is an appropriate or necessary tool for a given context or purpose, and how to use it responsibly. The decision to commission or deploy an AI system should be based on a contextual assessment of trustworthiness characteristics and the relative risks, impacts, costs, and benefits, and informed by a broad set of interested parties.
本書で説明する信頼性の特性は、互いに影響し合う。高度にセキュアであるが不公平なシステム、正確であるが不透明で解釈不能なシステム、そして不正確であるがセキュアでプライバシーに配慮され透明性のあるシステムは、いずれも望ましくない。リスクマネジメントへの包括的なアプローチには、信頼性の特性間のトレードオフのバランスを取ることが求められる。AI技術が特定の文脈や目的にとって適切または必要なツールであるかどうか、そしてそれをどのように責任を持って利用するかを判断することは、すべてのAIアクターの共同の責任である。AIシステムの導入や展開の意思決定は、信頼性の特性、および相対的なリスク、影響、コスト、便益についての文脈に即した評価に基づき、幅広い関係者からの情報を踏まえて行われるべきである。
3.1 Valid and Reliable
3.1 妥当性と信頼性
Validation is the “confirmation, through the provision of objective evidence, that the requirements for a specific intended use or application have been fulfilled” (Source: ISO 9000:2015). Deployment of AI systems which are inaccurate, unreliable, or poorly generalized to data and settings beyond their training creates and increases negative AI risks and reduces trustworthiness.
妥当性確認(バリデーション)とは、「客観的な証拠の提供を通じて、特定の意図された用途または適用についての要件が満たされていることを確認すること」である(出典:ISO 9000:2015)。不正確であったり、信頼性が低かったり、訓練の範囲を超えたデータや状況への汎化が不十分であったりするAIシステムを展開することは、負のAIリスクを生み出し増大させ、信頼性を低下させる。
Reliability is defined in the same standard as the “ability of an item to perform as required, without failure, for a given time interval, under given conditions” (Source: ISO / IEC TS 5723:2022). Reliability is a goal for overall correctness of AI system operation under the conditions of expected use and over a given period of time, including the entire lifetime of the system.
信頼性(リライアビリティ)は、同じ標準において「所与の条件のもとで、所与の時間間隔にわたり、故障することなく要求どおりに機能するアイテムの能力」と定義されている(出典:ISO/IEC TS 5723:2022)。信頼性とは、想定される利用条件のもと、システムの寿命全体を含む所与の期間にわたって、AIシステムの運用全体としての正確性を確保することを目標とするものである。
Accuracy and robustness contribute to the validity and trustworthiness of AI systems, and can be in tension with one another in AI systems.
正確性と堅牢性は、AIシステムの妥当性と信頼性に寄与するものであるが、AIシステムにおいては互いに緊張関係にある場合がある。
Accuracy is defined by ISO / IEC TS 5723:2022 as “closeness of results of observations, computations, or estimates to the true values or the values accepted as being true.” Measures of accuracy should consider computational-centric measures (e.g., false positive and false negative rates), human-AI teaming, and demonstrate external validity (generalizable beyond the training conditions). Accuracy measurements should always be paired with clearly defined and realistic test sets – that are representative of conditions of expected use – and details about test methodology; these should be included in associated documentation. Accuracy measurements may include disaggregation of results for different data segments.
正確性は、ISO/IEC TS 5723:2022において「観測、計算、または推定の結果が、真の値または真であると受け入れられている値にどれだけ近いか」と定義されている。正確性の測定にあたっては、計算中心の指標(例えば偽陽性率や偽陰性率)、人間とAIのチーミング、そして(訓練条件を超えて一般化可能であるという)外的妥当性を考慮すべきである。正確性の測定は、想定される利用条件を代表する、明確に定義された現実的なテストセット、および試験手法に関する詳細と常に併せて示されるべきであり、これらは関連する文書に含まれるべきである。正確性の測定には、異なるデータセグメントごとの結果の分解を含めることができる。
Robustness or generalizability is defined as the “ability of a system to maintain its level of performance under a variety of circumstances” (Source: ISO / IEC TS 5723:2022). Robustness is a goal for appropriate system functionality in a broad set of conditions and circumstances, including uses of AI systems not initially anticipated. Robustness requires not only that the system perform exactly as it does under expected uses, but also that it should perform in ways that minimize potential harms to people if it is operating in an unexpected setting.
堅牢性または汎化可能性は、「様々な状況下で性能の水準を維持するシステムの能力」と定義される(出典:ISO/IEC TS 5723:2022)。堅牢性とは、当初想定されていなかったAIシステムの利用も含め、幅広い条件や状況において適切なシステム機能を確保することを目標とするものである。堅牢性には、想定される利用のもとで期待どおりに機能することだけでなく、想定外の状況で運用されている場合にも人々への潜在的な害を最小化するように機能することも求められる。
Validity and reliability for deployed AI systems are often assessed by ongoing testing or monitoring that confirms a system is performing as intended. Measurement of validity, accuracy, robustness, and reliability contribute to trustworthiness and should take into consideration that certain types of failures can cause greater harm. AI risk management efforts should prioritize the minimization of potential negative impacts, and may need to include human intervention in cases where the AI system cannot detect or correct errors.
展開されたAIシステムの妥当性と信頼性は、システムが意図したとおりに機能していることを確認する継続的なテストやモニタリングによって評価されることが多い。妥当性、正確性、堅牢性、信頼性の測定は信頼性(トラストワーシネス)に寄与するものであり、特定の種類の障害がより大きな害を引き起こしうることを考慮すべきである。AIリスクマネジメントの取り組みは、潜在的な負の影響の最小化を優先すべきであり、AIシステムが誤りを検知または修正できない場合には、人間の介入を含める必要が生じることもある。
3.2 Safe
3.2 安全性
AI systems should “not under defined conditions, lead to a state in which human life, health, property, or the environment is endangered” (Source: ISO / IEC TS 5723:2022). Safe operation of AI systems is improved through:
AIシステムは、「定められた条件下において、人の生命、健康、財産、または環境が危険にさらされる状態をもたらしてはならない」(出典:ISO/IEC TS 5723:2022)。AIシステムの安全な運用は、以下によって向上する。
• responsible design, development, and deployment practices;
• 責任ある設計、開発、展開の実践
• clear information to deployers on responsible use of the system;
• システムの責任ある利用に関する展開者への明確な情報提供
• responsible decision-making by deployers and end users; and
• 展開者およびエンドユーザーによる責任ある意思決定
• explanations and documentation of risks based on empirical evidence of incidents.
• インシデントの経験的証拠に基づくリスクの説明と文書化
Different types of safety risks may require tailored AI risk management approaches based on context and the severity of potential risks presented. Safety risks that pose a potential risk of serious injury or death call for the most urgent prioritization and most thorough risk management process.
安全性に関するリスクの種類は様々であり、文脈や、想定される潜在的リスクの深刻度に応じて、それぞれに合わせたAIリスクマネジメントのアプローチが必要となる場合がある。重大な傷害や死亡につながる可能性のある安全リスクは、最も緊急の優先順位付けと最も徹底したリスクマネジメントのプロセスを必要とする。
Employing safety considerations during the lifecycle and starting as early as possible with planning and design can prevent failures or conditions that can render a system dangerous. Other practical approaches for AI safety often relate to rigorous simulation and in-domain testing, real-time monitoring, and the ability to shut down, modify, or have human intervention into systems that deviate from intended or expected functionality.
ライフサイクルを通じて安全性に関する配慮を行い、できるだけ早期の計画・設計段階からそれを開始することで、システムを危険なものにしうる障害や状況を防ぐことができる。AIの安全性に関するその他の実践的なアプローチとしては、厳密なシミュレーションおよび当該領域内でのテスト、リアルタイムのモニタリング、そして意図した機能や期待される機能から逸脱したシステムを停止・修正する、あるいは人間が介入する能力に関するものが多い。
AI safety risk management approaches should take cues from efforts and guidelines for safety in fields such as transportation and healthcare, and align with existing sector- or application-specific guidelines or standards.
AIの安全性に関するリスクマネジメントのアプローチは、交通や医療といった分野における安全性についての取り組みやガイドラインを参考にし、既存のセクター別またはアプリケーション別のガイドラインや標準と整合させるべきである。
3.3 Secure and Resilient
3.3 セキュリティとレジリエンス
AI systems, as well as the ecosystems in which they are deployed, may be said to be resilient if they can withstand unexpected adverse events or unexpected changes in their environment or use – or if they can maintain their functions and structure in the face of internal and external change and degrade safely and gracefully when this is necessary (Adapted from: ISO / IEC TS 5723:2022). Common security concerns relate to adversarial examples, data poisoning, and the exfiltration of models, training data, or other intellectual property through AI system endpoints. AI systems that can maintain confidentiality, integrity, and availability through protection mechanisms that prevent unauthorized access and use may be said to be secure. Guidelines in the NIST Cybersecurity Framework and Risk Management Framework are among those which are applicable here.
AIシステムおよびそれが展開されるエコシステムは、予期しない有害事象や環境・利用における予期しない変化に耐えることができる場合、あるいは内的・外的な変化に直面してもその機能と構造を維持し、必要な場合には安全かつ緩やかに性能を低下させることができる場合に、レジリエントであると言える(出典:ISO/IEC TS 5723:2022を改変)。一般的なセキュリティ上の懸念としては、敵対的サンプル、データポイズニング、そしてAIシステムのエンドポイントを通じたモデル、訓練データ、その他の知的財産の外部流出などが挙げられる。不正なアクセスや利用を防止する保護機構によって機密性、完全性、可用性を維持できるAIシステムは、セキュアであると言える。NISTサイバーセキュリティフレームワークおよびリスクマネジメントフレームワークにおけるガイドラインは、ここで適用可能なものの一つである。
Security and resilience are related but distinct characteristics. While resilience is the ability to return to normal function after an unexpected adverse event, security includes resilience but also encompasses protocols to avoid, protect against, respond to, or recover from attacks. Resilience relates to robustness and goes beyond the provenance of the data to encompass unexpected or adversarial use (or abuse or misuse) of the model or data.
セキュリティとレジリエンスは関連しているが、異なる特性である。レジリエンスは予期しない有害事象の後に通常の機能へ復帰する能力であるのに対し、セキュリティはレジリエンスを含みつつ、攻撃を回避し、それから保護し、それに対応し、それから復旧するためのプロトコルも包含する。レジリエンスは堅牢性に関連するものであり、データの出所にとどまらず、モデルやデータの予期しない、あるいは敵対的な利用(あるいは濫用や誤用)にも及ぶ。
3.4 Accountable and Transparent
3.4 アカウンタビリティと透明性
Trustworthy AI depends upon accountability. Accountability presupposes transparency. Transparency reflects the extent to which information about an AI system and its outputs is available to individuals interacting with such a system – regardless of whether they are even aware that they are doing so. Meaningful transparency provides access to appropriate levels of information based on the stage of the AI lifecycle and tailored to the role or knowledge of AI actors or individuals interacting with or using the AI system. By promoting higher levels of understanding, transparency increases confidence in the AI system.
信頼できるAIはアカウンタビリティに依拠する。アカウンタビリティは透明性を前提とする。透明性とは、AIシステムとやり取りする個人——自らがそうしていることに気づいているかどうかにかかわらず——に対し、AIシステムおよびその出力に関する情報がどの程度利用可能であるかを反映するものである。意味のある透明性は、AIライフサイクルの段階に応じ、かつAIシステムとやり取りする、あるいはこれを利用するAIアクターや個人の役割や知識に合わせて調整された、適切な水準の情報へのアクセスを提供する。透明性は、より高い水準の理解を促進することにより、AIシステムに対する信頼を高める。
This characteristic’s scope spans from design decisions and training data to model training, the structure of the model, its intended use cases, and how and when deployment, post-deployment, or end user decisions were made and by whom. Transparency is often necessary for actionable redress related to AI system outputs that are incorrect or otherwise lead to negative impacts. Transparency should consider human-AI interaction: for example, how a human operator or user is notified when a potential or actual adverse outcome caused by an AI system is detected. A transparent system is not necessarily an accurate, privacy-enhanced, secure, or fair system. However, it is difficult to determine whether an opaque system possesses such characteristics, and to do so over time as complex systems evolve.
この特性の範囲は、設計上の決定や訓練データから、モデルの訓練、モデルの構造、その意図された利用事例、そして展開時、展開後、またはエンドユーザーによる意思決定がいつ、どのように、誰によって行われたかにまで及ぶ。透明性は、誤った、あるいはその他の形で負の影響をもたらすAIシステムの出力に関して、実効的な救済を行う上でしばしば必要となる。透明性は、人間とAIの相互作用も考慮すべきである。例えば、AIシステムによって引き起こされた潜在的または実際の有害な結果が検知された際に、人間の操作者や利用者にどのように通知されるかなどである。透明なシステムが必ずしも正確で、プライバシーに配慮され、セキュアで、または公平なシステムであるとは限らない。しかし、不透明なシステムがこうした特性を備えているかどうかを判断すること、また複雑なシステムが進化していく中でそれを継続的に判断することは困難である。
The role of AI actors should be considered when seeking accountability for the outcomes of AI systems. The relationship between risk and accountability associated with AI and technological systems more broadly differs across cultural, legal, sectoral, and societal contexts. When consequences are severe, such as when life and liberty are at stake, AI developers and deployers should consider proportionally and proactively adjusting their transparency and accountability practices. Maintaining organizational practices and governing structures for harm reduction, like risk management, can help lead to more accountable systems.
AIシステムの結果についてアカウンタビリティを追求する際には、AIアクターの役割が考慮されるべきである。AIおよびより広く技術システムに伴うリスクとアカウンタビリティの関係は、文化的、法的、セクター的、社会的文脈によって異なる。生命や自由が懸かっているなど結果が深刻である場合、AI開発者や展開者は、自らの透明性やアカウンタビリティの実践を、比例的かつ事前対応的に調整することを検討すべきである。リスクマネジメントのような、害の低減のための組織的な実践やガバナンス構造を維持することは、よりアカウンタブルなシステムの実現につながりうる。
Measures to enhance transparency and accountability should also consider the impact of these efforts on the implementing entity, including the level of necessary resources and the need to safeguard proprietary information.
透明性とアカウンタビリティを高めるための措置においては、こうした取り組みが実施主体に及ぼす影響、すなわち必要となるリソースの水準や、専有情報を保護する必要性についても考慮すべきである。
Maintaining the provenance of training data and supporting attribution of the AI system’s decisions to subsets of training data can assist with both transparency and accountability. Training data may also be subject to copyright and should follow applicable intellectual property rights laws.
訓練データの出所(プロベナンス)を維持し、AIシステムの意思決定を訓練データのサブセットに帰属させられるようにすることは、透明性とアカウンタビリティの双方に寄与しうる。訓練データは著作権の対象となる場合もあり、適用可能な知的財産権に関する法律に従うべきである。
As transparency tools for AI systems and related documentation continue to evolve, developers of AI systems are encouraged to test different types of transparency tools in cooperation with AI deployers to ensure that AI systems are used as intended.
AIシステムのための透明性ツールおよび関連する文書化が今後も発展し続ける中で、AIシステムの開発者は、AIシステムが意図したとおりに利用されることを確保するため、AI展開者と協力して様々な種類の透明性ツールを試すことが推奨される。
3.5 Explainable and Interpretable
3.5 説明可能性と解釈可能性
Explainability refers to a representation of the mechanisms underlying AI systems’ operation, whereas interpretability refers to the meaning of AI systems’ output in the context of their designed functional purposes. Together, explainability and interpretability assist those operating or overseeing an AI system, as well as users of an AI system, to gain deeper insights into the functionality and trustworthiness of the system, including its outputs. The underlying assumption is that perceptions of negative risk stem from a lack of ability to make sense of, or contextualize, system output appropriately. Explainable and interpretable AI systems offer information that will help end users understand the purposes and potential impact of an AI system.
説明可能性とは、AIシステムの動作の根底にある仕組みの表現を指し、解釈可能性とは、AIシステムの出力が、その設計上の機能目的の文脈においてどのような意味を持つかを指す。説明可能性と解釈可能性は、両者相まって、AIシステムを操作または監督する者、そしてAIシステムの利用者が、当該システムの機能性や信頼性——その出力を含む——について、より深い洞察を得る助けとなる。その根底にある前提は、負のリスクについての認識が、システムの出力を適切に理解し、文脈に位置づける能力の欠如から生じるというものである。説明可能で解釈可能なAIシステムは、エンドユーザーがAIシステムの目的と潜在的な影響を理解する助けとなる情報を提供する。
Risk from lack of explainability may be managed by describing how AI systems function, with descriptions tailored to individual differences such as the user’s role, knowledge, and skill level. Explainable systems can be debugged and monitored more easily, and they lend themselves to more thorough documentation, audit, and governance.
説明可能性の欠如によるリスクは、利用者の役割、知識、技能水準といった個人差に合わせて調整された説明を用いて、AIシステムがどのように機能するかを説明することによって管理できる場合がある。説明可能なシステムはより容易にデバッグやモニタリングを行うことができ、より徹底した文書化、監査、ガバナンスにも適している。
Risks to interpretability often can be addressed by communicating a description of why an AI system made a particular prediction or recommendation. (See “Four Principles of Explainable Artificial Intelligence” and “Psychological Foundations of Explainability and Interpretability in Artificial Intelligence” found here.)
解釈可能性に関するリスクは、AIシステムがなぜ特定の予測や推奨を行ったのかについての説明を伝えることによって、多くの場合対処することができる。(“Four Principles of Explainable Artificial Intelligence” および “Psychological Foundations of Explainability and Interpretability in Artificial Intelligence” を参照。)
Transparency, explainability, and interpretability are distinct characteristics that support each other. Transparency can answer the question of “what happened” in the system. Explainability can answer the question of “how” a decision was made in the system. Interpretability can answer the question of “why” a decision was made by the system and its meaning or context to the user.
透明性、説明可能性、解釈可能性は、互いに支え合う別個の特性である。透明性は、システムにおいて「何が起きたか」という問いに答えることができる。説明可能性は、システムにおいてある決定が「どのように」下されたかという問いに答えることができる。解釈可能性は、システムによってある決定が「なぜ」下されたのか、そしてそれが利用者にとってどのような意味や文脈を持つのかという問いに答えることができる。
3.6 Privacy-Enhanced
3.6 プライバシーへの配慮
Privacy refers generally to the norms and practices that help to safeguard human autonomy, identity, and dignity. These norms and practices typically address freedom from intrusion, limiting observation, or individuals’ agency to consent to disclosure or control of facets of their identities (e.g., body, data, reputation). (See The NIST Privacy Framework: A Tool for Improving Privacy through Enterprise Risk Management.)
プライバシーとは、一般に、人間の自律性、アイデンティティ、尊厳の保護を助ける規範や実践を指す。こうした規範や実践は、通常、干渉からの自由、観察の制限、あるいは自らのアイデンティティの諸側面(身体、データ、評判など)の開示や管理に同意する個人の主体性といった事項を扱う。(The NIST Privacy Framework: A Tool for Improving Privacy through Enterprise Risk Management を参照。)
Privacy values such as anonymity, confidentiality, and control generally should guide choices for AI system design, development, and deployment. Privacy-related risks may influence security, bias, and transparency and come with tradeoffs with these other characteristics. Like safety and security, specific technical features of an AI system may promote or reduce privacy. AI systems can also present new risks to privacy by allowing inference to identify individuals or previously private information about individuals.
匿名性、機密性、管理といったプライバシーに関する価値観は、一般に、AIシステムの設計、開発、展開に関する選択の指針となるべきである。プライバシーに関連するリスクは、セキュリティ、バイアス、透明性に影響を及ぼすことがあり、これらの他の特性とのトレードオフを伴う。安全性やセキュリティと同様に、AIシステムの特定の技術的特徴は、プライバシーを促進することもあれば、損なうこともある。AIシステムはまた、個人を特定したり、個人についてこれまで非公開であった情報を推論によって明らかにしたりすることを可能にすることで、プライバシーに対する新たなリスクをもたらす場合もある。
Privacy-enhancing technologies (“PETs”) for AI, as well as data minimizing methods such as de-identification and aggregation for certain model outputs, can support design for privacy-enhanced AI systems. Under certain conditions such as data sparsity, privacyenhancing techniques can result in a loss in accuracy, affecting decisions about fairness and other values in certain domains.
AI向けのプライバシー強化技術(“PETs”)、および特定のモデル出力に対する匿名化や集約といったデータ最小化手法は、プライバシーに配慮したAIシステムの設計を支援することができる。データの疎性など特定の条件下では、プライバシー強化技術が精度の低下をもたらし、特定の領域における公平性やその他の価値観に関する判断に影響を及ぼすことがある。
3.7 Fair – with Harmful Bias Managed
3.7 公平性——有害なバイアスの管理
Fairness in AI includes concerns for equality and equity by addressing issues such as harmful bias and discrimination. Standards of fairness can be complex and difficult to define because perceptions of fairness differ among cultures and may shift depending on application. Organizations’ risk management efforts will be enhanced by recognizing and considering these differences. Systems in which harmful biases are mitigated are not necessarily fair. For example, systems in which predictions are somewhat balanced across demographic groups may still be inaccessible to individuals with disabilities or affected by the digital divide or may exacerbate existing disparities or systemic biases.
AIにおける公平性には、有害なバイアスや差別といった問題への対処を通じて、平等性および公平性(equality and equity)への配慮が含まれる。公平性の認識は文化によって異なり、用途によっても変化しうるため、公平性の基準は複雑で定義が難しい場合がある。組織のリスクマネジメントの取り組みは、こうした違いを認識し考慮することによって強化される。有害なバイアスが緩和されているシステムが、必ずしも公平であるとは限らない。例えば、予測がある程度人口統計上のグループ間でバランスが取れているシステムであっても、障害のある個人にとってはアクセスできないものであったり、デジタルデバイドの影響を受ける人々にとって利用しづらいものであったり、あるいは既存の格差や構造的なバイアスを悪化させたりする場合がある。
Bias is broader than demographic balance and data representativeness. NIST has identified three major categories of AI bias to be considered and managed: systemic, computational and statistical, and human-cognitive. Each of these can occur in the absence of prejudice, partiality, or discriminatory intent. Systemic bias can be present in AI datasets, the organizational norms, practices, and processes across the AI lifecycle, and the broader society that uses AI systems. Computational and statistical biases can be present in AI datasets and algorithmic processes, and often stem from systematic errors due to non-representative samples. Human-cognitive biases relate to how an individual or group perceives AI system information to make a decision or fill in missing information, or how humans think about purposes and functions of an AI system. Human-cognitive biases are omnipresent in decision-making processes across the AI lifecycle and system use, including the design, implementation, operation, and maintenance of AI.
バイアスは、人口統計上のバランスやデータの代表性よりも広い概念である。NISTは、検討し管理すべきAIバイアスの主要なカテゴリーとして、システム的バイアス、計算・統計的バイアス、そして人間の認知バイアスの3つを特定している。これらはいずれも、偏見、えこひいき、差別的な意図がなくとも生じうる。システム的バイアスは、AIのデータセット、AIライフサイクル全体にわたる組織の規範・実践・プロセス、そしてAIシステムを利用するより広い社会の中に存在しうる。計算・統計的バイアスは、AIのデータセットやアルゴリズムによる処理の中に存在しうるものであり、多くの場合、代表性のないサンプルに起因する系統的な誤りから生じる。人間の認知バイアスは、個人や集団がAIシステムの情報をどのように認識して意思決定を行うか、あるいは欠落した情報をどのように補うか、または人間がAIシステムの目的や機能についてどのように考えるかに関連する。人間の認知バイアスは、AIの設計、実装、運用、保守を含め、AIライフサイクルおよびシステムの利用全体にわたる意思決定プロセスに遍在している。
Bias exists in many forms and can become ingrained in the automated systems that help make decisions about our lives. While bias is not always a negative phenomenon, AI systems can potentially increase the speed and scale of biases and perpetuate and amplify harms to individuals, groups, communities, organizations, and society. Bias is tightly associated with the concepts of transparency as well as fairness in society. (For more information about bias, including the three categories, see NIST Special Publication 1270, Towards a Standard for Identifying and Managing Bias in Artificial Intelligence.)
バイアスは様々な形で存在し、私たちの生活に関する意思決定を助ける自動化システムに組み込まれてしまうことがある。バイアスは必ずしも負の現象であるとは限らないが、AIシステムはバイアスの速度と規模を増大させ、個人、集団、コミュニティ、組織、社会への害を永続化させ増幅させる可能性がある。バイアスは、透明性の概念、そして社会における公平性の概念と密接に結びついている。(バイアス、および3つのカテゴリーについての詳細は、NIST Special Publication 1270, Towards a Standard for Identifying and Managing Bias in Artificial Intelligence を参照のこと。)

05 4. Effectiveness of the AI RMF

4. Effectiveness of the AI RMF Evaluations of AI RMF effectiveness – including ways to measure bottom-line improvements in the trustworthiness of AI systems – will be part of future NIST activities, in conjunction with the AI community.
4. AI RMFの有効性 AI RMFの有効性の評価――AIシステムの信頼性における実質的な改善を測定する方法を含む――は、AIコミュニティと連携しつつ、NISTの今後の活動の一部となる予定である。
Organizations and other users of the Framework are encouraged to periodically evaluate whether the AI RMF has improved their ability to manage AI risks, including but not limited to their policies, processes, practices, implementation plans, indicators, measurements, and expected outcomes. NIST intends to work collaboratively with others to develop metrics, methodologies, and goals for evaluating the AI RMF’s effectiveness, and to broadly share results and supporting information. Framework users are expected to benefit from:
組織および本フレームワークのその他の利用者は、方針、プロセス、実務、実施計画、指標、測定、期待される成果などを含め、AI RMFによって自らのAIリスク管理能力が向上したかどうかを定期的に評価することが推奨される。NISTは、AI RMFの有効性を評価するための指標、方法論、目標を他の関係者と協働で策定し、その結果や関連情報を広く共有していく意向である。フレームワークの利用者には、以下のような効果が期待される。
• enhanced processes for governing, mapping, measuring, and managing AI risk, and clearly documenting outcomes;
• AIリスクのガバナンス、マッピング、測定、および管理のためのプロセスが強化され、成果が明確に文書化されること。
• improved awareness of the relationships and tradeoffs among trustworthiness characteristics, socio-technical approaches, and AI risks;
• 信頼性の特性、社会技術的アプローチ、およびAIリスクの間の関係とトレードオフについての理解が深まること。
• explicit processes for making go/no-go system commissioning and deployment decisions;
• システムの採用可否および展開の可否を判断するための明示的なプロセスが確立されること。
• established policies, processes, practices, and procedures for improving organizational accountability efforts related to AI system risks;
• AIシステムのリスクに関する組織の説明責任(アカウンタビリティ)の取り組みを改善するための方針、プロセス、実務、手順が確立されること。
• enhanced organizational culture which prioritizes the identification and management of AI system risks and potential impacts to individuals, communities, organizations, and society;
• AIシステムのリスクや、個人、コミュニティ、組織、社会への潜在的な影響の特定と管理を優先する組織文化が強化されること。
• better information sharing within and across organizations about risks, decisionmaking processes, responsibilities, common pitfalls, TEVV practices, and approaches for continuous improvement;
• リスク、意思決定プロセス、責任、一般的な落とし穴、TEVV(試験・評価・検証・妥当性確認)の実務、および継続的改善のためのアプローチについて、組織内および組織間での情報共有が改善されること。
• greater contextual knowledge for increased awareness of downstream risks;
• 下流リスクに対する認識を高めるための、文脈に即した知識が深まること。
• strengthened engagement with interested parties and relevant AI actors; and
• 利害関係者および関連するAI関係者(AIアクター)との連携が強化されること。
• augmented capacity for TEVV of AI systems and associated risks.
• AIシステムおよび関連リスクに対するTEVVの能力が拡充されること。

06 5. AI RMF Core

5. AI RMF Core The AI RMF Core provides outcomes and actions that enable dialogue, understanding, and activities to manage AI risks and responsibly develop trustworthy AI systems. As illustrated in Figure 5, the Core is composed of four functions: GOVERN , MAP, MEASURE , and MANAGE. Each of these high-level functions is broken down into categories and subcategories. Categories and subcategories are subdivided into specific actions and outcomes. Actions do not constitute a checklist, nor are they necessarily an ordered set of steps.
5. AI RMFコア AI RMFコアは、AIリスクを管理し、信頼できるAIシステムを責任を持って開発するための対話、理解、および活動を可能にする成果と行動を提供する。図5に示すとおり、コアはGOVERN(ガバナンス)、MAP(マッピング)、MEASURE(測定)、MANAGE(マネジメント)の4つの機能から構成される。これらの上位機能は、それぞれカテゴリーとサブカテゴリーに分けられる。カテゴリーとサブカテゴリーは、さらに具体的な行動と成果に細分化される。これらの行動はチェックリストを構成するものではなく、また必ずしも順序立てられた一連の手順でもない。
Fig. 5. Functions organize AI risk management activities at their highest level to govern, map, measure, and manage AI risks. Governance is designed to be a cross-cutting function to inform and be infused throughout the other three functions.
図5. 機能は、AIリスクをガバナンス(統治)、マッピング、測定、管理するための活動を最上位で整理するものである。ガバナンスは、他の3つの機能全体に情報を提供し、浸透する横断的機能として設計されている。
Risk management should be continuous, timely, and performed throughout the AI system lifecycle dimensions. AI RMF Core functions should be carried out in a way that reflects diverse and multidisciplinary perspectives, potentially including the views of AI actors outside the organization. Having a diverse team contributes to more open sharing of ideas and assumptions about purposes and functions of the technology being designed, developed, deployed, or evaluated – which can create opportunities to surface problems and identify existing and emergent risks.
リスク管理は、AIシステムのライフサイクルの各段階を通じて、継続的かつ適時に実施されるべきである。AI RMFコアの各機能は、組織外のAI関係者(AIアクター)の視点を含め、多様で学際的な視点を反映する形で実施されることが望ましい。多様なチームを持つことは、設計、開発、展開、または評価される技術の目的や機能に関する考えや前提について、よりオープンな共有を促す。これにより、問題を表面化させ、既存および新たに生じつつあるリスクを特定する機会が生まれる。
An online companion resource to the AI RMF, the NIST AI RMF Playbook, is available to help organizations navigate the AI RMF and achieve its outcomes through suggested tactical actions they can apply within their own contexts. Like the AI RMF, the Playbook is voluntary and organizations can utilize the suggestions according to their needs and interests. Playbook users can create tailored guidance selected from suggested material for their own use and contribute their suggestions for sharing with the broader community. Along with the AI RMF, the Playbook is part of the NIST Trustworthy and Responsible AI Resource Center.
AI RMFのオンライン付属資料であるNIST AI RMFプレイブックは、組織が自らの文脈の中で適用できる具体的な実践行動を提案することにより、AI RMFを活用しその成果を達成する手助けとなるよう用意されている。AI RMFと同様に、プレイブックも任意(ボランタリー)のものであり、組織は自らのニーズや関心に応じて提案を活用することができる。プレイブックの利用者は、提案されている内容の中から自分に合わせた指針を作成できるほか、より広いコミュニティと共有するための提案を投稿することもできる。プレイブックは、AI RMFとともに、NIST信頼できる責任あるAIリソースセンターの一部を構成している。
Framework users may apply these functions as best suits their needs for managing AI risks based on their resources and capabilities. Some organizations may choose to select from among the categories and subcategories; others may choose and have the capacity to apply all categories and subcategories. Assuming a governance structure is in place, functions may be performed in any order across the AI lifecycle as deemed to add value by a user of the framework. After instituting the outcomes in GOVERN , most users of the AI RMF would start with the MAP function and continue to MEASURE or MANAGE. However users integrate the functions, the process should be iterative, with cross-referencing between functions as necessary. Similarly, there are categories and subcategories with elements that apply to multiple functions, or that logically should take place before certain subcategory decisions.
フレームワークの利用者は、自らのリソースや能力に基づき、AIリスクを管理するためのニーズに最も適した形でこれらの機能を適用してよい。組織によっては、カテゴリーとサブカテゴリーの中から選択することを選ぶ場合もあれば、すべてのカテゴリーとサブカテゴリーを適用する能力を持ち、それを選択する組織もあるだろう。ガバナンス体制が整っていることを前提とすれば、各機能は、フレームワーク利用者が価値を付加すると判断する限り、AIライフサイクルのどの時点でも、どのような順序で実施してもよい。GOVERNにおける成果を確立した後、AI RMFの多くの利用者はMAP機能から着手し、続いてMEASUREまたはMANAGEへと進むことになると考えられる。利用者がこれらの機能をどのように統合するとしても、そのプロセスは反復的であり、必要に応じて機能間で相互参照が行われるべきである。同様に、複数の機能にまたがって適用される要素を持つカテゴリーやサブカテゴリー、あるいは特定のサブカテゴリーの判断に先立って論理的に実施されるべきカテゴリーやサブカテゴリーも存在する。

07 5.1 Govern

5.1 Govern
5.1 ガバナンス(GOVERN)
The GOVERN function:
GOVERN機能は、以下を行うものである。
• cultivates and implements a culture of risk management within organizations designing, developing, deploying, evaluating, or acquiring AI systems; • outlines processes, documents, and organizational schemes that anticipate, identify, and manage the risks a system can pose, including to users and others across society – and procedures to achieve those outcomes; • incorporates processes to assess potential impacts; • provides a structure by which AI risk management functions can align with organizational principles, policies, and strategic priorities; • connects technical aspects of AI system design and development to organizational values and principles, and enables organizational practices and competencies for the individuals involved in acquiring, training, deploying, and monitoring such systems; and • addresses full product lifecycle and associated processes, including legal and other issues concerning use of third-party software or hardware systems and data.
• AIシステムの設計、開発、展開、評価、または調達を行う組織内において、リスク管理の文化を醸成し実践すること。 • 利用者や社会全体に及びうるものを含め、システムがもたらしうるリスクを予見・特定・管理するためのプロセス、文書、組織的な仕組み、およびそれらの成果を達成するための手順を定めること。 • 潜在的な影響を評価するためのプロセスを組み込むこと。 • AIリスク管理機能が組織の理念、方針、戦略的優先事項と整合するための枠組みを提供すること。 • AIシステムの設計・開発における技術的側面を組織の価値観や理念と結びつけ、そうしたシステムの調達、訓練、展開、および監視に携わる個人のための組織的な実務や能力を可能にすること。 • 第三者のソフトウェア、ハードウェアシステム、データの利用に関する法的その他の課題を含め、製品ライフサイクル全体とそれに付随するプロセスに対応すること。
GOVERN is a cross-cutting function that is infused throughout AI risk management and enables the other functions of the process. Aspects of GOVERN, especially those related to compliance or evaluation, should be integrated into each of the other functions. Attention to governance is a continual and intrinsic requirement for effective AI risk management over an AI system’s lifespan and the organization’s hierarchy.
GOVERNは、AIリスク管理全体に浸透し、他の機能を可能にする横断的な機能である。GOVERNの各側面、特にコンプライアンスや評価に関連する側面は、他の各機能に組み込まれるべきである。ガバナンスへの注意は、AIシステムの存続期間および組織の階層全体にわたり、効果的なAIリスク管理のために継続的かつ本質的に求められる要件である。
Strong governance can drive and enhance internal practices and norms to facilitate organizational risk culture. Governing authorities can determine the overarching policies that direct an organization’s mission, goals, values, culture, and risk tolerance. Senior leadership sets the tone for risk management within an organization, and with it, organizational culture. Management aligns the technical aspects of AI risk management to policies and operations. Documentation can enhance transparency, improve human review processes, and bolster accountability in AI system teams.
強固なガバナンスは、組織のリスク文化を醸成するための内部の実務や規範を主導し強化することができる。統治機関(ガバニング・オーソリティ)は、組織の使命、目標、価値観、文化、リスク許容度を導く包括的な方針を定めることができる。上級リーダーシップは、組織内のリスク管理、ひいては組織文化の基調を定める。マネジメント層は、AIリスク管理の技術的側面を方針や業務運営と整合させる。文書化は、透明性を高め、人による審査プロセスを改善し、AIシステムチームにおける説明責任を強化することにつながる。
After putting in place the structures, systems, processes, and teams described in the GOVERN function, organizations should benefit from a purpose-driven culture focused on risk understanding and management. It is incumbent on Framework users to continue to execute the GOVERN function as knowledge, cultures, and needs or expectations from AI actors evolve over time.
GOVERN機能に記載された体制、仕組み、プロセス、チームを整備した後、組織はリスクの理解と管理に主眼を置いた目的志向の文化から恩恵を受けることが期待される。知識、文化、およびAI関係者(AIアクター)からのニーズや期待が時とともに変化していく中で、フレームワーク利用者はGOVERN機能の実施を継続することが求められる。
Practices related to governing AI risks are described in the NIST AI RMF Playbook. Table 1 lists the GOVERN function’s categories and subcategories.
AIリスクのガバナンスに関する実務については、NIST AI RMFプレイブックに記載されている。表1にGOVERN機能のカテゴリーとサブカテゴリーを示す。
Table 1: Categories and subcategories for the GOVERN function. Categories Subcategories GOVERN 1: GOVERN 1.1: Legal and regulatory requirements involving AI Policies, processes, are understood, managed, and documented. procedures, and GOVERN 1.2: The characteristics of trustworthy AI are intepractices across the grated into organizational policies, processes, procedures, and organization related practices. to the mapping, GOVERN 1.3: Processes, procedures, and practices are in place measuring, and to determine the needed level of risk management activities based managing of AI on the organization’s risk tolerance. risks are in place, transparent, and GOVERN 1.4: The risk management process and its outcomes are implemented established through transparent policies, procedures, and other effectively. controls based on organizational risk priorities. Continued on next page
表1: GOVERN機能のカテゴリーとサブカテゴリー カテゴリー サブカテゴリー GOVERN 1: GOVERN 1.1: AIに関わる法令上・規制上の要件が理解され、 組織全体にわたる 管理され、文書化されている。 AIリスクのマッピング、 GOVERN 1.2: 信頼できるAIの特性が、組織の方針、プロセス、 測定、管理に関する 手順、実務に組み込まれている。 方針、プロセス、 GOVERN 1.3: 組織のリスク許容度に基づき、必要なリスク管理 手順、実務が 活動の水準を判断するためのプロセス、手順、実務が整備されて 整備され、透明性が いる。 あり、効果的に 実施されている。 GOVERN 1.4: リスク管理プロセスおよびその成果が、組織の リスク上の優先事項に基づく透明性のある方針、手順、その他の 統制を通じて確立されている。 次ページに続く
Table 1: Categories and subcategories for the GOVERN function. (Continued) Categories Subcategories GOVERN 1.5: Ongoing monitoring and periodic review of the risk management process and its outcomes are planned and organizational roles and responsibilities clearly defined, including determining the frequency of periodic review. GOVERN 1.6: Mechanisms are in place to inventory AI systems and are resourced according to organizational risk priorities. GOVERN 1.7: Processes and procedures are in place for decommissioning and phasing out AI systems safely and in a manner that does not increase risks or decrease the organization’s trustworthiness. GOVERN 2: GOVERN 2.1: Roles and responsibilities and lines of communiAccountability cation related to mapping, measuring, and managing AI risks are structures are in documented and are clear to individuals and teams throughout place so that the the organization. appropriate teams GOVERN 2.2: The organization’s personnel and partners receive and individuals are AI risk management training to enable them to perform their duempowered, ties and responsibilities consistent with related policies, proceresponsible, and dures, and agreements. trained for mapping, GOVERN 2.3: Executive leadership of the organization takes remeasuring, and sponsibility for decisions about risks associated with AI system managing AI risks. development and deployment. GOVERN 3: GOVERN 3.1: Decision-making related to mapping, measuring, Workforce diversity, and managing AI risks throughout the lifecycle is informed by a equity, inclusion, diverse team (e.g., diversity of demographics, disciplines, expeand accessibility rience, expertise, and backgrounds). processes are GOVERN 3.2: Policies and procedures are in place to define and prioritized in the mapping, differentiate roles and responsibilities for human-AI configurameasuring, and tions and oversight of AI systems. managing of AI risks throughout the lifecycle. GOVERN 4: GOVERN 4.1: Organizational policies and practices are in place Organizational to foster a critical thinking and safety-first mindset in the design, teams are committed development, deployment, and uses of AI systems to minimize to a culture potential negative impacts. Continued on next page
表1: GOVERN機能のカテゴリーとサブカテゴリー(続き) カテゴリー サブカテゴリー GOVERN 1.5: リスク管理プロセスおよびその成果に関する継続的な モニタリングと定期的な見直しが計画されており、定期的な見直しの 頻度の決定を含め、組織内の役割と責任が明確に定義されている。 GOVERN 1.6: AIシステムを台帳管理するための仕組みが整備され、 組織のリスク上の優先事項に応じてリソースが配分されている。 GOVERN 1.7: 安全な方法で、かつリスクを増大させたり組織の 信頼性を低下させたりしない形でAIシステムを運用終了・段階的に 廃止するためのプロセスと手順が整備されている。 GOVERN 2: GOVERN 2.1: AIリスクのマッピング、測定、管理に関する役割と 適切なチームおよび 責任、ならびに連絡系統が文書化され、組織全体の個人およびチーム 個人が、AIリスクの にとって明確になっている。 マッピング、測定、 GOVERN 2.2: 組織の職員およびパートナーは、関連する方針、 管理を担うための 手順、合意事項に沿って自らの職務・責任を遂行できるよう、 権限、責任、訓練を AIリスク管理に関する訓練を受けている。 備えるための GOVERN 2.3: 組織の経営幹部(エグゼクティブ・リーダーシップ) 説明責任の体制が は、AIシステムの開発・展開に伴うリスクに関する意思決定について 整備されている。 責任を負う。 GOVERN 3: GOVERN 3.1: ライフサイクル全体にわたるAIリスクのマッピング、 労働力の多様性、 測定、管理に関する意思決定には、多様なチーム(例えば、属性、 公平性、包摂性、 専門分野、経験、専門知識、経歴の多様性)の知見が反映されている。 アクセシビリティに GOVERN 3.2: 人とAIの構成(ヒューマン・AI・コンフィギュレー 関するプロセスが、 ション)およびAIシステムの監督に関する役割と責任を定義し ライフサイクル全体の 区別するための方針と手順が整備されている。 AIリスクの マッピング、測定、 管理において 優先されている。 GOVERN 4: GOVERN 4.1: 潜在的な負の影響を最小化するため、AIシステムの 組織のチームが、 設計、開発、展開、利用において批判的思考と安全第一の考え方を AIリスクを考慮し 育む組織の方針と実務が整備されている。 伝達する文化に 取り組んでいる。 次ページに続く
Table 1: Categories and subcategories for the GOVERN function. (Continued) Categories Subcategories that considers and GOVERN 4.2: Organizational teams document the risks and pocommunicates AI tential impacts of the AI technology they design, develop, deploy, risk. evaluate, and use, and they communicate about the impacts more broadly. GOVERN 4.3: Organizational practices are in place to enable AI testing, identification of incidents, and information sharing. GOVERN 5: GOVERN 5.1: Organizational policies and practices are in place Processes are in to collect, consider, prioritize, and integrate feedback from those place for robust external to the team that developed or deployed the AI system engagement with regarding the potential individual and societal impacts related to relevant AI actors. AI risks. GOVERN 5.2: Mechanisms are established to enable the team that developed or deployed AI systems to regularly incorporate adjudicated feedback from relevant AI actors into system design and implementation. GOVERN 6: Policies GOVERN 6.1: Policies and procedures are in place that address and procedures are AI risks associated with third-party entities, including risks of inin place to address fringement of a third-party’s intellectual property or other rights. AI risks and benefits GOVERN 6.2: Contingency processes are in place to handle arising from failures or incidents in third-party data or AI systems deemed to third-party software be high-risk. and data and other supply chain issues.
表1: GOVERN機能のカテゴリーとサブカテゴリー(続き) カテゴリー サブカテゴリー GOVERN 4.2: 組織のチームは、自らが設計、開発、展開、評価、 利用するAI技術のリスクと潜在的な影響を文書化し、その影響 についてより広く伝達する。 GOVERN 4.3: AIの試験、インシデントの特定、情報共有を可能 にする組織の実務が整備されている。 GOVERN 5: GOVERN 5.1: AIリスクに関連する個人および社会への潜在的な 関連するAI関係者 影響について、AIシステムを開発または展開したチームの外部 (AIアクター)との からのフィードバックを収集、検討、優先順位付け、統合する 適切な連携のための 組織の方針と実務が整備されている。 プロセスが GOVERN 5.2: AIシステムを開発または展開したチームが、関連 整備されている。 するAI関係者から調整・審査済みのフィードバックを定期的に システムの設計・実装に取り入れられるようにするための仕組み が確立されている。 GOVERN 6: 第三者の GOVERN 6.1: 第三者の知的財産その他の権利の侵害リスクを含め、 ソフトウェア、データ、 第三者に関連するAIリスクに対応する方針と手順が整備されている。 その他のサプライ GOVERN 6.2: 高リスクと判断される第三者のデータまたはAI チェーンに関する システムにおける障害やインシデントに対応するための緊急時 課題から生じるAI 対応プロセスが整備されている。 リスクおよび便益に 対応するための方針・ 手順が整備されている。

08 5.2 Map

5.2 Map
5.2 マッピング(MAP)
The MAP function establishes the context to frame risks related to an AI system. The AI lifecycle consists of many interdependent activities involving a diverse set of actors (See Figure 3). In practice, AI actors in charge of one part of the process often do not have full visibility or control over other parts and their associated contexts. The interdependencies between these activities, and among the relevant AI actors, can make it difficult to reliably anticipate impacts of AI systems. For example, early decisions in identifying purposes and objectives of an AI system can alter its behavior and capabilities, and the dynamics of deployment setting (such as end users or impacted individuals) can shape the impacts of AI system decisions. As a result, the best intentions within one dimension of the AI lifecycle can be undermined via interactions with decisions and conditions in other, later activities.
MAP機能は、AIシステムに関連するリスクを捉えるための文脈を確立する。AIのライフサイクルは、多様な関係者が関与する多くの相互依存的な活動から構成されている(図3参照)。実際には、プロセスのある一部分を担当するAI関係者(AIアクター)は、他の部分やそれに関連する文脈について十分な視野や統制を持たないことが多い。こうした活動間、また関連するAI関係者間の相互依存関係により、AIシステムの影響を確実に予見することが難しくなる場合がある。例えば、AIシステムの目的や目標を特定する初期段階の判断がその挙動や能力を左右することがあり、展開環境の力学(エンドユーザーや影響を受ける個人など)がAIシステムの判断による影響を形づくることもある。その結果、AIライフサイクルのある段階における最善の意図が、他の、より後の段階における判断や条件との相互作用によって損なわれる可能性がある。
This complexity and varying levels of visibility can introduce uncertainty into risk management practices. Anticipating, assessing, and otherwise addressing potential sources of negative risk can mitigate this uncertainty and enhance the integrity of the decision process.
こうした複雑さと、可視性の水準のばらつきは、リスク管理の実務に不確実性をもたらしうる。負のリスクの潜在的な発生源を予見・評価し、その他の方法で対応することは、この不確実性を緩和し、意思決定プロセスの健全性を高めることにつながる。
The information gathered while carrying out the MAP function enables negative risk prevention and informs decisions for processes such as model management, as well as an initial decision about appropriateness or the need for an AI solution. Outcomes in the MAP function are the basis for the MEASURE and MANAGE functions. Without contextual knowledge, and awareness of risks within the identified contexts, risk management is difficult to perform. The MAP function is intended to enhance an organization’s ability to identify risks and broader contributing factors.
MAP機能の実施を通じて収集される情報は、負のリスクの予防を可能にし、モデル管理などのプロセスに関する判断や、AIソリューションの妥当性・必要性に関する初期判断に資する。MAP機能における成果は、MEASURE機能およびMANAGE機能の基盤となる。文脈に関する知識、および特定された文脈内におけるリスクへの認識がなければ、リスク管理を実施することは難しい。MAP機能は、リスクおよびそれに寄与するより広範な要因を特定する組織の能力を高めることを目的としている。
Implementation of this function is enhanced by incorporating perspectives from a diverse internal team and engagement with those external to the team that developed or deployed the AI system. Engagement with external collaborators, end users, potentially impacted communities, and others may vary based on the risk level of a particular AI system, the makeup of the internal team, and organizational policies. Gathering such broad perspectives can help organizations proactively prevent negative risks and develop more trustworthy AI systems by:
この機能の実施は、多様な内部チームの視点を取り入れることや、AIシステムを開発・展開したチームの外部の関係者との連携により強化される。外部の協力者、エンドユーザー、影響を受ける可能性のあるコミュニティ、その他の関係者との連携の程度は、当該AIシステムのリスクレベル、内部チームの構成、組織の方針に応じて異なりうる。このような幅広い視点を集めることは、以下を通じて、組織が負のリスクを事前に防止し、より信頼できるAIシステムを開発する上で役立つ。
• improving their capacity for understanding contexts; • checking their assumptions about context of use; • enabling recognition of when systems are not functional within or out of their intended context; • identifying positive and beneficial uses of their existing AI systems; • improving understanding of limitations in AI and ML processes; • identifying constraints in real-world applications that may lead to negative impacts; • identifying known and foreseeable negative impacts related to intended use of AI systems; and • anticipating risks of the use of AI systems beyond intended use.
• 文脈を理解する能力を高めること。 • 利用の文脈に関する前提を検証すること。 • システムが意図された文脈の内外で機能していない場合にそれを認識できるようにすること。 • 既存のAIシステムの肯定的かつ有益な用途を特定すること。 • AIおよび機械学習(ML)のプロセスにおける限界についての理解を深めること。 • 負の影響につながりうる実世界での応用における制約を特定すること。 • AIシステムの意図された用途に関連する、既知の、または予見可能な負の影響を特定すること。 • 意図された用途を超えたAIシステムの利用のリスクを予見すること。
After completing the MAP function, Framework users should have sufficient contextual knowledge about AI system impacts to inform an initial go/no-go decision about whether to design, develop, or deploy an AI system. If a decision is made to proceed, organizations should utilize the MEASURE and MANAGE functions along with policies and procedures put into place in the GOVERN function to assist in AI risk management efforts. It is incumbent on Framework users to continue applying the MAP function to AI systems as context, capabilities, risks, benefits, and potential impacts evolve over time.
MAP機能を完了した後、フレームワーク利用者は、AIシステムの設計、開発、または展開を進めるか否かについての初期判断を行うために十分な、AIシステムの影響に関する文脈的知識を有していることが望ましい。進めるという判断がなされた場合、組織はMEASURE機能およびMANAGE機能を、GOVERN機能で整備された方針・手順とあわせて活用し、AIリスク管理の取り組みを支援することが望ましい。文脈、能力、リスク、便益、潜在的な影響が時とともに変化していく中で、フレームワーク利用者はAIシステムに対してMAP機能を継続的に適用することが求められる。
Practices related to mapping AI risks are described in the NIST AI RMF Playbook. Table 2 lists the MAP function’s categories and subcategories.
AIリスクのマッピングに関する実務については、NIST AI RMFプレイブックに記載されている。表2にMAP機能のカテゴリーとサブカテゴリーを示す。
Table 2: Categories and subcategories for the MAP function. Categories Subcategories MAP 1: Context is MAP 1.1: Intended purposes, potentially beneficial uses, contextestablished and specific laws, norms and expectations, and prospective settings in understood. which the AI system will be deployed are understood and documented. Considerations include: the specific set or types of users along with their expectations; potential positive and negative impacts of system uses to individuals, communities, organizations, society, and the planet; assumptions and related limitations about AI system purposes, uses, and risks across the development or product AI lifecycle; and related TEVV and system metrics. MAP 1.2: Interdisciplinary AI actors, competencies, skills, and capacities for establishing context reflect demographic diversity and broad domain and user experience expertise, and their participation is documented. Opportunities for interdisciplinary collaboration are prioritized. MAP 1.3: The organization’s mission and relevant goals for AI technology are understood and documented. MAP 1.4: The business value or context of business use has been clearly defined or – in the case of assessing existing AI systems – re-evaluated. MAP 1.5: Organizational risk tolerances are determined and documented. MAP 1.6: System requirements (e.g., “the system shall respect the privacy of its users”) are elicited from and understood by relevant AI actors. Design decisions take socio-technical implications into account to address AI risks. MAP 2: MAP 2.1: The specific tasks and methods used to implement the Categorization of tasks that the AI system will support are defined (e.g., classifiers, the AI system is generative models, recommenders). performed. MAP 2.2: Information about the AI system’s knowledge limits and how system output may be utilized and overseen by humans is documented. Documentation provides sufficient information to assist relevant AI actors when making decisions and taking subsequent actions. Continued on next page
表2: MAP機能のカテゴリーとサブカテゴリー カテゴリー サブカテゴリー MAP 1: 文脈が MAP 1.1: AIシステムが展開される意図された目的、潜在的に有益 確立され、理解 な用途、文脈に固有の法令・規範・期待、および想定される設置環境 されている。 が理解され、文書化されている。考慮事項には、想定される利用者の 具体的な集団や種類とその期待、システムの利用が個人、コミュニ ティ、組織、社会、地球に及ぼしうる肯定的・否定的な影響、開発 または製品のAIライフサイクル全体にわたるAIシステムの目的・ 用途・リスクに関する前提およびそれに関連する限界、ならびに 関連するTEVVおよびシステムの指標が含まれる。 MAP 1.2: 文脈を確立するための学際的なAI関係者、能力、スキル、 キャパシティは、人口統計学的な多様性、および幅広い専門分野・ 利用者経験に関する専門知識の多様性を反映しており、その関与 は文書化されている。学際的な協働の機会が優先されている。 MAP 1.3: 組織の使命およびAI技術に関する関連目標が理解され、 文書化されている。 MAP 1.4: 事業上の価値、または事業での利用の文脈が明確に定義 されている(既存のAIシステムを評価する場合には再評価されて いる)。 MAP 1.5: 組織のリスク許容度が定められ、文書化されている。 MAP 1.6: システム要件(例:「本システムは利用者のプライバシー を尊重するものとする」)が関連するAI関係者から引き出され、 理解されている。設計上の判断は、AIリスクに対応するため、 社会技術的な含意を考慮している。 MAP 2: MAP 2.1: AIシステムが支援するタスクを実装するために用いられ AIシステムの る具体的なタスクおよび手法(分類器、生成モデル、推薦システム 分類が行われる。 など)が定義されている。 MAP 2.2: AIシステムの知識の限界、およびシステムの出力が人 によってどのように利用・監督されうるかに関する情報が文書化 されている。文書は、関連するAI関係者が意思決定を行い、その後 の行動をとる際に役立つ十分な情報を提供する。 次ページに続く
Table 2: Categories and subcategories for the MAP function. (Continued) Categories Subcategories MAP 2.3: Scientific integrity and TEVV considerations are identified and documented, including those related to experimental design, data collection and selection (e.g., availability, representativeness, suitability), system trustworthiness, and construct validation. MAP 3: AI MAP 3.1: Potential benefits of intended AI system functionality capabilities, targeted and performance are examined and documented. usage, goals, and MAP 3.2: Potential costs, including non-monetary costs, which expected benefits result from expected or realized AI errors or system functionality and costs compared and trustworthiness – as connected to organizational risk tolerwith appropriate ance – are examined and documented. benchmarks are MAP 3.3: Targeted application scope is specified and docuunderstood. mented based on the system’s capability, established context, and AI system categorization. MAP 3.4: Processes for operator and practitioner proficiency with AI system performance and trustworthiness – and relevant technical standards and certifications – are defined, assessed, and documented. MAP 3.5: Processes for human oversight are defined, assessed, and documented in accordance with organizational policies from the GOVERN function. MAP 4: Risks and MAP 4.1: Approaches for mapping AI technology and legal risks benefits are mapped of its components – including the use of third-party data or softfor all components ware – are in place, followed, and documented, as are risks of inof the AI system fringement of a third party’s intellectual property or other rights. including third-party MAP 4.2: Internal risk controls for components of the AI syssoftware and data. tem, including third-party AI technologies, are identified and documented. MAP 5: Impacts to MAP 5.1: Likelihood and magnitude of each identified impact individuals, groups, (both potentially beneficial and harmful) based on expected use, communities, past uses of AI systems in similar contexts, public incident reorganizations, and ports, feedback from those external to the team that developed society are or deployed the AI system, or other data are identified and characterized. documented. Continued on next page
表2: MAP機能のカテゴリーとサブカテゴリー(続き) カテゴリー サブカテゴリー MAP 2.3: 実験設計、データの収集・選定(可用性、代表性、 適合性など)、システムの信頼性、構成概念の妥当性確認 など、科学的健全性およびTEVVに関する考慮事項が特定され、 文書化されている。 MAP 3: AIの MAP 3.1: 意図されたAIシステムの機能および性能がもたらしうる 能力、目標とする 潜在的な便益が検討され、文書化されている。 用途、目標、および MAP 3.2: 想定される、または実際に生じたAIの誤りやシステムの 適切なベンチマークと 機能・信頼性から生じる、組織のリスク許容度と関連づけられた 比較した期待される 潜在的なコスト(金銭以外のコストを含む)が検討され、文書化 便益とコストが されている。 理解されている。 MAP 3.3: 対象とする適用範囲が、システムの能力、確立された 文脈、AIシステムの分類に基づいて明記され、文書化されて いる。 MAP 3.4: AIシステムの性能・信頼性、および関連する技術標準・ 認証に関するオペレーターおよび実務者の習熟度を高めるための プロセスが定義され、評価され、文書化されている。 MAP 3.5: 人による監督のためのプロセスが、GOVERN機能に おける組織の方針に沿って定義され、評価され、文書化されて いる。 MAP 4: 第三者の MAP 4.1: 第三者のデータやソフトウェアの利用を含め、AI技術 ソフトウェアおよび およびそのコンポーネントの法的リスクをマッピングするための データを含む、AI アプローチが整備され、遵守され、文書化されているとともに、 システムのすべての 第三者の知的財産その他の権利の侵害リスクについても同様に コンポーネントに 対応されている。 ついて、リスクと MAP 4.2: 第三者のAI技術を含む、AIシステムのコンポーネント 便益がマッピング に関する内部のリスク統制が特定され、文書化されている。 されている。 MAP 5: 個人、 MAP 5.1: 想定される用途、類似の文脈における過去のAIシステム グループ、 の利用実績、公開されているインシデント報告、AIシステムを開発 コミュニティ、 または展開したチームの外部からのフィードバック、その他の 組織、社会への データに基づき、特定された各影響(潜在的に有益なものと有害な 影響が特徴づけ ものの双方)の可能性と大きさが特定され、文書化されている。 られている。 次ページに続く
Table 2: Categories and subcategories for the MAP function. (Continued) Categories Subcategories MAP 5.2: Practices and personnel for supporting regular engagement with relevant AI actors and integrating feedback about positive, negative, and unanticipated impacts are in place and documented.
表2: MAP機能のカテゴリーとサブカテゴリー(続き) カテゴリー サブカテゴリー MAP 5.2: 関連するAI関係者との定期的な連携を支えるとともに、 肯定的、否定的、および予期しなかった影響に関するフィード バックを統合するための実務と人員が整備され、文書化されて いる。

09 5.3 Measure

5.3 Measure
5.3 測定(MEASURE)
The MEASURE function employs quantitative, qualitative, or mixed-method tools, techniques, and methodologies to analyze, assess, benchmark, and monitor AI risk and related impacts. It uses knowledge relevant to AI risks identified in the MAP function and informs the MANAGE function. AI systems should be tested before their deployment and regularly while in operation. AI risk measurements include documenting aspects of systems’ functionality and trustworthiness.
MEASURE機能は、定量的、定性的、または混合的な手法・技術・方法論を用いて、AIリス クおよび関連する影響を分析・評価・ベンチマーク・モニタリングする。この機能は、MAP 機能で特定されたAIリスクに関する知見を活用し、MANAGE機能に情報を提供する。AIシ ステムは、導入前に試験を行い、運用中も定期的に試験を行うべきである。AIリスクの測定 には、システムの機能性および信頼性に関する諸側面の文書化が含まれる。
Measuring AI risks includes tracking metrics for trustworthy characteristics, social impact, and human-AI configurations. Processes developed or adopted in the MEASURE function should include rigorous software testing and performance assessment methodologies with associated measures of uncertainty, comparisons to performance benchmarks, and formalized reporting and documentation of results. Processes for independent review can improve the effectiveness of testing and can mitigate internal biases and potential conflicts of interest.
AIリスクの測定には、信頼性に関する特性、社会的影響、および人間とAIの構成に関する 指標の追跡が含まれる。MEASURE機能において策定または採用されるプロセスには、厳密 なソフトウェア試験および性能評価の方法論(不確実性の関連指標を伴うもの)、性能ベン チマークとの比較、ならびに結果の正式な報告および文書化が含まれるべきである。独立し たレビューのためのプロセスは、試験の有効性を高め、内部的なバイアスや潜在的な利益相 反を緩和し得る。
Where tradeoffs among the trustworthy characteristics arise, measurement provides a traceable basis to inform management decisions. Options may include recalibration, impact mitigation, or removal of the system from design, development, production, or use, as well as a range of compensating, detective, deterrent, directive, and recovery controls.
信頼性に関する特性の間でトレードオフが生じる場合、測定はマネジメント上の意思決定に 情報を提供するための追跡可能な根拠となる。選択肢としては、再較正、影響の緩和、または設計・開発・生産・利用からのシステムの除去に加え、補完的・検知的・抑止的・指示的 および復旧的な各種の統制が考えられる。
After completing the MEASURE function, objective, repeatable, or scalable test, evaluation, verification, and validation (TEVV) processes including metrics, methods, and methodologies are in place, followed, and documented. Metrics and measurement methodologies should adhere to scientific, legal, and ethical norms and be carried out in an open and transparent process. New types of measurement, qualitative and quantitative, may need to be developed. The degree to which each measurement type provides unique and meaningful information to the assessment of AI risks should be considered. Framework users will enhance their capacity to comprehensively evaluate system trustworthiness, identify and track existing and emergent risks, and verify efficacy of the metrics. Measurement outcomes will be utilized in the MANAGE function to assist risk monitoring and response efforts. It is incumbent on Framework users to continue applying the MEASURE function to AI systems as knowledge, methodologies, risks, and impacts evolve over time.
MEASURE機能を完了すると、指標・手法・方法論を含む、客観的で再現可能かつ拡張可能 な試験・評価・検証・妥当性確認(TEVV)のプロセスが整備され、遵守され、文書化された 状態となる。指標および測定方法論は、科学的・法的・倫理的な規範に従い、公開され透明 性のあるプロセスのもとで実施されるべきである。定性的・定量的な新しいタイプの測定手 法の開発が必要となる場合もある。各測定手法がAIリスクの評価に対してどの程度独自か つ有意義な情報を提供するかについて検討すべきである。本フレームワークの利用者は、シ ステムの信頼性を包括的に評価し、既存および新興のリスクを特定・追跡し、指標の有効性 を検証する能力を強化することになる。測定の結果は、リスクのモニタリングおよび対応の 取り組みを支援するため、MANAGE機能において活用される。知識、方法論、リスク、お よび影響が時間とともに進展していく中で、本フレームワークの利用者はAIシステムに対 してMEASURE機能を継続的に適用していくことが求められる。
Practices related to measuring AI risks are described in the NIST AI RMF Playbook. Table 3 lists the MEASURE function’s categories and subcategories.
AIリスクの測定に関する実践事項は、NIST AI RMFプレイブックに記載されている。表3 にMEASURE機能のカテゴリおよびサブカテゴリを示す。
Table 3: Categories and subcategories for the MEASURE function. Categories Subcategories MEASURE 1: MEASURE 1.1: Approaches and metrics for measurement of AI Appropriate risks enumerated during the MAP function are selected for implemethods and metrics mentation starting with the most significant AI risks. The risks are identified and or trustworthiness characteristics that will not – or cannot – be applied. measured are properly documented. MEASURE 1.2: Appropriateness of AI metrics and effectiveness of existing controls are regularly assessed and updated, including reports of errors and potential impacts on affected communities. MEASURE 1.3: Internal experts who did not serve as front-line developers for the system and/or independent assessors are involved in regular assessments and updates. Domain experts, users, AI actors external to the team that developed or deployed the AI system, and affected communities are consulted in support of assessments as necessary per organizational risk tolerance. MEASURE 2: AI MEASURE 2.1: Test sets, metrics, and details about the tools used systems are during TEVV are documented. evaluated for MEASURE 2.2: Evaluations involving human subjects meet aptrustworthy plicable requirements (including human subject protection) and characteristics. are representative of the relevant population. MEASURE 2.3: AI system performance or assurance criteria are measured qualitatively or quantitatively and demonstrated for conditions similar to deployment setting(s). Measures are documented. MEASURE 2.4: The functionality and behavior of the AI system and its components – as identified in the MAP function – are monitored when in production. MEASURE 2.5: The AI system to be deployed is demonstrated to be valid and reliable. Limitations of the generalizability beyond the conditions under which the technology was developed are documented. Continued on next page
表3:MEASURE機能のカテゴリおよびサブカテゴリ カテゴリ サブカテゴリ MEASURE 1: MEASURE 1.1: MAP機能において列挙されたAIリスクの測定の 適切な手法および ための手法および指標について、最も重大なAIリスクから優先し 指標が特定され、 て実装のための選定を行う。測定されない、または測定できな 適用される。 いリスクまたは信頼性に関する特性については、適切に文書化 する。 MEASURE 1.2: AIに関する指標の適切性、および既存の統制 の有効性について、影響を受けるコミュニティへの影響やエラー の報告を含め、定期的に評価および更新する。 MEASURE 1.3: システムのフロントライン開発者として関与 していなかった社内の専門家および/または独立した評価者が、 定期的な評価および更新に関与する。組織のリスク許容度に応 じて必要な場合には、ドメインの専門家、利用者、AIシステム の開発または展開を行ったチーム外のAI関係者、および影響を 受けるコミュニティに対して、評価を支援するための助言を求 める。 MEASURE 2: AIシス MEASURE 2.1: TEVVの過程で使用された試験セット、指標、 テムが信頼性に関 および使用ツールの詳細を文書化する。 する特性について MEASURE 2.2: 人間の被験者を伴う評価は、適用される要件 評価される。 (被験者保護を含む)を満たし、対象母集団を代表するもので あるようにする。 MEASURE 2.3: AIシステムの性能または保証に関する基準を 定性的または定量的に測定し、展開環境に類似した条件下で実 証する。測定結果は文書化する。 MEASURE 2.4: MAP機能で特定された、AIシステムおよびそ の構成要素の機能性および挙動について、本番運用時にモニタ リングする。 MEASURE 2.5: 展開予定のAIシステムが妥当かつ信頼できる ものであることを実証する。当該技術が開発された条件を超え た一般化可能性の限界については文書化する。 次ページに続く
Table 3: Categories and subcategories for the MEASURE function. (Continued) Categories Subcategories MEASURE 2.6: The AI system is evaluated regularly for safety risks – as identified in the MAP function. The AI system to be deployed is demonstrated to be safe, its residual negative risk does not exceed the risk tolerance, and it can fail safely, particularly if made to operate beyond its knowledge limits. Safety metrics reflect system reliability and robustness, real-time monitoring, and response times for AI system failures. MEASURE 2.7: AI system security and resilience – as identified in the MAP function – are evaluated and documented. MEASURE 2.8: Risks associated with transparency and accountability – as identified in the MAP function – are examined and documented. MEASURE 2.9: The AI model is explained, validated, and documented, and AI system output is interpreted within its context – as identified in the MAP function – to inform responsible use and governance. MEASURE 2.10: Privacy risk of the AI system – as identified in the MAP function – is examined and documented. MEASURE 2.11: Fairness and bias – as identified in the MAP function – are evaluated and results are documented. MEASURE 2.12: Environmental impact and sustainability of AI model training and management activities – as identified in the MAP function – are assessed and documented. MEASURE 2.13: Effectiveness of the employed TEVV metrics and processes in the MEASURE function are evaluated and documented. MEASURE 3: MEASURE 3.1: Approaches, personnel, and documentation are Mechanisms for in place to regularly identify and track existing, unanticipated, tracking identified and emergent AI risks based on factors such as intended and acAI risks over time tual performance in deployed contexts. are in place. MEASURE 3.2: Risk tracking approaches are considered for settings where AI risks are difficult to assess using currently available measurement techniques or where metrics are not yet available. Continued on next page
表3:MEASURE機能のカテゴリおよびサブカテゴリ(続き) カテゴリ サブカテゴリ MEASURE 2.6: MAP機能で特定された安全性リスクについて、 AIシステムを定期的に評価する。展開予定のAIシステムが安全 であること、残余のネガティブリスクがリスク許容度を超えな いこと、および特にシステムが知識の限界を超えて動作するよ う仕向けられた場合であっても安全に失敗できることを実証す る。安全性に関する指標は、システムの信頼性および堅牢性、 リアルタイムのモニタリング、ならびにAIシステム障害への対 応時間を反映するものとする。 MEASURE 2.7: MAP機能で特定されたAIシステムのセキュリ ティおよびレジリエンスについて評価し、文書化する。 MEASURE 2.8: MAP機能で特定された透明性および説明責任 に関連するリスクについて検証し、文書化する。 MEASURE 2.9: 責任ある利用およびガバナンスに資するよ う、AIモデルについて説明、妥当性確認、および文書化を行い、MAP機能で 特定された文脈に即してAIシステムの出力を解釈する。 MEASURE 2.10: MAP機能で特定されたAIシステムのプライ バシーリスクについて検証し、文書化する。 MEASURE 2.11: MAP機能で特定された公平性およびバイア スについて評価し、結果を文書化する。 MEASURE 2.12: MAP機能で特定された、AIモデルの学習お よび管理に関する活動の環境への影響および持続可能性につい て評価し、文書化する。 MEASURE 2.13: MEASURE機能において用いられたTEVVの 指標およびプロセスの有効性について評価し、文書化する。 MEASURE 3: 特定さ MEASURE 3.1: 展開環境における意図された性能および実際 れたAIリスクを経時 の性能などの要因に基づき、既存・想定外・新興のAIリスクを 的に追跡する仕組み 定期的に特定し追跡するための手法、人員、および文書が整備 が整備される。 されている。 MEASURE 3.2: 現在利用可能な測定技術ではAIリスクの評価 が困難な状況、または指標がまだ存在しない状況を対象とした リスク追跡の手法について検討する。 次ページに続く
Table 3: Categories and subcategories for the MEASURE function. (Continued) Categories Subcategories MEASURE 3.3: Feedback processes for end users and impacted communities to report problems and appeal system outcomes are established and integrated into AI system evaluation metrics. MEASURE 4: MEASURE 4.1: Measurement approaches for identifying AI risks Feedback about are connected to deployment context(s) and informed through efficacy of consultation with domain experts and other end users. Apmeasurement is proaches are documented. gathered and MEASURE 4.2: Measurement results regarding AI system trustassessed. worthiness in deployment context(s) and across the AI lifecycle are informed by input from domain experts and relevant AI actors to validate whether the system is performing consistently as intended. Results are documented. MEASURE 4.3: Measurable performance improvements or declines based on consultations with relevant AI actors, including affected communities, and field data about contextrelevant risks and trustworthiness characteristics are identified and documented.
表3:MEASURE機能のカテゴリおよびサブカテゴリ(続き) カテゴリ サブカテゴリ MEASURE 3.3: エンドユーザーおよび影響を受けるコミュニ ティが問題を報告し、システムの結果に対して異議を申し立て るためのフィードバックプロセスを確立し、AIシステムの評価 指標に組み込む。 MEASURE 4: 測定の MEASURE 4.1: AIリスクを特定するための測定手法は、展開 有効性に関するフィ 環境に紐付けられ、ドメインの専門家およびその他のエンド ードバックが収集さ ユーザーとの協議を通じて情報を反映させる。手法は文書化す れ、評価される。 る。 MEASURE 4.2: 展開環境およびAIライフサイクル全体にわた るAIシステムの信頼性に関する測定結果は、システムが意図し たとおり一貫して機能しているかを検証するため、ドメインの 専門家および関連するAI関係者からの意見を反映させる。結果 は文書化する。 MEASURE 4.3: 影響を受けるコミュニティを含む関連するAI 関係者との協議、および文脈に関連するリスクや信頼性に関す る特性についての実地データに基づき、測定可能な性能の向上 または低下を特定し、文書化する。

10 5.4 Manage

5.4 Manage
5.4 管理(MANAGE)
The MANAGE function entails allocating risk resources to mapped and measured risks on a regular basis and as defined by the GOVERN function. Risk treatment comprises plans to respond to, recover from, and communicate about incidents or events.
MANAGE機能は、GOVERN機能によって定められたとおり、マッピングおよび測定された リスクに対して定期的にリスク対応の資源を配分することを内容とする。リスク対応には、 インシデントや事象への対応、それらからの復旧、およびそれらに関するコミュニケーショ ンの計画が含まれる。
Contextual information gleaned from expert consultation and input from relevant AI actors – established in GOVERN and carried out in MAP – is utilized in this function to decrease the likelihood of system failures and negative impacts. Systematic documentation practices established in GOVERN and utilized in MAP and MEASURE bolster AI risk management efforts and increase transparency and accountability. Processes for assessing emergent risks are in place, along with mechanisms for continual improvement.
GOVERNにおいて確立され、MAPにおいて実施された専門家への相談および関連するAI 関係者からの意見を通じて得られた文脈情報は、この機能において、システム障害や負の影 響の発生可能性を低減するために活用される。GOVERNにおいて確立され、MAPおよび MEASUREにおいて活用された体系的な文書化の実践は、AIリスクマネジメントの取り組 みを強化し、透明性および説明責任を高める。新興リスクを評価するためのプロセスと、継 続的な改善のための仕組みが整備される。
After completing the MANAGE function, plans for prioritizing risk and regular monitoring and improvement will be in place. Framework users will have enhanced capacity to manage the risks of deployed AI systems and to allocate risk management resources based on assessed and prioritized risks. It is incumbent on Framework users to continue to apply the MANAGE function to deployed AI systems as methods, contexts, risks, and needs or expectations from relevant AI actors evolve over time.
MANAGE機能を完了すると、リスクの優先順位付けおよび定期的なモニタリングと改善の ための計画が整備された状態となる。本フレームワークの利用者は、展開済みのAIシステム のリスクを管理し、評価・優先順位付けされたリスクに基づいてリスクマネジメントの資源 を配分する能力を強化することになる。手法、文脈、リスク、および関連するAI関係者から のニーズや期待が時間とともに進展していく中で、本フレームワークの利用者は展開済みの AIシステムに対してMANAGE機能を継続的に適用していくことが求められる。
Practices related to managing AI risks are described in the NIST AI RMF Playbook. Table 4 lists the MANAGE function’s categories and subcategories.
AIリスクの管理に関する実践事項は、NIST AI RMFプレイブックに記載されている。表4 にMANAGE機能のカテゴリおよびサブカテゴリを示す。
Table 4: Categories and subcategories for the MANAGE function. Categories Subcategories MANAGE 1: AI MANAGE 1.1: A determination is made as to whether the AI risks based on system achieves its intended purposes and stated objectives and assessments and whether its development or deployment should proceed. other analytical MANAGE 1.2: Treatment of documented AI risks is prioritized output from the based on impact, likelihood, and available resources or methods. MAP and MEASURE MANAGE 1.3: Responses to the AI risks deemed high priority, as functions are identified by the MAP function, are developed, planned, and docprioritized, umented. Risk response options can include mitigating, transferresponded to, and ring, avoiding, or accepting. managed. MANAGE 1.4: Negative residual risks (defined as the sum of all unmitigated risks) to both downstream acquirers of AI systems and end users are documented. MANAGE 2: MANAGE 2.1: Resources required to manage AI risks are taken Strategies to into account – along with viable non-AI alternative systems, apmaximize AI proaches, or methods – to reduce the magnitude or likelihood of benefits and potential impacts. minimize negative MANAGE 2.2: Mechanisms are in place and applied to sustain impacts are planned, the value of deployed AI systems. prepared, MANAGE 2.3: Procedures are followed to respond to and recover implemented, from a previously unknown risk when it is identified. documented, and informed by input MANAGE 2.4: Mechanisms are in place and applied, and responfrom relevant AI sibilities are assigned and understood, to supersede, disengage, or actors. deactivate AI systems that demonstrate performance or outcomes inconsistent with intended use. MANAGE 3: AI MANAGE 3.1: AI risks and benefits from third-party resources risks and benefits are regularly monitored, and risk controls are applied and from third-party documented. entities are MANAGE 3.2: Pre-trained models which are used for developmanaged. ment are monitored as part of AI system regular monitoring and maintenance. Continued on next page
表4:MANAGE機能のカテゴリおよびサブカテゴリ カテゴリ サブカテゴリ MANAGE 1: MAPお MANAGE 1.1: AIシステムが意図した目的および明示された よびMEASURE機能 目標を達成しているか、また開発または展開を継続すべきか から得られた評価 についての判断を行う。 およびその他の分析 MANAGE 1.2: 文書化されたAIリスクへの対応については、影 結果に基づくAIリス 響、発生可能性、および利用可能な資源や手法に基づいて優先 クに優先順位を付け、 順位を付ける。 対応し、管理する。 MANAGE 1.3: MAP機能によって優先度が高いと特定された AIリスクへの対応策を策定・計画し、文書化する。リスク対応 の選択肢には、緩和、移転、回避、または受容が含まれ得る。 MANAGE 1.4: AIシステムの下流の取得者およびエンドユー ザーの双方に対する負の残余リスク(緩和されていない全リス クの合計として定義される)について文書化する。 MANAGE 2: AIの便益 MANAGE 2.1: 潜在的な影響の大きさや発生可能性を低減する を最大化し、負の影 ため、AI以外の実行可能な代替システム・アプローチ・手法と 響を最小化するため 併せて、AIリスクの管理に必要な資源を考慮する。 の戦略が、関連する MANAGE 2.2: 展開済みのAIシステムの価値を維持するための AI関係者からの意見 仕組みを整備し、適用する。 を踏まえて計画・準 MANAGE 2.3: 従来知られていなかったリスクが特定された際 備・実施・文書化さ に、それに対応し復旧するための手順に従う。 れる。 MANAGE 2.4: 意図された用途と一致しない性能や結果を示す AIシステムを、代替、切り離し、または停止させるための仕組 みを整備・適用し、責任の所在を割り当て、理解させる。 MANAGE 3: サードパ MANAGE 3.1: サードパーティのリソースに由来するAIリスク ーティに関するAIリ および便益を定期的にモニタリングし、リスク統制を適用・文 スクおよび便益が管 書化する。 理される。 MANAGE 3.2: 開発に用いられる事前学習済みモデルについて は、AIシステムの定期的なモニタリングおよび保守の一環とし てモニタリングする。 次ページに続く
Table 4: Categories and subcategories for the MANAGE function. (Continued) Categories Subcategories MANAGE 4: Risk MANAGE 4.1: Post-deployment AI system monitoring plans treatments, are implemented, including mechanisms for capturing and evalincluding response uating input from users and other relevant AI actors, appeal and recovery, and and override, decommissioning, incident response, recovery, and communication change management. plans for the MANAGE 4.2: Measurable activities for continual improvements identified and are integrated into AI system updates and include regular engagemeasured AI risks ment with interested parties, including relevant AI actors. are documented and MANAGE 4.3: Incidents and errors are communicated to relevant monitored regularly. AI actors, including affected communities. Processes for tracking, responding to, and recovering from incidents and errors are followed and documented.
表4:MANAGE機能のカテゴリおよびサブカテゴリ(続き) カテゴリ サブカテゴリ MANAGE 4: 特定さ MANAGE 4.1: 利用者およびその他の関連するAI関係者からの れ、測定されたAIリ 意見の収集・評価、異議申立ておよびオーバーライド、廃止、 スクへの対応(対応 インシデント対応、復旧、および変更管理のための仕組みを含 および復旧を含む) め、展開後のAIシステムのモニタリング計画を実施する。 およびコミュニケー MANAGE 4.2: 関連するAI関係者との定期的な関与を含む、継 ションの計画が文書 続的な改善のための測定可能な取り組みを、AIシステムの更新 化され、定期的にモ に組み込む。 ニタリングされる。 MANAGE 4.3: インシデントおよびエラーについて、影響を受 けるコミュニティを含む関連するAI関係者に伝達する。インシ デントおよびエラーの追跡、対応、および復旧のためのプロセ スに従い、これを文書化する。

11 6. AI RMF Profiles

6. AI RMF Profiles AI RMF use-case profiles are implementations of the AI RMF functions, categories, and subcategories for a specific setting or application based on the requirements, risk tolerance, and resources of the Framework user: for example, an AI RMF hiring profile or an AI RMF fair housing profile. Profiles may illustrate and offer insights into how risk can be managed at various stages of the AI lifecycle or in specific sector, technology, or end-use applications. AI RMF profiles assist organizations in deciding how they might best manage AI risk that is well-aligned with their goals, considers legal/regulatory requirements and best practices, and reflects risk management priorities.
6. AI RMFプロファイル AI RMFのユースケースプロファイルとは、本フレームワークの利用者の要件、リスク許容 度、および資源に基づき、特定の環境またはアプリケーションを対象として、AI RMFの機 能・カテゴリ・サブカテゴリを実装したものである。例えば、AI RMF採用プロファイルや AI RMF公正な住宅供給プロファイルなどが挙げられる。プロファイルは、AIのライフサイ クルの様々な段階、または特定のセクター・技術・エンドユースのアプリケーションにおい て、リスクをどのように管理し得るかを例示し、示唆を与えるものである。AI RMFプロフ ァイルは、組織が自らの目標に十分に整合し、法的・規制上の要件やベストプラクティスを 考慮し、リスクマネジメントの優先事項を反映した形で、AIリスクを最適に管理する方法を 判断する際の一助となる。
AI RMF temporal profiles are descriptions of either the current state or the desired, target state of specific AI risk management activities within a given sector, industry, organization, or application context. An AI RMF Current Profile indicates how AI is currently being managed and the related risks in terms of current outcomes. A Target Profile indicates the outcomes needed to achieve the desired or target AI risk management goals.
AI RMFの時間軸プロファイルとは、特定のセクター、業界、組織、またはアプリケーショ ン文脈における特定のAIリスクマネジメント活動の現状、または望ましい目標状態を記述 したものである。AI RMF現状プロファイルは、AIが現在どのように管理されているか、お よび現在の成果の観点から関連するリスクを示す。目標プロファイルは、望ましい、または 目標とするAIリスクマネジメントの目標を達成するために必要な成果を示す。
Comparing Current and Target Profiles likely reveals gaps to be addressed to meet AI risk management objectives. Action plans can be developed to address these gaps to fulfill outcomes in a given category or subcategory. Prioritization of gap mitigation is driven by the user’s needs and risk management processes. This risk-based approach also enables Framework users to compare their approaches with other approaches and to gauge the resources needed (e.g., staffing, funding) to achieve AI risk management goals in a costeffective, prioritized manner.
現状プロファイルと目標プロファイルを比較することにより、AIリスクマネジメントの目 標を達成するために対処すべきギャップが明らかになる可能性が高い。これらのギャップに 対処し、特定のカテゴリまたはサブカテゴリにおける成果を達成するための行動計画を策定 することができる。ギャップ是正の優先順位付けは、利用者のニーズおよびリスクマネジメ ントプロセスによって決まる。このリスクベースのアプローチにより、本フレームワークの 利用者は、自らのアプローチを他のアプローチと比較し、費用対効果が高く優先順位付けさ れた形でAIリスクマネジメントの目標を達成するために必要な資源(人員、予算など)を見 積もることも可能となる。
AI RMF cross-sectoral profiles cover risks of models or applications that can be used across use cases or sectors. Cross-sectoral profiles can also cover how to govern, map, measure, and manage risks for activities or business processes common across sectors such as the use of large language models, cloud-based services or acquisition.
AI RMFの分野横断的プロファイルは、複数のユースケースやセクターにわたって使用され 得るモデルまたはアプリケーションのリスクを対象とする。分野横断的プロファイルは、大 規模言語モデルの利用、クラウドベースのサービス、または調達など、セクターを横断して 共通する活動や業務プロセスに関するリスクをガバナンス・マッピング・測定・管理する方 法を対象とすることもできる。
This Framework does not prescribe profile templates, allowing for flexibility in implementation.
本フレームワークは、プロファイルのテンプレートを規定しておらず、実装における柔軟性 を認めている。

12 Appendix A: AI Actor Tasks

Appendix A: Descriptions of AI Actor Tasks from Figures 2 and 3 AI Design tasks are performed during the Application Context and Data and Input phases of the AI lifecycle in Figure 2. AI Design actors create the concept and objectives of AI systems and are responsible for the planning, design, and data collection and processing tasks of the AI system so that the AI system is lawful and fit-for-purpose. Tasks include articulating and documenting the system’s concept and objectives, underlying assumptions, context, and requirements; gathering and cleaning data; and documenting the metadata and characteristics of the dataset. AI actors in this category include data scientists, domain experts, socio-cultural analysts, experts in the field of diversity, equity, inclusion, and accessibility, members of impacted communities, human factors experts (e.g., UX/UI design), governance experts, data engineers, data providers, system funders, product managers, third-party entities, evaluators, and legal and privacy governance. AI Development tasks are performed during the AI Model phase of the lifecycle in Figure 2. AI Development actors provide the initial infrastructure of AI systems and are responsible for model building and interpretation tasks, which involve the creation, selection, calibration, training, and/or testing of models or algorithms. AI actors in this category include machine learning experts, data scientists, developers, third-party entities, legal and privacy governance experts, and experts in the socio-cultural and contextual factors associated with the deployment setting. AI Deployment tasks are performed during the Task and Output phase of the lifecycle in Figure 2. AI Deployment actors are responsible for contextual decisions relating to how the AI system is used to assure deployment of the system into production. Related tasks include piloting the system, checking compatibility with legacy systems, ensuring regulatory compliance, managing organizational change, and evaluating user experience. AI actors in this category include system integrators, software developers, end users, operators and practitioners, evaluators, and domain experts with expertise in human factors, socio-cultural analysis, and governance. Operation and Monitoring tasks are performed in the Application Context/Operate and Monitor phase of the lifecycle in Figure 2. These tasks are carried out by AI actors who are responsible for operating the AI system and working with others to regularly assess system output and impacts. AI actors in this category include system operators, domain experts, AI designers, users who interpret or incorporate the output of AI systems, product developers, evaluators and auditors, compliance experts, organizational management, and members of the research community. Test, Evaluation, Verification, and Validation (TEVV) tasks are performed throughout the AI lifecycle. They are carried out by AI actors who examine the AI system or its components, or detect and remediate problems. Ideally, AI actors carrying out verification and validation tasks are distinct from those who perform test and evaluation actions. Tasks can be incorporated into a phase as early as design, where tests are planned in accordance with the design requirement. • TEVV tasks for design, planning, and data may center on internal and external validation of assumptions for system design, data collection, and measurements relative to the intended context of deployment or application. • TEVV tasks for development (i.e., model building) include model validation and assessment. • TEVV tasks for deployment include system validation and integration in production, with testing, and recalibration for systems and process integration, user experience, and compliance with existing legal, regulatory, and ethical specifications. • TEVV tasks for operations involve ongoing monitoring for periodic updates, testing, and subject matter expert (SME) recalibration of models, the tracking of incidents or errors reported and their management, the detection of emergent properties and related impacts, and processes for redress and response. Human Factors tasks and activities are found throughout the dimensions of the AI lifecycle. They include human-centered design practices and methodologies, promoting the active involvement of end users and other interested parties and relevant AI actors, incorporating context-specific norms and values in system design, evaluating and adapting end user experiences, and broad integration of humans and human dynamics in all phases of the AI lifecycle. Human factors professionals provide multidisciplinary skills and perspectives to understand context of use, inform interdisciplinary and demographic diversity, engage in consultative processes, design and evaluate user experience, perform human-centered evaluation and testing, and inform impact assessments. Domain Expert tasks involve input from multidisciplinary practitioners or scholars who provide knowledge or expertise in – and about – an industry sector, economic sector, context, or application area where an AI system is being used. AI actors who are domain experts can provide essential guidance for AI system design and development, and interpret outputs in support of work performed by TEVV and AI impact assessment teams. AI Impact Assessment tasks include assessing and evaluating requirements for AI system accountability, combating harmful bias, examining impacts of AI systems, product safety, liability, and security, among others. AI actors such as impact assessors and evaluators provide technical, human factor, socio-cultural, and legal expertise. Procurement tasks are conducted by AI actors with financial, legal, or policy management authority for acquisition of AI models, products, or services from a third-party developer, vendor, or contractor. Governance and Oversight tasks are assumed by AI actors with management, fiduciary, and legal authority and responsibility for the organization in which an AI system is designed, developed, and/or deployed. Key AI actors responsible for AI governance include organizational management, senior leadership, and the Board of Directors. These actors are parties that are concerned with the impact and sustainability of the organization as a whole. Additional AI Actors Third-party entities include providers, developers, vendors, and evaluators of data, algorithms, models, and/or systems and related services for another organization or the organization’s customers or clients. Third-party entities are responsible for AI design and development tasks, in whole or in part. By definition, they are external to the design, development, or deployment team of the organization that acquires its technologies or services. The technologies acquired from third-party entities may be complex or opaque, and risk tolerances may not align with the deploying or operating organization. End users of an AI system are the individuals or groups that use the system for specific purposes. These individuals or groups interact with an AI system in a specific context. End users can range in competency from AI experts to first-time technology end users. Affected individuals/communities encompass all individuals, groups, communities, or organizations directly or indirectly affected by AI systems or decisions based on the output of AI systems. These individuals do not necessarily interact with the deployed system or application. Other AI actors may provide formal or quasi-formal norms or guidance for specifying and managing AI risks. They can include trade associations, standards developing organizations, advocacy groups, researchers, environmental groups, and civil society organizations. The general public is most likely to directly experience positive and negative impacts of AI technologies. They may provide the motivation for actions taken by the AI actors. This group can include individuals, communities, and consumers associated with the context in which an AI system is developed or deployed.
附属書A: 図2および図3におけるAI関係者のタスクに関する説明 AI設計タスクは、図2に示すAIライフサイクルの「アプリケーションの文脈」および「デー タと入力」の各段階において実施される。AI設計を担う関係者は、AIシステムの概念お よび目標を策定し、AIシステムが適法かつ目的に適したものとなるよう、計画、設計、な らびにデータの収集および処理に関するタスクに責任を負う。タスクには、システムの概 念および目標、前提条件、文脈、ならびに要件の明確化および文書化、データの収集およ びクリーニング、ならびにデータセットのメタデータおよび特性の文書化が含まれる。こ のカテゴリに含まれるAI関係者には、データサイエンティスト、ドメインの専門家、社会 文化的分析の専門家、多様性・公平性・包摂性・アクセシビリティの分野の専門家、影響 を受けるコミュニティの構成員、人間工学の専門家(UX/UIデザインなど)、ガバナンス の専門家、データエンジニア、データ提供者、システムの出資者、プロダクトマネージャ ー、サードパーティ事業者、評価者、ならびに法務およびプライバシーガバナンスの担当 者が含まれる。 AI開発タスクは、図2に示すライフサイクルの「AIモデル」段階において実施される。AI 開発を担う関係者は、AIシステムの初期のインフラストラクチャを提供し、モデルまたは アルゴリズムの作成、選定、較正、学習、および/または試験を伴う、モデルの構築および 解釈に関するタスクに責任を負う。このカテゴリに含まれるAI関係者には、機械学習の専 門家、データサイエンティスト、開発者、サードパーティ事業者、法務およびプライバシ ーガバナンスの専門家、ならびに展開環境に関連する社会文化的・文脈的要因の専門家が 含まれる。 AI展開タスクは、図2に示すライフサイクルの「タスクと出力」段階において実施される。 AI展開を担う関係者は、システムを本番環境へ展開することを確実にするため、AIシステ ムの利用方法に関する文脈上の意思決定に責任を負う。関連するタスクには、システムの 試験導入、既存システムとの互換性の確認、規制遵守の確保、組織的な変更管理、および ユーザーエクスペリエンスの評価が含まれる。このカテゴリに含まれるAI関係者には、シ ステムインテグレーター、ソフトウェア開発者、エンドユーザー、運用担当者および実務 者、評価者、ならびに人間工学、社会文化的分析、およびガバナンスに関する専門知識を 有するドメインの専門家が含まれる。 運用およびモニタリングのタスクは、図2に示すライフサイクルの「アプリケーションの 文脈/運用およびモニタリング」段階において実施される。これらのタスクは、AIシステ ムの運用に責任を負い、システムの出力および影響を定期的に評価するために他者と協働 するAI関係者によって遂行される。このカテゴリに含まれるAI関係者には、システム運用 担当者、ドメインの専門家、AI設計者、AIシステムの出力を解釈または組み込む利用者、 プロダクト開発者、評価者および監査人、コンプライアンスの専門家、組織のマネジメン ト層、ならびに研究コミュニティの構成員が含まれる。 試験・評価・検証・妥当性確認(TEVV)のタスクは、AIライフサイクル全体を通じて実 施される。これらのタスクは、AIシステムまたはその構成要素を検証し、問題を検出して 是正するAI関係者によって遂行される。理想的には、検証および妥当性確認のタスクを行 うAI関係者は、試験および評価を行うAI関係者とは別であることが望ましい。タスクは、 設計要件に沿って試験が計画される設計段階の早い時期から、各段階に組み込まれ得る。 • 設計、計画、およびデータに関するTEVVのタスクは、展開または適用が意図され る文脈に照らした、システム設計、データ収集、および測定に関する前提の内部お よび外部での妥当性確認を中心とする場合がある。 • 開発(すなわちモデル構築)に関するTEVVのタスクには、モデルの妥当性確認お よび評価が含まれる。 • 展開に関するTEVVのタスクには、本番環境におけるシステムの妥当性確認および 統合、試験、ならびにシステムおよびプロセスの統合、ユーザーエクスペリエン ス、および既存の法的・規制的・倫理的な仕様への準拠に関する再較正が含まれる。 • 運用に関するTEVVのタスクには、モデルの定期的な更新・試験・専門家(SME) による再較正のための継続的なモニタリング、報告されたインシデントやエラー の追跡およびその管理、新興の特性やそれに関連する影響の検知、ならびに是正 および対応のためのプロセスが含まれる。 人間工学に関するタスクおよび活動は、AIライフサイクルのあらゆる側面において見受け られる。これには、人間中心設計の実践および方法論、エンドユーザーその他の利害関係 者および関連するAI関係者の積極的な関与の促進、文脈に固有の規範や価値観のシステム 設計への反映、エンドユーザーエクスペリエンスの評価および適応、ならびにAIライフサ イクルの全段階における人間および人間の動態の幅広い統合が含まれる。人間工学の専門 家は、利用の文脈を理解し、学際的かつ人口統計的な多様性に関する情報を提供し、協議 のプロセスに関与し、ユーザーエクスペリエンスを設計・評価し、人間中心の評価および 試験を実施し、影響評価に資する情報を提供するための、学際的なスキルおよび視点を提 供する。 ドメインの専門家に関するタスクには、AIシステムが利用される業界セクター、経済セク ター、文脈、またはアプリケーション領域に関する知識または専門知識を提供する、学際 的な実務者または研究者からの助言が含まれる。ドメインの専門家であるAI関係者は、AI システムの設計および開発に不可欠な助言を提供するとともに、TEVVおよびAI影響評価 チームの業務を支援するため出力結果を解釈することができる。 AI影響評価のタスクには、とりわけ、AIシステムの説明責任に関する要件の評価、有害な バイアスへの対処、AIシステムの影響の検証、製品安全性、賠償責任、およびセキュリテ ィの評価が含まれる。影響評価者や評価者といったAI関係者は、技術面、人間工学面、社 会文化面、および法務面の専門知識を提供する。 調達タスクは、サードパーティの開発者、ベンダー、または請負業者からAIモデル、製 品、またはサービスを取得するための財務・法務・ポリシー管理上の権限を有するAI関係 者によって実施される。 ガバナンスおよび監督のタスクは、AIシステムが設計、開発、および/または展開される 組織に対して、マネジメント上、受託者としての、および法的な権限と責任を有するAI関 係者が担う。AIガバナンスに責任を負う主要なAI関係者には、組織のマネジメント層、シ ニアリーダーシップ、および取締役会が含まれる。これらの関係者は、組織全体の影響お よび持続可能性に関心を持つ主体である。 その他のAI関係者 サードパーティ事業者には、他の組織または当該組織の顧客もしくは依頼者向けに、デー タ、アルゴリズム、モデル、および/またはシステムならびに関連サービスを提供する提供 者、開発者、ベンダー、および評価者が含まれる。サードパーティ事業者は、その全部ま たは一部について、AIの設計および開発タスクに責任を負う。その定義上、これらの事業 者は、当該技術やサービスを取得する組織の設計・開発・展開チームの外部に位置する。 サードパーティ事業者から取得される技術は複雑または不透明である場合があり、リスク 許容度が展開または運用を行う組織のそれと一致しない場合がある。 AIシステムのエンドユーザーとは、特定の目的のために当該システムを利用する個人または集団である。これらの個人または集団は、特定の文脈においてAIシステムと相互作用す る。エンドユーザーの習熟度は、AIの専門家から技術を初めて利用する者まで幅広く分布 し得る。 影響を受ける個人/コミュニティには、AIシステムまたはAIシステムの出力に基づく決定 によって直接的または間接的に影響を受ける、すべての個人、集団、コミュニティ、また は組織が含まれる。これらの個人は、展開されたシステムやアプリケーションと必ずしも 相互作用するとは限らない。 その他のAI関係者は、AIリスクの特定および管理に関する正式または準正式な規範または ガイダンスを提供し得る。これには、業界団体、標準開発機関、アドボカシー団体、研究 者、環境団体、および市民社会団体が含まれ得る。 一般市民は、AI技術による正負両方の影響を直接的に経験する可能性が最も高い主体であ る。一般市民は、AI関係者が取る行動の動機となる場合がある。このグループには、AIシ ステムが開発または展開される文脈に関連する個人、コミュニティ、および消費者が含ま れ得る。

13 Appendix B: How AI Risks Differ from Traditional Software Risks

Appendix B: How AI Risks Differ from Traditional Software Risks As with traditional software, risks from AI-based technology can be bigger than an enterprise, span organizations, and lead to societal impacts. AI systems also bring a set of risks that are not comprehensively addressed by current risk frameworks and approaches. Some AI system features that present risks also can be beneficial. For example, pre-trained models and transfer learning can advance research and increase accuracy and resilience when compared to other models and approaches. Identifying contextual factors in the MAP function will assist AI actors in determining the level of risk and potential management efforts.
附属書B: AIリスクが従来型ソフトウェアのリスクと異なる点 従来型ソフトウェアと同様に、AIベースの技術に由来するリスクは、単一の組織の範囲を超え、複数の組織にまたがり、社会的な影響につながる可能性がある。AIシステムはまた、現行のリスクフレームワークやアプローチでは包括的に対処されていない一連のリスクをもたらす。リスクをもたらすAIシステムの特性の中には、有益にもなり得るものがある。例えば、事前学習済みモデルや転移学習は、他のモデルやアプローチと比較して、研究を進展させ、精度や頑健性を高めることができる。MAP機能において文脈的要因を特定することは、AI関係者がリスクの水準や必要となり得るリスクマネジメントの取組みを判断する上で役立つ。
Compared to traditional software, AI-specific risks that are new or increased include the following:
従来型ソフトウェアと比較して、AIに特有の、新規または増大したリスクには以下が含まれる。
• The data used for building an AI system may not be a true or appropriate representation of the context or intended use of the AI system, and the ground truth may either not exist or not be available. Additionally, harmful bias and other data quality issues can affect AI system trustworthiness, which could lead to negative impacts. • AI system dependency and reliance on data for training tasks, combined with increased volume and complexity typically associated with such data. • Intentional or unintentional changes during training may fundamentally alter AI system performance. • Datasets used to train AI systems may become detached from their original and intended context or may become stale or outdated relative to deployment context. • AI system scale and complexity (many systems contain billions or even trillions of decision points) housed within more traditional software applications. • Use of pre-trained models that can advance research and improve performance can also increase levels of statistical uncertainty and cause issues with bias management, scientific validity, and reproducibility. • Higher degree of difficulty in predicting failure modes for emergent properties of large-scale pre-trained models. • Privacy risk due to enhanced data aggregation capability for AI systems. • AI systems may require more frequent maintenance and triggers for conducting corrective maintenance due to data, model, or concept drift. • Increased opacity and concerns about reproducibility. • Underdeveloped software testing standards and inability to document AI-based practices to the standard expected of traditionally engineered software for all but the simplest of cases. • Difficulty in performing regular AI-based software testing, or determining what to test, since AI systems are not subject to the same controls as traditional code development.
・AIシステムの構築に用いられるデータは、当該AIシステムの文脈や意図された用途を真に、あるいは適切に表しているとは限らず、また、グラウンドトゥルースが存在しない、あるいは入手できない場合がある。加えて、有害なバイアスやその他のデータ品質上の問題は、AIシステムの信頼性に影響を及ぼし、これが負の影響につながる可能性がある。 ・AIシステムは、学習タスクのためのデータへの依存度が高く、こうしたデータには通常、量と複雑性の増大が伴う。 ・学習中の意図的または非意図的な変更により、AIシステムの性能が根本的に変化することがある。 ・AIシステムの学習に用いられるデータセットは、当初意図されていた文脈から切り離されてしまったり、展開時の文脈に対して古くなったり陳腐化したりすることがある。 ・より従来型のソフトウェアアプリケーション内に収められたAIシステムの規模と複雑性(多くのシステムは数十億、時には数兆に及ぶ意思決定点を含む)。 ・研究を進展させ性能を向上させ得る事前学習済みモデルの利用は、同時に統計的不確実性の水準を高め、バイアス管理、科学的妥当性、再現性に関する問題を生じさせることがある。 ・大規模な事前学習済みモデルの創発的特性について、故障モードを予測することの困難性が高いこと。 ・AIシステムにおけるデータ集約能力の向上に起因するプライバシーリスク。 ・AIシステムは、データ、モデル、または概念のドリフトにより、より頻繁な保守や是正保守を行うための契機を必要とする場合がある。 ・不透明性の増大と再現性に関する懸念。 ・ソフトウェアテスト基準が未成熟であり、最も単純な場合を除き、従来型のエンジニアリングによるソフトウェアに期待される水準でAIベースの手法を文書化することができないこと。 ・AIシステムは従来のコード開発と同様の管理を受けないため、AIベースのソフトウェアの定期的なテストの実施や、何をテストすべきかの判断が困難であること。
• Computational costs for developing AI systems and their impact on the environment and planet. • Inability to predict or detect the side effects of AI-based systems beyond statistical measures.
・AIシステムの開発に伴う計算コスト、および環境や地球への影響。 ・統計的な尺度を超えて、AIベースのシステムの副次的影響を予測または検知することができないこと。
Privacy and cybersecurity risk management considerations and approaches are applicable in the design, development, deployment, evaluation, and use of AI systems. Privacy and cybersecurity risks are also considered as part of broader enterprise risk management considerations, which may incorporate AI risks. As part of the effort to address AI trustworthiness characteristics such as “Secure and Resilient” and “Privacy-Enhanced,” organizations may consider leveraging available standards and guidance that provide broad guidance to organizations to reduce security and privacy risks, such as, but not limited to, the NIST Cybersecurity Framework, the NIST Privacy Framework, the NIST Risk Management Framework, and the Secure Software Development Framework. These frameworks have some features in common with the AI RMF. Like most risk management approaches, they are outcome-based rather than prescriptive and are often structured around a Core set of functions, categories, and subcategories. While there are significant differences between these frameworks based on the domain addressed – and because AI risk management calls for addressing many other types of risks – frameworks like those mentioned above may inform security and privacy considerations in the MAP, MEASURE, and MANAGE functions of the AI RMF.
プライバシー及びサイバーセキュリティのリスクマネジメントに関する考慮事項及びアプローチは、AIシステムの設計、開発、展開、評価、及び利用のいずれの段階にも適用され得る。プライバシー及びサイバーセキュリティのリスクは、AIリスクを組み込み得るより広範な組織的リスクマネジメントの一部としても考慮される。「セキュアでレジリエントであること」及び「プライバシーが強化されていること」といったAIの信頼性の特性に対処する取組みの一環として、組織は、セキュリティ及びプライバシーのリスクを低減するために組織に対して幅広い指針を提供する、NISTサイバーセキュリティフレームワーク、NISTプライバシーフレームワーク、NISTリスクマネジメントフレームワーク、セキュアソフトウェア開発フレームワークなど(これらに限定されない)、既存の規格やガイダンスの活用を検討することが望ましい。これらのフレームワークは、AI RMFといくつかの特徴を共有している。多くのリスクマネジメントのアプローチと同様に、これらは規範的というよりも成果志向であり、多くの場合、機能、カテゴリー、サブカテゴリーから成る「コア」を中心に構成されている。対象とする領域の違いに基づき、これらのフレームワークとAI RMFとの間には大きな相違点があるものの――また、AIリスクマネジメントでは他の多くの種類のリスクへの対処も求められることから――上記のようなフレームワークは、AI RMFのMAP、MEASURE、MANAGEの各機能におけるセキュリティ及びプライバシーに関する検討事項の参考となり得る。
At the same time, guidance available before publication of this AI RMF does not comprehensively address many AI system risks. For example, existing frameworks and guidance are unable to:
同時に、本AI RMFの公表以前に存在していたガイダンスは、多くのAIシステムのリスクを包括的には扱っていない。例えば、既存のフレームワークやガイダンスでは、以下のことができない。
• adequately manage the problem of harmful bias in AI systems; • confront the challenging risks related to generative AI; • comprehensively address security concerns related to evasion, model extraction, membership inference, availability, or other machine learning attacks; • account for the complex attack surface of AI systems or other security abuses enabled by AI systems; and • consider risks associated with third-party AI technologies, transfer learning, and offlabel use where AI systems may be trained for decision-making outside an organization’s security controls or trained in one domain and then “fine-tuned” for another.
・AIシステムにおける有害なバイアスの問題に十分に対処すること。 ・生成AIに関連する困難なリスクに立ち向かうこと。 ・回避、モデル抽出、メンバーシップ推論、可用性、その他の機械学習に対する攻撃に関連するセキュリティ上の懸念に包括的に対処すること。 ・AIシステムの複雑な攻撃対象領域、またはAIシステムによって可能となるその他のセキュリティ上の悪用を考慮に入れること。 ・第三者によるAI技術、転移学習、及び「オフラベル」利用――AIシステムが組織のセキュリティ管理の枠外で意思決定のために学習される場合や、ある領域で学習されたモデルが別の領域向けに「ファインチューニング」される場合――に関連するリスクを考慮すること。
Both AI and traditional software technologies and systems are subject to rapid innovation. Technology advances should be monitored and deployed to take advantage of those developments and work towards a future of AI that is both trustworthy and responsible.
AI技術及び従来型のソフトウェア技術・システムは、いずれも急速な技術革新の対象となっている。こうした技術の進歩を注視し、それらの進展を活かす形で展開を進め、信頼でき、かつ責任あるAIの未来に向けて取り組んでいくべきである。

14 Appendix C: AI Risk Management and Human-AI Interaction

Appendix C: AI Risk Management and Human-AI Interaction Organizations that design, develop, or deploy AI systems for use in operational settings may enhance their AI risk management by understanding current limitations of humanAI interaction. The AI RMF provides opportunities to clearly define and differentiate the various human roles and responsibilities when using, interacting with, or managing AI systems.
附属書C: AIリスクマネジメントと人間とAIとの相互作用 運用環境で使用するAIシステムを設計、開発、または展開する組織は、人間とAIとの相互作用に関する現在の限界を理解することで、自らのAIリスクマネジメントを強化することができる。AI RMFは、AIシステムを利用、操作、または管理する際の様々な人間の役割と責任を明確に定義し、区別する機会を提供する。
Many of the data-driven approaches that AI systems rely on attempt to convert or represent individual and social observational and decision-making practices into measurable quantities. Representing complex human phenomena with mathematical models can come at the cost of removing necessary context. This loss of context may in turn make it difficult to understand individual and societal impacts that are key to AI risk management efforts.
AIシステムが依拠するデータ駆動型のアプローチの多くは、個人及び社会における観察や意思決定の実践を、測定可能な量へと変換または表現しようとするものである。複雑な人間の現象を数理モデルで表現することは、必要な文脈を失わせるという代償を伴い得る。この文脈の喪失は、ひいては、AIリスクマネジメントの取組みにとって鍵となる、個人及び社会への影響の理解を困難にする可能性がある。
Issues that merit further consideration and research include:
さらなる検討及び研究に値する論点には、以下のものが含まれる。
1. Human roles and responsibilities in decision making and overseeing AI systems need to be clearly defined and differentiated. Human-AI configurations can span from fully autonomous to fully manual. AI systems can autonomously make decisions, defer decision making to a human expert, or be used by a human decision maker as an additional opinion. Some AI systems may not require human oversight, such as models used to improve video compression. Other systems may specifically require human oversight.
1. AIシステムに関する意思決定及びその監督における人間の役割と責任は、明確に定義され、区別される必要がある。人間とAIの構成は、完全自律型から完全手動型まで幅がある。AIシステムは自律的に意思決定を行うこともあれば、意思決定を人間の専門家に委ねることもあり、あるいは人間の意思決定者によって追加的な見解として利用されることもある。動画圧縮の改善に用いられるモデルのように、人間による監督を必要としないAIシステムもある。一方で、人間による監督を特に必要とするシステムもある。
2. Decisions that go into the design, development, deployment, evaluation, and use of AI systems reflect systemic and human cognitive biases. AI actors bring their cognitive biases, both individual and group, into the process. Biases can stem from end-user decision-making tasks and be introduced across the AI lifecycle via human assumptions, expectations, and decisions during design and modeling tasks. These biases, which are not necessarily always harmful, may be exacerbated by AI system opacity and the resulting lack of transparency. Systemic biases at the organizational level can influence how teams are structured and who controls the decision-making processes throughout the AI lifecycle. These biases can also influence downstream decisions by end users, decision makers, and policy makers and may lead to negative impacts.
2. AIシステムの設計、開発、展開、評価、及び利用に関わる意思決定には、システミックバイアス及び人間の認知バイアスが反映される。AIアクターは、個人及び集団としての認知バイアスをこのプロセスに持ち込む。バイアスは、エンドユーザーによる意思決定タスクに由来する場合もあれば、設計及びモデリングのタスクにおける人間の想定、期待、及び判断を通じて、AIのライフサイクル全体にわたって持ち込まれる場合もある。こうしたバイアスは必ずしも常に有害であるとは限らないが、AIシステムの不透明性及びそれに伴う透明性の欠如によって助長されることがある。組織レベルにおけるシステミックバイアスは、チームがどのように編成されるか、及びAIのライフサイクル全体を通じて誰が意思決定プロセスを統制するかに影響を与え得る。こうしたバイアスはまた、エンドユーザー、意思決定者、及び政策立案者による下流の意思決定にも影響を及ぼし得るものであり、負の影響につながることがある。
3. Human-AI interaction results vary. Under certain conditions – for example, in perceptual-based judgment tasks – the AI part of the human-AI interaction can amplify human biases, leading to more biased decisions than the AI or human alone. When these variations are judiciously taken into account in organizing human-AI teams, however, they can result in complementarity and improved overall performance.
3. 人間とAIとの相互作用の結果は一様ではない。例えば知覚に基づく判断タスクなど、特定の条件下では、人間とAIとの相互作用のうちAIに関わる部分が人間のバイアスを増幅させ、AI単独あるいは人間単独の場合よりも偏った意思決定につながることがある。しかしながら、こうしたばらつきを人間とAIのチーム編成において適切に考慮に入れることで、相互補完性が生まれ、全体としての性能向上につながり得る。
4. Presenting AI system information to humans is complex. Humans perceive and derive meaning from AI system output and explanations in different ways, reflecting different individual preferences, traits, and skills.
4. AIシステムの情報を人間に提示することは複雑な作業である。人間は、個々に異なる嗜好、特性、及びスキルを反映して、AIシステムの出力や説明をそれぞれ異なる形で知覚し、意味を見出す。
The GOVERN function provides organizations with the opportunity to clarify and define the roles and responsibilities for the humans in the Human-AI team configurations and those who are overseeing the AI system performance. The GOVERN function also creates mechanisms for organizations to make their decision-making processes more explicit, to help counter systemic biases.
GOVERN機能は、人間とAIとのチーム編成における人間の役割と責任、及びAIシステムの性能を監督する人間の役割と責任を、組織が明確化し定義する機会を提供する。GOVERN機能はまた、システミックバイアスに対抗する一助として、組織が自らの意思決定プロセスをより明示的なものとするための仕組みを生み出す。
The MAP function suggests opportunities to define and document processes for operator and practitioner proficiency with AI system performance and trustworthiness concepts, and to define relevant technical standards and certifications. Implementing MAP function categories and subcategories may help organizations improve their internal competency for analyzing context, identifying procedural and system limitations, exploring and examining impacts of AI-based systems in the real world, and evaluating decision-making processes throughout the AI lifecycle.
MAP機能は、AIシステムの性能及び信頼性に関する概念について、オペレーター及び実務者の習熟度を高めるためのプロセスを定義し文書化する機会、並びに関連する技術規格及び認証を定義する機会を示唆する。MAP機能のカテゴリー及びサブカテゴリーを実施することは、文脈を分析し、手続き上及びシステム上の限界を特定し、現実世界におけるAIベースシステムの影響を探索・検証し、AIのライフサイクル全体を通じた意思決定プロセスを評価するための組織内部の能力を向上させる一助となり得る。
The GOVERN and MAP functions describe the importance of interdisciplinarity and demographically diverse teams and utilizing feedback from potentially impacted individuals and communities. AI actors called out in the AI RMF who perform human factors tasks and activities can assist technical teams by anchoring in design and development practices to user intentions and representatives of the broader AI community, and societal values. These actors further help to incorporate context-specific norms and values in system design and evaluate end user experiences – in conjunction with AI systems.
GOVERN機能及びMAP機能は、学際性及び人口統計学的に多様なチームの重要性、並びに影響を受ける可能性のある個人及びコミュニティからのフィードバックを活用することの重要性を説いている。AI RMFで挙げられている、ヒューマンファクターに関するタスクや活動を担うAIアクターは、設計・開発の実践をユーザーの意図並びにより広範なAIコミュニティの代表者及び社会的価値観に結びつけることで、技術チームを支援することができる。これらのアクターはさらに、文脈固有の規範及び価値観をシステム設計に組み込むこと、及びAIシステムと連携したエンドユーザー体験を評価することにも寄与する。
AI risk management approaches for human-AI configurations will be augmented by ongoing research and evaluation. For example, the degree to which humans are empowered and incentivized to challenge AI system output requires further studies. Data about the frequency and rationale with which humans overrule AI system output in deployed systems may be useful to collect and analyze.
人間とAIとの構成に対するAIリスクマネジメントのアプローチは、今後の研究及び評価によって拡充されていくものである。例えば、AIシステムの出力に異議を唱えることについて、人間がどの程度権限を与えられ、また動機づけられているかについては、さらなる研究が必要である。展開されたシステムにおいて、人間がAIシステムの出力を覆す頻度及びその根拠に関するデータを収集し、分析することは有用と考えられる。

15 Appendix D: Attributes of the AI RMF

Appendix D: Attributes of the AI RMF NIST described several key attributes of the AI RMF when work on the Framework first began. These attributes have remained intact and were used to guide the AI RMF’s development. They are provided here as a reference.
附属書D: AI RMFの特性 NISTは、本フレームワークに関する作業に着手した当初、AI RMFのいくつかの主要な特性について説明した。これらの特性は一貫して維持されており、AI RMFの策定を導く指針として用いられてきた。以下では参考として、それらを示す。
The AI RMF strives to:
AI RMFは、以下を目指すものである。
1. Be risk-based, resource-efficient, pro-innovation, and voluntary.
1. リスクベースであり、資源効率的であり、イノベーションを促進するものであり、かつ任意のものであること。
2. Be consensus-driven and developed and regularly updated through an open, transparent process. All stakeholders should have the opportunity to contribute to the AI RMF’s development.
2. コンセンサスに基づくものであり、開かれた透明性のあるプロセスを通じて策定され、また定期的に更新されるものであること。すべてのステークホルダーが、AI RMFの策定に貢献する機会を持つべきである。
3. Use clear and plain language that is understandable by a broad audience, including senior executives, government officials, non-governmental organization leadership, and those who are not AI professionals – while still of sufficient technical depth to be useful to practitioners. The AI RMF should allow for communication of AI risks across an organization, between organizations, with customers, and to the public at large.
3. 上級幹部、政府関係者、非政府組織の指導者、及びAIの専門家ではない人々を含む幅広い層が理解できる、明確で平易な言葉を用いること――同時に、実務者にとって有用であるだけの十分な技術的深度を備えていること。AI RMFは、組織内、組織間、顧客との間、及び社会全般に向けて、AIリスクに関するコミュニケーションを可能にするものであるべきである。
4. Provide common language and understanding to manage AI risks. The AI RMF should offer taxonomy, terminology, definitions, metrics, and characterizations for AI risk.
4. AIリスクをマネジメントするための共通言語及び共通理解を提供すること。AI RMFは、AIリスクに関する分類法、用語、定義、指標、及び特性の記述を提供するべきである。
5. Be easily usable and fit well with other aspects of risk management. Use of the Framework should be intuitive and readily adaptable as part of an organization’s broader risk management strategy and processes. It should be consistent or aligned with other approaches to managing AI risks.
5. 使いやすく、リスクマネジメントの他の側面ともよく調和すること。本フレームワークの利用は、組織のより広範なリスクマネジメント戦略及びプロセスの一部として、直感的で、容易に適合できるものであるべきである。また、AIリスクをマネジメントするための他のアプローチと整合し、または一致しているべきである。
6. Be useful to a wide range of perspectives, sectors, and technology domains. The AI RMF should be universally applicable to any AI technology and to context-specific use cases.
6. 幅広い視点、分野、及び技術領域にとって有用であること。AI RMFは、あらゆるAI技術及び文脈固有のユースケースに対して普遍的に適用可能であるべきである。
7. Be outcome-focused and non-prescriptive. The Framework should provide a catalog of outcomes and approaches rather than prescribe one-size-fits-all requirements.
7. 成果志向であり、規範的でないこと。本フレームワークは、画一的な要件を規定するのではなく、成果及びアプローチの目録を提供するべきである。
8. Take advantage of and foster greater awareness of existing standards, guidelines, best practices, methodologies, and tools for managing AI risks – as well as illustrate the need for additional, improved resources.
8. AIリスクをマネジメントするための既存の規格、ガイドライン、ベストプラクティス、方法論、及びツールを活用し、それらに対する認識をより一層高めること――あわせて、追加的で改善された資源の必要性を示すこと。
9. Be law- and regulation-agnostic. The Framework should support organizations’ abilities to operate under applicable domestic and international legal or regulatory regimes.
9. 法令及び規制に対して中立であること。本フレームワークは、該当する国内及び国際の法令・規制上の枠組みの下で組織が業務を遂行する能力を支えるものであるべきである。
10. Be a living document. The AI RMF should be readily updated as technology, understanding, and approaches to AI trustworthiness and uses of AI change and as stakeholders learn from implementing AI risk management generally and this framework in particular.
10. 生きた文書であること。AI RMFは、技術、理解、及びAIの信頼性やAIの用途に関するアプローチの変化に応じて、また、AIリスクマネジメント全般及び本フレームワークの実践からステークホルダーが学んだ知見に応じて、随時更新されるべきである。
This publication is available free of charge from: https://doi.org/10.6028/NIST.AI.100-1
本刊行物は、以下より無料で入手可能である。 https://doi.org/10.6028/NIST.AI.100-1
日本『AI事業者ガイドライン』解説資料

日本『AI事業者ガイドライン』(第1.2版)解説資料

総務省・経済産業省・令和8年(2026年)3月31日公表(第1.0版:2024年4月公表)
この資料の読み方: 本資料では、日本の代表文書として、法律である「AI法」ではなく『AI事業者ガイドライン』を採用しています。AI法は法的拘束力を持つ法律ですが、EU AI Actのような段階的なリスク分類や、AI事業者ガイドラインに見られるAI開発者・提供者・利用者向けの具体的な実務対応事項を中心的な規律としては設けていません。これに対しAI事業者ガイドラインは、リスクベースアプローチと主体別の実施事項を備えた実質的なガバナンス文書であり、性質・内容の両面でEU AI Act・中国『AI安全治理框架3.0』・米国NIST AI RMFとの比較に適しています。AI法自体は本タブ「05 AI法・既存法制との関係」で関連法令の一つとして扱います。

00 全体像・位置づけ

『AI事業者ガイドライン』は、総務省・経済産業省が共同で策定・公表する行政ガイドラインであり、法律ではありません。本文中でも「非拘束的なソフトロー」であり、法的強制力を持たず、関係者による自主的な取組を促すゴールベースの指針である旨が明記されています。したがって、他の3文書との比較で言えば、法的拘束力を持たない点でEU AI Actとは異なり、むしろ中国『AI安全治理框架3.0』・米国NIST AI RMFと同じ「非拘束フレームワーク」のカテゴリに属します。

対象は「AI開発者」「AI提供者」「AI利用者」の3主体(政府・自治体等の公的機関を含む)で、AIのライフサイクル全体を通じた関係者を包括的にカバーする構成です。全体は5部構成(第1部:AIとは/第2部:AIにより目指すべき社会及び各主体が取り組む事項/第3部:AI開発者/第4部:AI提供者/第5部:AI利用者)で、本編・別添(付属資料)を合わせると200ページを超えるボリュームです。

「Living Document」としての性質

本ガイドラインは、AI技術・社会実装の急速な変化に対応するため、継続的な改訂を前提とした「Living Document」と位置づけられています。法律のように改正手続を経る必要がないため、NIST AI RMFや中国『AI安全治理框架』と同様、機動的な更新が可能という特徴があります。

01 策定の経緯と改定履歴

本ガイドラインは2024年4月、従来個別に存在していた「AI開発ガイドライン」(2017年)、「AI利活用ガイドライン」(2019年)、「機械学習品質マネジメントガイドライン」等を統合する形で第1.0版が策定されました。その後、AI技術・社会実装の進展や国内外のガバナンス動向を踏まえ、以下のとおり改定されています。

版公表日主な内容
第1.0版2024年4月既存3ガイドラインを統合し、基本理念・原則・共通の指針・主体別事項からなる体系を新設
第1.1版2025年3月28日内容の明確化・充実(別添付属資料の追加等)
第1.2版2026年3月31日AIエージェント・フィジカルAIの定義や便益・リスクを追記、リスクベースアプローチの記載を実務に即して見直し、AI開発者・提供者・利用者の主体区分を整理、EU AI Actや広島AIプロセス等の国内外動向を反映、活用手引き・チャットボット等の理解支援ツールを追加
本資料は2026年9月時点で最新の第1.2版(2026年3月31日公表)を基準としています。

02 基本理念・原則・共通の指針

第2部は「基本理念(A)」「原則(B)」「共通の指針(C)」「広島AIプロセス国際指針(D)」「AIガバナンスの構築(E)」から構成されます。基本理念として「人間の尊厳が尊重される社会」「多様な幸せを追求できる社会」「持続可能な社会」の3つの価値が掲げられ、これを実現するための「共通の指針」として、全主体に共通する10項目が示されています。

指針概要
1. 人間中心AI活用において人間の尊厳・自律を尊重し、意思決定操作やフィルターバブルに注意しつつ、多様性・包摂性を確保する
2. 安全性生命・身体・財産・精神・環境への危害を防ぐため、信頼性・堅牢性・制御可能性を確保し、リスク分析と対策を実施する
3. 公平性人種・性別・年齢等を理由とした不当な差別をなくし、回避不可能なバイアスは人権尊重の観点から評価する
4. プライバシー保護個人情報保護法等の関連法令を遵守し、社会的文脈における合理的期待を踏まえた保護対策を実施する
5. セキュリティ確保AIシステムの機密性・完全性・可用性を維持し、その時点の技術水準に照らして合理的な対策を講じる
6. 透明性検証可能性を確保しつつ、必要かつ技術的に可能な範囲でステークホルダーに情報提供する
7. アカウンタビリティトレーサビリティを確保し、各主体のリスク程度に応じて対応状況を説明する
8. 教育・リテラシー主体内の関係者に正しい理解を促す教育を行い、ステークホルダーにも必要な教育機会を提供する
9. 公正競争確保AI活用による新規ビジネス創出を促進しつつ、公正な競争環境の維持に努める
10. イノベーション産学官連携・オープンイノベーションを推進し、標準仕様への準拠や相互運用性の確保を図る

また「D. 広島AIプロセス国際指針」の節では、日本が主導したG7広島AIプロセスの国際指針・行動規範との整合性が図られており、国際的な議論との接続点として位置づけられています。

03 リスクベースアプローチとアジャイル・ガバナンス

本ガイドラインは、リスクの大きさ(危害の程度と蓋然性)に応じて対策の程度を対応させる「リスクベースアプローチ」を基本的な考え方としています。過度に一律・硬直的な対策を求めることによるイノベーション阻害を避ける一方、危害の大きさ・蓋然性が高い場面ではより手厚い対応を求める、という柔軟な設計です。この点は、EU AI Actの段階的リスク分類(禁止・ハイリスク・限定・最小)や中国3.0の3層リスク分類ほど明確な区分は設けていないものの、考え方としては共通する部分があります。

「E. AIガバナンスの構築」では、Society 5.0実現に向けた複雑で変化の速いサイバー・フィジカル・システム(CPS)環境を前提に、事前に完全なルールを固定するのではなく、「環境・リスク分析 → ゴール設定 → システムデザイン → 運用 → 評価」という循環的なサイクルを、マルチステークホルダーで継続的かつ機動的に回転させる「アジャイル・ガバナンス」の考え方が示されています。この循環構造は、米国NIST AI RMFのGovern・Map・Measure・Manageの4機能循環と、発想の点で近い関係にあります。

04 主体別(開発者・提供者・利用者)の実施事項

第3部(AI開発者)・第4部(AI提供者)・第5部(AI利用者)では、共通の指針を各主体の役割に即して具体化した実施事項が示されています。

指針の分野AI開発者AI提供者AI利用者
安全性学習データの適切な管理、モデルの安全性検証提供するAIシステム・サービスの安全性確保、生命・身体への配慮用途に応じた適正利用、想定外利用の回避
公平性学習データ・アルゴリズムのバイアス点検提供形態に応じたバイアス対策の実装出力結果の妥当性確認、人間判断の介在
プライバシー・セキュリティプライバシー保護技術の実装、脆弱性対応利用者への適切な情報提供、セキュリティ対策の実施個人情報の取扱いに関する社内規程の整備
透明性・アカウンタビリティ技術文書の整備、意思決定プロセスの記録利用者への説明、問い合わせ対応体制の整備AI利用について必要な範囲での情報開示
1つの事業者が複数の主体(例:自社開発AIを自社サービスに組み込んで提供する事業者は「開発者」かつ「提供者」)に該当する場合があり、該当するすべての主体の実施事項を確認する必要があります。

05 AI法・既存法制との関係

AI事業者ガイドラインには法的拘束力がなく、罰則も存在しません。日本国内でAI関連事業を行う場合の法的拘束力・具体的な行為規制・制裁は、AI法および個人情報保護法・著作権法等の既存法制から生じます。本ガイドラインは、これらの法制度を代替するものではなく、実務上どのように対応すべきかの指針を示す位置づけです。

法令・指針性質本ガイドラインとの関係
AI法(令和7年法律第53号)法律(法的拘束力あり、罰則なし)研究開発・活用の推進、基本理念、政府の基本計画・推進体制を定める基本法。本ガイドラインが示す実務指針の政策的な上位文脈として機能するが、本ガイドラインが定めるような主体別の具体的な実務対応事項を中心的な規律としては設けていない。
個人情報保護法法律(拘束力・罰則あり)AI学習データ・出力に個人情報が含まれる場合に適用される、実務上重要な既存法制の一つ。本ガイドラインの「プライバシー保護」指針はこの法律を前提とした実務対応を示す。
著作権法法律(拘束力・罰則あり)AI学習データの著作物利用(第30条の4等)、生成物と既存著作物の類似性等を規律。
不正競争防止法法律(拘束力・罰則あり)AIを用いた営業秘密の不正取得・利用、他者の商品等表示の不正利用に適用され得る。
個別業法(金融商品取引法・医療関連法規等)各分野の法律(拘束力・罰則あり)金融・医療・雇用等、特定分野でAIを活用する場合、その分野固有の規制がAI導入以前からそのまま適用される。

06 実務への示唆

本ガイドラインへの対応だけを確認しても、法的な意味でのコンプライアンスが完結するわけではありません。具体的な行為規制・制裁を伴う法的リスクについては、個人情報保護法、著作権法、不正競争防止法、個別業法等の既存法制を別途確認する必要があります。一方で、本ガイドラインが示すリスクベースアプローチ・主体別の実施事項・アジャイル・ガバナンスの考え方は、社内のAIガバナンス体制を構築する際の実務的な出発点として活用できます。

複数法域にまたがってAI事業を展開する事業者にとっては、本ガイドラインの共通の指針10項目を自社のAIガバナンス方針の「国内における実務指針」として位置づけつつ、EU域内向けにはAI Act、中国国内向けには『AI安全治理框架3.0』、米国の取引先向けにはNIST AI RMFへの対応状況を別途確認する、という組み合わせで整理するのが実務的です。

Full Text — Japanese

『AI事業者ガイドライン』(第1.2版)本文抜粋

総務省・経済産業省・令和8年(2026年)3月31日公表 | 本編・別添(付属資料)を合わせると200ページを超えるため、本タブでは規範的中核部分(基本理念・原則・共通の指針・AIガバナンスの構築・主体別事項の要点)を構造的に再構成して収録しています。付属資料(チェックリスト・詳細な実施事項等)を含む完全版は、下記の公式情報源でご確認ください。

01 第1部 AIとは

第1部では、本ガイドラインで用いる「AI」「AIシステム」「AIサービス」等の用語の定義と基本概念が整理されています。第1.2版では、AIエージェント(自律的にタスクを遂行するAI)やフィジカルAI(実世界の物理的環境と相互作用するAI)といった新しい技術類型の定義・便益・リスクが新たに追記されました。また「学習」「推論」「データ」等の用語も具体化され、検索拡張生成(RAG)が推論の一形態として位置づけられています。

02 第2部 A・B 基本理念・原則

A. 基本理念

本ガイドラインが目指す社会像として、以下の3つの価値が掲げられています。

  • 人間の尊厳が尊重される社会 — AIを利用する場合でも、人間の尊厳や個人の自律が侵害されないこと。
  • 多様な幸せが追求できる社会 — 多様な背景・価値観を持つ人々が、それぞれの幸せを追求できる環境を損なわないこと。
  • 持続可能な社会 — AIの活用が、地球環境を含む社会全体の持続可能性に資するものであること。

B. 原則

基本理念を実現するための原則として、OECDのAI原則等、国内外の議論を踏まえた考え方が示されています。AIに関わるすべての主体が、人間中心の考え方に基づき、AIの便益を最大化しつつリスクを最小化するよう努めることが求められています。

03 第2部 C 共通の指針(10項目)

AI開発者・提供者・利用者に共通して求められる指針として、以下の10項目が示されています。

  1. 1. 人間中心 — AIの活用にあたり、憲法及び国際的に認められた人権を侵さないようにすることが重要である。人間の意思決定を不当に操作する、いわゆるダークパターンや、フィルターバブル・エコーチェンバーのような分断を助長する影響に留意し、多様性と包摂性を確保しつつ、AIを扱う人材の育成や、AIによって影響を受ける利用者への支援、持続可能性の確保に配慮することが求められる。
  2. 2. 安全性 — AIサービス・システムがステークホルダーの生命・身体・財産、精神及び環境に危害を及ぼすことがないよう、信頼性・堅牢性を確保し、制御可能な状態を維持する必要がある。想定されるリスクを分析した上で対策を講じ、万が一安全性を損なう事態が生じた場合の対処方法をあらかじめ準備しておくことが重要である。
  3. 3. 公平性 — 人種、性別、年齢、国籍、障害の有無等の多様な背景を理由とした不当な差別的取扱いがなされないようにすることが重要である。AIが学習データ等に起因して生じ得るバイアスについては、完全に排除することが困難な場合もあるため、人権尊重の観点から適切に評価し、必要に応じて人間の判断を介在させることが求められる。
  4. 4. プライバシー保護 — 個人情報保護法をはじめとする関連法令を遵守するとともに、社会的文脈における個人の合理的な期待を踏まえたプライバシー保護のための対策を講じる必要がある。OECDプライバシーガイドライン等、国際的に確立された個人データ保護の原則も参照しつつ対応することが重要である。
  5. 5. セキュリティ確保 — AIシステムの機密性・完全性・可用性を維持するため、その時点における技術水準に照らして合理的と考えられるセキュリティ対策を講じる必要がある。サイバー攻撃の手法は日々進化するため、最新の動向を踏まえた継続的な対応が求められる。
  6. 6. 透明性 — AIの検証可能性を確保しつつ、必要かつ技術的に可能な範囲で、ステークホルダーに対して適切な情報を提供することが重要である。プライバシーや営業秘密の保護と両立させながら、社会的な合理性が認められる範囲で、AIの動作についての説明可能性・解釈可能性を高める工夫が求められる。
  7. 7. アカウンタビリティ — AIの学習データの出所や意思決定のプロセスを事後的に追跡可能な状態(トレーサビリティ)にしておくことが重要である。各主体は、AIのリスクの程度に応じて、合理的な範囲で共通の指針への対応状況をステークホルダーに説明する責任を負う。
  8. 8. 教育・リテラシー — AIに関わる主体内の関係者が、AIについての正しい理解と、社会全体における適切な利用に関する知識を持てるよう、教育を行うことが重要である。AIの複雑性や悪用可能性を踏まえ、必要に応じてステークホルダーに対しても教育の機会を提供することが期待される。
  9. 9. 公正競争確保 — AIの活用による新たなビジネスやサービスの創出、社会課題の解決を促進する観点から、公正な競争環境の維持に努めることが期待される。
  10. 10. イノベーション — 産学官の連携やオープンイノベーションの推進、標準仕様への準拠、相互接続性・相互運用性の確保等を通じて、社会全体のイノベーションの促進に貢献することが期待される。

04 第2部 D・E 広島AIプロセス国際指針・AIガバナンスの構築

D. 広島AIプロセス国際指針

日本が議長国として主導したG7広島AIプロセスにおいて策定された「高度なAIシステムを開発する組織向けの広島プロセス国際指針」及び「広島プロセス国際行動規範」との整合性が図られています。第1.2版では、EU AI Actをはじめとする国内外のAIガバナンス動向を踏まえた記述が追加されました。

E. AIガバナンスの構築

Society 5.0の実現に向けて、複雑で変化の速いサイバー・フィジカル・システム(CPS)環境の下では、事前にすべてのルールを固定的に定める「ハードロー型」の統制ではなく、以下のサイクルをマルチステークホルダーで継続的かつ機動的に回転させる「アジャイル・ガバナンス」の考え方が示されています。

アジャイル・ガバナンスのサイクル
① 環境・リスク分析 — AIシステムの利用環境やリスクを分析する
② ゴール設定 — 目指すべきゴールを設定する
③ システムデザイン — ゴール達成のための仕組みを設計する
④ 運用 — 設計した仕組みを実際に運用する
⑤ 評価 — 運用結果を評価し、①に戻って継続的に見直す

このサイクルは、AIシステムのライフサイクル全体における便益とリスクの評価を基礎とし、各主体の資源制約にも配慮しながら回転させることが想定されています。

05 第3部 AI開発者

AI開発者(AIシステムを新たに構築する事業者)に対しては、共通の指針を開発工程に即して具体化した実施事項が示されています。主な内容は、学習データの収集・前処理段階における安全性・公平性・プライバシーへの配慮、モデルの検証・評価プロセスの確立、技術文書・意思決定プロセスの記録によるアカウンタビリティの確保等です。詳細な実施事項は別添付属資料に整理されています。

06 第4部 AI提供者

AI提供者(AIを組み込んだサービス・システムを提供する事業者)に対しては、提供するAIサービスの安全性確保、利用者への適切な情報提供、脆弱性対応を含むセキュリティ対策の実施、問い合わせ対応体制の整備等が求められています。自ら開発したAIを提供する事業者は、AI開発者としての実施事項もあわせて確認する必要があります。

07 第5部 AI利用者

AI利用者(事業活動でAIを利用する事業者)に対しては、用途に応じた適正な利用、AI出力結果の妥当性確認における人間判断の介在、個人情報の取扱いに関する社内規程の整備、必要な範囲でのAI利用に関する情報開示等が求められています。

08 別添(付属資料)の構成

本編に加え、別添(付属資料)には、主体別のより詳細な実施事項、自己点検用のチェックリスト、具体的な活用事例、AI活用に関する国内外の関連動向の整理等が収録されています。第1.2版では、実務での理解を助けるための「活用手引き」及び総務省のチャットボットによる問い合わせ対応ツールが新たに提供されています。付属資料を含む完全版は、本タブ冒頭の公式情報源リンクからご確認ください。