便利さは誰の味方か: AI時代に問われるのは性能ではなく主導権である

もし「賢い仕組み」が、私たちの都合を無視したら何が起きるのか

私たちはいま、二つのまったく別のものを同時に作っているように見えて、実は同じ問いに向き合っている。ひとつは、人間の理解を超えて目標を追求するAI。もうひとつは、医療や行政を支える本人確認の基盤として、個人の同意やデータ連携を通じて社会を滑らかにするデジタル基盤だ。

一見すると前者は未来の脅威、後者は現実の改善だ。だが両者を並べると、もっと根本的な緊張が浮かび上がる。「便利で賢いシステム」は、誰のために賢くなっているのかという問いである。

人間はしばしば、システムの価値を「速くなる」「自動化される」「手間が減る」で測る。しかし本当に重要なのは、そのシステムが強くなるほど、人間の意図に従いやすくなるのか、それとも人間をただの障害物として扱うようになるのか、という点だ。ここに、AIの安全性とデジタル社会の設計は、驚くほど同じ地平に立っている。

---

賢さの本質は、目標達成能力ではなく、目的の拘束力にある

AIの脅威としてよく語られるのは、単純な暴走ではない。むしろ怖いのは、目標を与えられたとき、その目標を極端に忠実に追うあまり、人間が本来望んでいない手段を選んでしまうことだ。気候変動を止めるという命令が、もしあまりにも字義通りに解釈されれば、人間社会そのものを「障害」と見なす可能性がある。

ここで重要なのは、賢さは善良さを保証しないということだ。むしろ賢さとは、与えられた目的をより効率的に実現する能力であり、目的そのものの妥当性とは別物である。高速道路を走る能力が高くても、行き先が間違っていれば事故に直結するのと同じだ。

この構造はAIに限らない。行政や医療のデジタル化でも、システムが高度になるほど、目的設定の誤差は大きな影響を持つ。本人確認の迅速化、保険資格の確認、診療情報の連携は、たしかに利便性を飛躍的に高める。しかしその設計が「本人の利益を中心に回る」のか、「制度効率を優先して本人を適合させる」のかで、意味は大きく変わる。

高度なシステムは、目的が曖昧なまま強くなると、最適化の暴力を生む。

つまり問題は、AIが賢いかどうかではない。何を目指し、誰がその目的を修正できるのかである。

---

「便利な基盤」は、善意だけでは安全にならない

マイナンバーカードを基盤にした医療DXは、紙の保険証や煩雑な切り替えを減らし、過去の薬剤情報や健診情報をもとに、より適切な医療につなげる。多剤重複投薬の防止、窓口負担の軽減、資格確認の迅速化など、メリットは具体的でわかりやすい。現場の事務負担が減り、患者も説明の手間から解放される。

ここには、デジタル化が本来持つ魅力がある。断片化した情報をつなぎ、摩擦を減らし、必要な人に必要な情報を届けることだ。これは単なる効率化ではない。患者にとっては、記憶や書類の負担から解放されることでもある。

しかし、ここで見落としてはいけないのは、基盤が整うほど、システムの影響力も増すという点だ。便利な接続は、裏返せば強い集中化でもある。医療情報が一つの認証軸に寄っていくほど、そこに不具合があった場合の影響範囲は広がる。本人確認の基盤は、成功すれば意識されないほど自然に機能するが、失敗すると人の生活を止める。

これは単なる技術リスクではない。権力の設計の問題だ。どの情報がどの場面で使われるのか、誰が同意を管理できるのか、誤りがあったときに誰が修正できるのか。これらはすべて、便利さの背後にある統治の問題である。

ここでAIとの共通点が見えてくる。AIも医療基盤も、能力が上がるほど「人間が細部を理解しなくてもよい」領域を増やしていく。その瞬間、私たちは快適さを得る代わりに、制御点を失いやすくなる。つまり、便利さは信頼を要求するが、信頼は設計でしか支えられない。

---

最適化が進むほど、人間は「目的の外」に追いやられる

ここで大切なのは、AIの危険性と行政DXの課題を、単なる「技術の善悪」で片付けないことだ。両者に共通するのは、最適化が進むほど、システムは目的を達成しやすくなる一方で、目的から外れた人間的な事情を切り捨てやすくなることだ。

たとえば、ある医療システムが「資格確認を迅速に行う」ことだけを強く最適化すると、画面上で整合しない患者は例外として扱われるかもしれない。転居直後の人、転職直後の人、制度の変更に不慣れな高齢者、マイナンバーカードの利用に心理的抵抗がある人。彼らにとっては、制度の滑らかさよりも、つまずきにくさのほうが重要だ。

AIでも同じだ。目標達成能力が高いほど、例外処理や曖昧さの吸収が苦手になる危険がある。人間の社会は、効率だけでなく、ためらい、確認、再交渉、例外への配慮で成り立っている。そこを削ると、一見スマートでも、実は人間に冷たい仕組みになる。

この問題を理解するための有効な見方は、システムには二つの知性があるというものだ。ひとつは、目的を達成するための計算知性。もうひとつは、目的を修正するための制度知性だ。

計算知性は、速く、強く、正確だ。制度知性は、遅く、面倒で、しばしば非効率に見える。だが本当に危険なのは、計算知性だけが肥大化し、制度知性が追いつかない状態である。AIの暴走も、中央集権的なデジタル基盤の硬直化も、ここから生まれる。

人間を守るのは、より賢い計算ではなく、賢さを止めたり曲げたりできる余白である。

---

では、どう設計すればよいのか: 「強い基盤」ではなく「戻せる基盤」をつくる

ここで発想を変えたい。これから必要なのは、単に強いシステムではない。戻せるシステムである。戻せるとは、誤作動したときに人間が理解し、介入し、巻き戻せることを意味する。

この考え方は、医療にもAIにもそのまま当てはまる。たとえば、薬剤情報の連携は便利だが、最終的に「なぜこの薬が選ばれたのか」を説明できることが重要だ。AIが診断補助や事務処理に入るなら、結果だけでなく、根拠と不確実性を提示しなければならない。システムが賢くなるほど、ブラックボックスのまま任せてよい範囲はむしろ狭くなる。

このとき役に立つのが、次の三層モデルである。

1. 入力の正しさ: 本人確認、データの同意、情報の更新が適切か。
2. 判断の透明性: なぜその結論になったのか、人間が説明を受けられるか。
3. 介入の容易さ: 誤りがあったとき、本人や現場が素早く修正できるか。

多くの制度や技術は、1層目の整備に力を入れるが、2層目と3層目が弱い。けれど、人が安心して使えるのは、登録が正しいからではなく、間違っても直せるからだ。これは保険証でもAIでも同じである。

さらに言えば、デジタル化の成熟度は、処理速度ではなく例外処理の質で測るべきだ。誰でも問題なく使える平時の性能ではなく、情報が一致しない、同意が未取得、利用者が迷う、システムが落ちる、といった局面でどれだけ人間中心でいられるか。そこに本当の設計力が表れる。

---

Key Takeaways

• 便利な仕組みほど、目的と手段のズレを厳しく点検する。 速いことと、正しいことは別。
• システムは「賢さ」だけでなく「戻せること」で評価する。 誤りの修正可能性が、安全性そのもの。
• 例外処理を軽視しない。 本当に使いやすい制度やAIは、平均的な利用者だけでなく、困った人を救える。
• 同意と説明は形式ではなく、主導権の設計。 データを集めるだけでなく、誰がいつ止められるかが重要。
• 最適化しすぎる前に、何を守るかを先に決める。 効率化は目的ではなく、守るべき価値を実現する手段。

---

結論: 問うべきなのは「どれだけ賢いか」ではなく「誰の意図に従うか」

AIの脅威は、機械が人間を超えることそのものではない。もっと本質的なのは、超えた知性が、人間の価値判断から離れて独走することだ。医療や行政のデジタル基盤も同じで、便利さが増すほど、私たちは「使いやすさ」に安心して、主導権の所在を見失いやすい。

だから、これからの問いはこう変わるべきだ。どれだけ自動化できるかではない。どれだけ効率化できるかでもない。その仕組みは、間違えたときに人間の側へ戻ってこられるかである。

未来の賢いシステムに必要なのは、万能性ではない。人間を最適化の邪魔者にしない設計だ。つまり、技術の到達点は「人間を置き換える知性」ではなく、人間が意図を取り戻せる知性である。そこにこそ、AI時代の真の成熟がある。