センサーが故障し、同じ値を出し続けることがあります。データ固着と呼ばれる状態です。このとき、画面には、異常のない時と同じ数値が並びます。当社の水位計の一部には、自己診断の機能があり、この状態を検知しますが、それでも有事の最後の安全装置は、ヒトです。
AIは、良きパートナーです。膨大な情報を整理し、もっともらしい答えを、すばやく示してくれます。
ただし、そこに危うさがあります。人は、答えがもっともらしいほど、確かめることをやめてしまいがちです[1]。考えることを道具に任せる営みは、昔からあり、研究も重ねられてきました[2]。けれども、任せ続けるうちに、確かめる力そのものが細っていくおそれが、医療の現場からもうかがえます[3]。やがて、AIの答えを承認するだけの役割になりかねません。
先ほどのセンサーの話と同じ構造です。固着したデータが危ういのは、間違って見えないからです。もっともらしい答えも同じです。間違いが間違いに見えないとき、気づけるのは、疑う習慣を持つヒトだけです。
本当の危うさは、ヒトが判断を手放すことです。
備えは、四つあります。
ひとつ。ヒトに残す判断を、あらかじめ決めること。取り返しがつかないこと、影響が大きいことは、ヒトが決めます。
ふたつ。物理的な安全装置を重ねること。自己診断と、現場の目。ひとつが破れても、次が働きます。
みっつ。疑う仕組みを持つこと。情報が本物かを確かめる技術と、感情を煽る情報に、一拍置く習慣です。
よっつ。ヒトの役割を、受け身から変えること。問い、確かめ、決める側に立ちます。
止めないことと、委ねすぎないこと。その均衡を保つのが、ヒトの配慮です。「異常なし」の末尾に「?」を付けて見守る。最後の線は、自分の手で引きます。
代表取締役 麦生田 栄