梶谷懐・高口康太著『幸福な監視国家・中国』を読む

犯罪関係のニュースを見ていると、犯人が分かる時間がとても短くなってきたように感じられる。街のいたるところに監視カメラが設置され、犯罪が起きた場所とその周辺で撮影された映像が、画像認識システムによって瞬時に分析され、犯人が高い確率で割り出されるためだろう。

AIによるビッグデータの広範囲な利用が進むにつれて、監視社会の功罪がつまびらかに論じられるようになっている。この問題を逸早く指摘したのは、戦後を代表するフランスの哲学者ミシェル・フーコーで、次のように述べている。近代の国民国家では国民の一体性を確立し保持するために、同じ場所に集めて規律訓練するシステムが形成された。その典型は監獄だが、学校・会社・役所・軍隊・病院などでもおなじで、これらは社会的な秩序を維持するための監視装置として働いている。すなわち他人の生き方を考えて良い方向に導こうと行動する人々(権力者)に見られる利他的な性質は(とても良いように感じられるけれども)、実は監視によって人々の自由を奪ってしまうため権力的(暴力的)である。

フーコーは監獄を例に監視がもたらす怖さを述べている。そこでは、19世紀初頭の哲学者で功利主義を構築したジェレミ・ベンサムの考案になるパノプティコンを説明に用いた。パノプティコンは、中心に監視塔があり、それを囲むように個室が並んでいる建物があり、囚人間ではお互いに見えないようになっている。収容者には職業選択の自由が与えられ、刑期終了後は社会復帰することができ、更生するための教育が施される。看守の姿は逆光のため囚人からは見えない。しかし囚人は監視されていることを知っているので、始終その目を気にし、強制されることなく更生に励むこととなる。すなわち社会が求める人に自発的に改造される。

ベンサムは、当時の劣悪な監獄の状況を改善するために、パノプティコンを理想的な刑務所として提案した。しかしフーコーは利他的で一見素晴らしく思えるパノプティコンに潜んでいる権力の本質を見て監視社会への警鐘を鳴らした。

この本の第3章「中国に出現したお行儀のいい世界」で、社会信用システムが紹介されている。中国がIT技術で先行していることはよく知られていることだが、信用システムでも同じである(良いか悪いかの問題は残されているが)。著者は金融、懲罰、道徳の分野での信用システムを紹介している。最初の二つは受け入れやすいが、最後の道徳はフーコーの指摘を思い出させる。

信用システムでは各人が信用スコアを有し、良いことをすればそれが上がり、悪いことをすれば下がる。そしてスコアが上がれば、生活の中で良いサービスを享受することができ、下がれば我慢を強いられる。

例えば、栄成市では、道路で穀物を乾かしたら5減点、広告をばらまいたら5減点、お墓参りで爆竹を鳴らしたら20減点、墓の面積が基準より大きい場合は100減点、派手過ぎる結婚式は10減点などとなっている。これからは行政側が村の悪習を糺そうという意図が見え隠れする。子供の頃の親のしつけを思い出して思わず吹き出しそうだが、まじめに履行しようとしているのだろうか。

今のところスコアの上がり下がりによって、生活が影響されることはないようだが、これがもし社会的な賞罰(これによってローンができなくなったり、遠方への旅行ができなくなったりする)と結びついたときは、人々は大きな強制力を感じることなく否応なしに、信用システムを受け入れていくようになるだろう。

上記の信用システムは、安心で安全な社会を構築するための施策に見えるが、思わぬことで減点されてしまった人にとっては厄介な話である。信用システムのように社会という「公」を大切にするのか、そうではなくて個人としての「私」を大事にするかによって、結果が大きく異なることがある。この本でも紹介されているが、いわゆるトロッコ問題がそれである。違いを強調するために、この本で紹介されている内容を少し変えて、ここではこの問題を次のように設定した。

問題１：トロッコが暴走し、線路に沿って谷を勢いよく下ってくる。あなたが立っているところで、線路は2つに分かれていて、あなたはスイッチで行先を切り替えることができる。片方の線路の先では囚人5人が保線作業をしている。他方の先ではあなたの恋人が花を摘んでいる。あなたがスイッチを押せば、トロッコは恋人の方に突き進んで行き、恋人の命が失われる。何もしなければ、5人の命が失われる。さてあなたはどうする。

かなり悩ましい問題だが、「私」を大事にする人だとすると、恋人がいなくなってしまった後の人生など考えることもできないので、スイッチをそのままにしておくだろう。「公」を大切にする人だとすると、たとえ囚人といえども同じ人間であり、片方は5人、他方は1人ということで、多くの命を救ったほうが良いという判断のもとに、スイッチを押すだろう。

これは社会がどのように処罰を定めているかによって、選択時の悩み方にも差異が出てくる。犯罪に対する法は大きく2つに分類できる。一つは、日本の現状システムだが、個別の事件での判断を汎用化・体系化して基本的な考え方をルールとして定めておき、それぞれのケースに当てはめていくものである。他の一つは、江戸時代の大岡裁判に似ているが、それぞれの事件に対して、聖人・君主のような立派な人がそのときの事情・状況に照らし合わせて判断していくものである。前者は「ルールとしての法」、後者は「公論としての法」とこの本では名付けられている。「ルールによる法律」では、スイッチを押す行為は「殺人未遂罪」に問われるかもしれないので、スイッチ操作の資格を持たないあなたはスイッチをいじらない方に、すなわち恋人が犠牲にならない方に、後ろめたさを感じることなく、より強く傾くことであろう。しかし「公論による法」で、もし為政者が私利私欲が大嫌いだったという状況にある場合には、恋人を犠牲にしてまでも5人を救ったと称賛され、たくさんの褒美を貰えるだろうと期待して、スイッチを押すことにもっと魅力を感じることであろう。

	そのまま(囚人へ)	押す(恋人へ)
私	◎	☓
公	☓	◎

問題２：線路の先にいる人々を入れ替えた場合はどうする。すなわち押せば囚人5人が亡くなり、何もしなければ恋人が犠牲になる。

選択の傾向は弱まるものの、「私」を大事にする人は殺人未遂罪に問われるかもしれないが、スイッチを押してやはり恋人を助けるだろう。逆に「公」を大切にする人は、囚人を救ったとしても「当たり前だね」と言われかねないだろうが、それでもスイッチをそのままにするだろう。大学生の孫の一人にどうすると聞いたら、恋人と一緒に死ぬと思いがけない答えが返ってきた。読者の皆さんはさてどうする。

	そのまま(恋人へ)	押す(囚人へ)
私	☓	〇
公	〇	☓

先ほど述べた功利主義も公を大事にする考え方と見なすこともできる。功利主義は、①帰結主義(ある行為の正しさは行為選択の結果によって生じる事態の良し悪しにより決まる)②幸福(厚生)主義(道徳的な善悪は個人の主観的幸福(厚生)によってきまる)③集計主義(社会状態の良し悪しや行為選択の正しさは、社会を構成する個人が感じる幸福の総量による)から成り立っている。功利主義によれば、諸個人の自由や自立といったものは統治者が何をなすべきかにおいては本質的に無関係で、そうした方が結局は幸福の総計の最大化に資すると思うならば、諸個人の自由や自立を侵害するような統治や立法をよしとするだろうと、安藤馨の言葉を借りてこの本では説明されている。

集団の幸福の最大化のためには個人の事由や自立を侵害してもよいとすると、権威主義に陥る可能性がある。中国の道徳は儒教に基づいている。私利私欲は嫌われて悪とみなされ、皆のために行動することが善とされる(兄弟は平等で財産分けも均等)。このような道徳観の場合、幸福主義の定義から「私」のためではなく「公」のために働くことが個人の主観的幸福感となる。このため、「私」を滅し「公」に殉じる社会では、功利主義は集団の利益を追求することとなり、安藤馨の説明の通りとなる。そして今日の権威主義は「公」が大切であることを強調していないだろうか。

これに対して「私」を大事にする社会はいわゆる民主主義だろう。この本ではないが『日本と中国「脱近代化」への誘惑』の中で、ジャン＝ジャック・ルソーの一般意志を説明している。ルソーは「近代化の父」と称せられ、18世紀のフランスの哲学者である。日本大百科全書によれば一般意志は次のように説明されている。一般意志とは国家（政治体、政治社会）の全体および各部分の保存と幸福を目ざし、法律の源泉また国家の全成員にとって彼ら相互の間の、および各成員と国家との間における正と不正との規準となる政治原理で、この一般意志は公共の利益と個人の利益を同時に尊重する市民相互の結合によって生じるとされる。数学的な概念での説明を好む人には、東浩紀の次の説明が分かりやすい。特殊意志(各個人の意思)を数学のベクトルに見立てて、それらのベクトルの総和が一般意志である。ルソーは、人間をその自由と生命を守るための最高権力(主権)を持つ政治社会(国家)を形成する主体として位置づけることによって、今日の国民主権論や人民主権論の原形を作った。

コンピュータが人間よりも優れた判断・決断をするようになったとき、公を大切にする社会と私を大事にする社会とでは、どの様な違いが生まれるのだろうか。著者は、ノーベル経済学賞を受賞したダニエル・カーネマンの心の二重過程理論を用いて、一つのモデルを示してくれた。脳には直感的・感情的な速い思考と意識的・論理的な遅い思考とがあり、通常の生活をしているときは、命に及ぶような危険がいつ襲ってくるか分からないので(人類の起源時の狩猟採集時代に形成された本能によって)、速い思考をしている。しかし熟慮して正しい解答を出さなければいけないようなときには遅い思考をしている。会話をしているときに思わず失言し後で後悔するのは、会話時は早い思考で、そのあとでは遅い思考で脳が機能しているためである(沈黙は金)。

二重過程理論をさらに進めてきたカナダの心理学者キース・E・スタノヴィッチは、「道具的合理性とメタ合理性」という概念を打ち出した。「道具的合理性」は、あらかじめ決められた目的を達成しようとする場合に発揮される合理性で目的自体が正しいのかは問わない。これはカーネマンの速い思考にあたる部分である。メタ合理性は、あらかじめ決められた目的の下で振る舞うときに、どの様な場合に合理的で、どの様な場合にはそうでないのかという問いかけを求めるもので、遅い思考に相当する。

市民社会の中で生活しているとき、ルソーの考え方を発展させた市民的公共性が求められるが、そのような機能はメタ合理性の基盤の上にあると著者は見ている。そして法の支配や民主主義がきちんと整っている社会には、より広い合理性の観点から判断するような仕組みが備わっているとして、著者は下図のように概念図化した(著者の図を一部改編)。

上の図で、ヒューリスティックベースの生活空間には、経験や先入観に基づいて生活する市民、しかも彼らは「私」を大事にする人々で構成されている。メタ合理性ベースのシステムには、議会・内閣・NGOなどの統治の組織で、ルソーの考え方につながる市民的公共性を有する。市民と統治組織の間では、ルソーのところで言及したように、個人の利益と公共の利益とを尊重し、インターラクションが存在する。そして道具的合理性ベースシステムは、巨大IT企業や政府が、人々の行動パターンや嗜好などをビッグデータとして吸い上げて、功利主義的な目的(治安を良くする)の観点から望ましいとして設計したアルゴリズムからなりたっている。道理的合理性ベースシステムは、統治システムであるメタ合理性ベースシステムとのやり取りの中で法的な規制を受ける。また、ヒューリスティックベースの生活空間ともインタラクションを行い、市民からビッグデータを直接吸い上げ、市民的公共性を尊重してアルゴリズムを作成し、それを活用する。

これに対して社会信用システムがこれから幅を利かせるのではないかと思われる儒教的道徳の中国は、下図のようになると著者は概念図化している(ここも一部を改編)。中国では「私」よりも「公」が大切にされるというよりも「私」は儒教的な考え方では、倫理的・道徳的に悪とされる。私利私欲は良いこととは見なされず、これをなくすことが良いとされる(逆に民主主義・自由主義を良しとするところでは、私欲がなければ発展はないと見なす。過ぎることは良くないと個人的には思うが)。「公」を大切にする国あるいは権威主義的な国では、功利主義的な考え方がより強くなる。そのため、道具的合理性ベースシステムとヒューリスティックベースの生活世界との結びつきが強く現れる。さらに功利主義が強い結果、道具的合理性ベースシステムからメタ合理性ベースシステム、すなわち統治システムへの影響も強く受ける。

儒教的な倫理的・道徳的な考え方と功利主義との親和性が良く、道具的合理性ベースのシステムによって人々の生活がコントロールされたとしても、この本のタイトル「幸福な監視国家」のように中国の人々はその恩恵に浴していると感じることの方が多いだろう。また道具的合理性ベースのシステムは、権威主義体制とも親和性が高いので、両者は共進してより堅牢になる可能性も高い。イスラエルの歴史学者ユヴァル・ノア・ハラリは、これから訪れると予想される「データ至上主義」の世界像は上の概念図に近く、これからの世界が権威主義体制になるのではと危惧している。

最後にこの本を読んで危惧したことを述べておこう。上記の概念図は儒教的な考え方と相性が良い。儒教思想では、聖人・君主は超越的に清く正しい人とされ、小人(市民)は彼らによって導かれるとする。上記の概念図で、道具的合理性ベースのシステムを理(宇宙を成り立たせている原理で、聖人・君主のみが知る空間)、ヒューリスティックベースの生活空間を気(混濁とした現実の世界で、小人が住んでいる空間)、メタ合理性ベースのシステムを格物致知(修養に一生懸命に努めることで知を究める空間)とすると、儒教的概念とぴったりと一致する。儒教的なアルゴリズム(AI)で国が運用されることに問題はないのだろうか。儒教が理想とする社会が実現されたことはこれまでになく、小人閑居して不善をなすということもあったし、またさらに悪いことには、聖人・君主が小人のためと偽って悪政を働くこともあった。AIによって生成されたアルゴリズムが幅を利かすようになると、歯止めが利かなくなるのではと心配である。これは「公」を大切にする場合だけでなく、「私」を大事にする場合であっても同じであって、AIによるアルゴリズムは計算の過程を説明してくれない。ただ結果のみを知らせてくれるので、個の利益が阻害されていることが分かりにくくなる。アルゴリズムの生成の中で、市民的公共性をいかに埋め込んでいけるようにするのかが今後の大きな課題である。

箱根駅伝は正月の恒例行事の一つとなっている。テレビにくぎ付けになった人も多かったことと思う。出場校が家族と関係がある場合は特別だろう。駅伝は「公」を大切にするスポーツだと思う。最近は管理が行き届いてきたためか、途中で落後する選手を見かけなくなったが、かつてはチームのためにタスキを繋げなければという意識が強い余り、生命さえもが危ぶまれる事態が起きたこともあった。あちらへフラフラこちらへフラフラと倒れそうになりながら、懸命に前に進もうとした選手を見たことがある。私の周りには熱狂的な人が多いが、私はどちらかというとあまり好きなスポーツではない。仮にもし選手になって走らされる立場になったら、チームからの圧力で押しつぶされてしまうことだろう。

これに対して「私」を大事にするスポーツはテニスだと思う。グランドスラムともなると5時間を超えるような苛酷な場面もあるが、負けたところで、プレーヤーは誰かに対して申し訳ないと思うことはない。すべては自分の実力のなさによるものでストレスを感じることもない。ここまで戦えた自分を誇りにさへ感じることだろう。

脱線したついでにもう一つ。最近の藤井竜王を見て、AIとは異なるアルゴリズムで、差し支えなければ人間らしいアルゴリズムで、彼は将棋をしていると感じている。彼が全てを読み切ったときは、プロでも思いつかないAIと同じ差し手をする。しかし読み切れていないときは、AIが示している手を打たない。AIが示している手は、おそらく剣ヶ峰をずっと歩き続ける状況に似ていて、少しでも踏みはずすと命にかかわるほどに危険なのだろう。そのようなときは、手数は多くなるのだが、精神的な緊張感を強いられない手を選んでいるように思われる。昨年最後の将棋は、相手の戦力を全て奪って、戦う前に勝に導いてしまった。これまでとはまるで異なる戦法であった。AI将棋にも組まれていなかった手である。当然のことだが、状況が変わるとアルゴリズムは変化することを改めて認識させてくれた。

ある倫理観あるいは道徳の下で社会システムをAIで構築することの危険性を、藤井竜王の将棋観からも見出すことができた。今回紹介した本は、AI化された時の民主主義と権威主義の社会システムの概念図を示してくれた。これはこの問題について考える貴重な枠組みを与えてくれるので、良い本に巡り会ったと思っている。