規制業種のためのInterpretable AIモデル

推論モデルは、考えていることをいつも言うとは限りません。私たちのモデルは言います。

研究論文
推論モデルは、考えていることをいつも言うとは限りません
Anthropic
論文を読む →
利用者

規制業種のために

€ 保険の引受審査と保険料設定

保険料の計算ごとに、その裏にある項目とクエリを確認できます。

信用スコアリング

審査担当者は、申請データから結果がどう計算されたかを確認できます。

医療と給付の受給資格判定

適格性の判定ごとに、使われたルールと行を確認できます。

なぜ解釈可能性か

生成AI

Interpretable AI

ブラックボックス

ブラックボックス

生成AIは、インターネット上のすべての文章を読み、色を「見る」ための内部表現を自分で選んだ宇宙人のようなものです。この表現は次元と呼ばれ、私たちにはその意味がわかりません。光の周波数が次元かもしれないし、私たちには理解できない何かかもしれません。私たちが話しかける言葉をどう解釈しているのかもわかりません。

理解できる

理解できる

人間は、目にある3種類の錐体を通して、茶色を赤、緑、青として見ています。Prereasonerも同じようにトレーニングされています。その次元は、国や通貨といったschema.orgのプロパティにちなんで名づけられています。だから、質問と回答を私たちのモデルのそれらのプロパティまでたどれるのです。

予測できない

予測できない

生成AIは、次に来る可能性が最も高い単語を予測します。1回目はある単語を、2回目は別の単語を選ぶことがあります。チャットボットではそれが人間らしさになります。でも財務計算では、同じ質問で違う数値が返ってくることを意味します。

予測できる

予測できる

Prereasonerは、質問を「FRANCE」の「SALES」の「SUM」のような名前つきの次元に変換します。これを決定論的にSQLクエリやPythonコードに変換します。実行すると、データベースやコードが数値を計算します。同じデータなら、同じクエリと同じ答えが得られます。

選ばれる理由

信頼度スコアではなく、名前つきの次元

次の単語を予測する信頼度スコアは理由になりません。Prereasonerは、実行したSQLクエリ、そのクエリを選んだ理由、回答の裏にある行を表示します。確認する人は各ステップと計算をチェックして、回答を受け入れるか却下するかを決められます。

信頼度スコアではなく、名前つきの次元
代理項目はクエリの中に隠れられません

代理項目はクエリの中に隠れられません

中身の見えないモデルは、住所や、誰も確認できない別の代理項目をもとに保険料を決めることがあります。ここでは数値はクエリから出てきます。ある列が絞り込み、結合、計算に使われていれば、それはSQLに表れるので、確認する人が見つけて問いただせます。

透明性はソースまで続きます

エンジンはApache 2.0で、重みも公開されています。コードを見れば、各次元がどう定義され、モデルがどうトレーニングされたかがわかります。監査担当者は、モデルの推論の仕方について私たちの言葉を信じる必要はありません。推論のステップも、私たちのソースコードも読めるのです。

透明性はソースまで続きます
審査担当者が確認できること
審査担当者に必要なもの生成AIPrereasoner
判断の理由を説明する正確とは限らない、生成された説明導出の過程そのもの:SQLクエリ、手順、行
監査人のために回答を再現するサンプリングによって変わることがあります同じデータと設定なら同じクエリと回答
結果を左右した項目がわかるモデルの内部からは見えない使われた列はすべてクエリにあります
数字の出どころがわかるモデルが書いたもの行からデータベースが計算
データで答えられない質問に対応するそれでも答えてしまいがち対応しているケースでは確認を求めます
規制対象のデータを自社のクラウドに保管ベンダーによる自社のクラウドプロジェクトでセルフホスト可能

製品

CSVデータのための構造化RAG

ベクトルRAGは「フランスでの売上」に類似性で答えるので、Strasbourgの隣にあるドイツの町Kehlがフランスとして数えられることがあります。構造化RAGは都市の列をWikipediaの国のテーブルにつなぐので、質問は読めるSQLの結合になります。

ParisとStrasbourgはFranceに、BerlinはGermanyにつながっています。KehlはStrasbourgの隣にあり、2つの国の間に疑問符がついています。
Prereasonerをクローンして自分のクラウドプロジェクトにデプロイしているターミナル

オープンなエンジンを自分のCPUで動かす

ホスティングされたモデルは、ベンダーが勝手に変えられます。PrereasonerのApache 2.0のソースとオープンな重みはCPUで動きます。ガイドつきのスクリプトで、自分のGoogle Cloudプロジェクトにデプロイできます。

Microsoft Excelのデータについて質問

AIがどうやって数値を出したのか見えなければ、確認できません。普通の言葉で質問すれば、回答にはシートで実行したクエリがついてきます。

行とクエリつきのExcelの回答
計算と回答つきの、Google Sheetsについての質問

Google Sheetsのデータについて質問

AIチャットは、計算過程なしで数値だけを返します。Google Sheetsに普通の言葉で質問すれば、回答がどう計算されたかをステップごとに確認できます。

無料で始める

数字の誤りが責任問題になるなら、推測するAIは使えません

Prereasonerは、すべての回答の裏にあるクエリと行を表示します。