米国のOpenAI社が開発した対話するAI「ChatGPT」。リリースしてから一週間で100万人を超える利用者を獲得し、巷で話題になっています。テキストで質問を投げかけるとAIが返答してくれるこの「ChatGPT」が、難関資格と言われるアクチュアリー試験に、どの程度太刀打ちできるのかを試してみました。

※この記事は、AIの性能を試すもので、アクチュアリー試験の解説を行うものではない点にご留意ください。

 

１．アクチュアリー１次試験「数学」 vs. AI

 

比較的AIに質問しやすい形式である平成26年の最初の問題をAIに聞いてみました。

 

問題：A、 B、C の3人がこの順番（ ABCABC・・・）で2つのサイコロを同時に投げる試行を繰り返し、最初に2つのサイコロの目の合計が7となった者を勝ちと定める。このとき、Bの勝つ確率は？

AIの解答：

Bの勝つ確率は、全体の勝つ確率の1/3になります。これは、3人が同時にサイコロを投げるため、各人が勝つ確率は等しく1/3になるからです。

さらに詳しくは、2つのサイコロを投げたとき、合計が7となる確率は、以下の6通りのうち1通りであるため、1/6になります。

1つ目のサイコロが1、2つ目のサイコロが6

1つ目のサイコロが2、2つ目のサイコロが5

1つ目のサイコロが3、2つ目のサイコロが4

1つ目のサイコロが4、2つ目のサイコロが3

1つ目のサイコロが5、2つ目のサイコロが2

1つ目のサイコロが6、2つ目のサイコロが1

よって、Bの勝つ確率は1/6 * 1/3 = 1/18となります。

 

Bの勝つ確率が、なぜか２つありますね。最初の解答「1/3」は、サイコロを投げる順序によって勝つ確率は異なるので、明らかに間違っています。「同時にサイコロを投げる」という意味をAIが誤って解釈している模様。ただし、合計が７となる確率は、正しく計算しています。アクチュアリー会の模範解答の以下の部分に対応しています。

 

2つのサイコロの目が7となる組み合わせは、(1,6) 、(2,5) 、(3,4) 、(4,3) 、(5,2) 、(6,1) の6通りであるため、その確率は 6/36=1/6

 

でも、これは最初にサイコロを投げるAが勝つ確率。ABCが順番にサイコロを投げるという題意を読み取れていないAIには、Bが勝つ確率を正しく計算することができず、誤答となっています。

 

ちなみに、正しい答えは30/91です。答えが気になるアクチュアリー受験生は、自力で解いてみましょう。

 

他にもいくつか試してみましたが、正答にたどり着く問題はありませんでした。ということで、AIはまだ日本のアクチュアリー試験「数学」に合格できるレベルには達していない模様です。

 

２．アクチュアリー2次試験 vs. AI

 

知識問題の方が得意かもしれないので、２次試験にもチャレンジしてみました。取り上げてみたのは、いずれも2021年度の問題。生保２次、損保２次、年金２次から、比較的AIに質問しやすい問題をピックアップして、聞いてみました。

 

生保２次のアクチュアリー試験

 

問題：第三分野標準生命表２０１８の作成過程を簡潔に説明しなさい。

AIの解答：

第三分野標準生命表2018は、日本の個人保険協会が作成したものです。その作成過程は次のようになります。

• 年齢別死亡率データを集める。このデータは、厚生労働省が発表する「日本人口死亡率統計」などから取得します。

• 集めた年齢別死亡率データをもとに、各年齢別の死亡率を5歳隔りに分けて平均化する。これにより、5歳刻みの死亡率データを作成します。

• 平均化した5歳刻みの死亡率データをもとに、第三分野標準生命表を作成します。この表は、男女別に分けて作成され、各年齢別の平均余命を示しています。

 

簡潔な解答ですが、色々と間違っていますね。「第三分野」「標準生命表」という専門用語を学習していない様子。日本の専門的知識が必要な問題は、AIにはまだ難しいみたいです。

 

問題：第三分野商品の開発時において、予定発生率作成に用いる基礎データとして、自社データを用いる場合と公共データを用いる場合がある。それぞれのメリット・デメリットを簡潔に説明しなさい。

AIの解答：

自社データを用いる場合のメリットは、社内で得られたデータは自社の独自のデータであり、自社の商品に特化したデータであるため、予定発生率作成においてより適切な基礎データとして活用することができるという点です。

一方、自社データを用いる場合のデメリットは、自社データは自社の商品に特化したデータであるため、業界全体や市場全体を反映したデータではないため、市場や業界の動向を把握することが難しくなるという点です。

公共データを用いる場合のメリットは、公共データは業界全体や市場全体を反映したデータであるため、市場や業界の動向を把握することが容易であるという点です。また、公共データは標準的なデータであるため、比較検討が容易であるという点もメリットとして挙げられます。

一方、公共データを用いる場合のデメリットは、公共データは業界全体や市場全体を反映したデータであるため、自社の商品に特化したデータではないため、予定発生率作成においては不適切な基礎データとして活用することができないという点です。また、公共データは標準的なデータであるため、自社の商品に特化したデータとして活用することができないという点もデメリットとして挙げられます。

 

少し冗長ですが、それっぽい解答ですね。部分点はもらえなくはないかも。でも、「信頼性」「選択効果」「逆選択」など、アクチュアリーとして考慮すべき重要なポイントが欠けているので、合格水準にある受験生の解答のレベルには至っていない、というのが率直な感想です。

 

損保２次のアクチュアリー試験

 

問題：既往症等による被保険者の選択を行わない医療保険において、商品設計および料率設定を行う上で留意すべき事項について説明しなさい。

AIの解答：

既往症等による被保険者の選択を行わない医療保険は、既往症がある健康状態の被保険者を保険することができる医療保険です。このような医療保険において、商品設計および料率設定を行う際に留意するべき事項は次のようになります。

• リスク評価：まずは、既往症を持った被保険者のリスクを評価することが重要です。この段階では、既往症を持った被保険者がどの程度の医療費を支払う可能性があるかを判断し、保険料を設定する際の参考とします。

• プラン設計：次に、既往症を持った被保険者が必要とする医療サービスをカバーするプランを設計します。この段階では、既往症を持った被保険者が必要とする医療サービスを明確にし、それらをカバーするプランを作成します。

• 料率設定：そして、プランに応じた料率を設定します。この段階では、既往症を持った被保険者がどの程度の医療費を支払う可能性があるかを考慮し、保険料を設定します。

• マーケティング：最後に、プランをマーケティングします。この段階では、既往症を持った被保険者が対象となるプランをより多くの人に知ってもらい、保険の効果を高めることが重要です。

 

これもそれっぽい解答ですね。アクチュアリーではない人が答えると、こんな解答になりそうな気がします。「医療費」や「医療サービス」という言葉が出ているので、米国のような実損てん補の医療保険を学習しているような気がします。同じ医療保険と言っても、米国と日本では、対象とする商品スペックが異なります。日本の商品特性を踏まえて解答する、というレベルにはまだ達していない模様です。

アクチュアリー的には、特定の疾病の不担保、保険金額を低めに設定、待機期間の設定等のリスク管理的な要素にも触れてもらいたいところ。ですが、AIはそういったドメイン知識は学習していないみたいです。おそらく、AIは日本のアクチュアリー試験の２次試験のテキストを学習していないんでしょうね。テキストを読まずに解答している、と思えば、悪くない解答かもしれません。

 

次に、リスク管理に関する問題もいくつか解いてもらいました。

 

問題：リスク量を統合する際の分散効果の反映方法に関して、その手法の一つである分散共分散法の概要を述べた上で、当該手法を用いることのメリットとデメリットを説明しなさい。

AIの解答：

分散共分散法とは、複数のリスク量を統合する際に、各リスク量の分散やその間の共分散を考慮して統合する手法のことを指します。この手法を用いることのメリットは次のようになります。

• 分散を考慮することで、リスクの不確実性をより正確に把握することができます。

• 共分散を考慮することで、リスクの間の相関性を把握することができます。

• 統合したリスク量がより正確になることで、より正しいリスク管理が行えるようになります。

• ただし、当該手法を用いることにはデメリットもあります。これらのデメリットは次のようになります。

• 複数のリスク量の分散や共分散を測定することが難しいため、正確な統合が行えない場合があります。

• リスク量の分散や共分散を考慮するため、計算が複雑になることがあります。

• リスク量の分散や共分散を測定するために、大量のデータが必要となるため、データ収集や処理に時間がかかる場合があります。

 

問題：モデルガバナンスの整備で重要となる項目のうち、「データ」と「文書化」の概要について説明しなさい。

AIの解答：

モデルガバナンスとは、数理モデルを適切に開発、運用、管理するためのフレームワークのことを指します。モデルガバナンスの整備において重要となる項目には、「データ」と「文書化」があります。

「データ」については、モデル開発に必要なデータを収集、管理することが重要です。これには、モデルに使用するデータの正確さや最新性、そして、データを適切に管理するためのデータ管理プロセスの整備が含まれます。

「文書化」については、モデル開発や運用における手順や方針を文書化することが重要です。これには、モデルの開発プロセスや運用方針、そして、モデルのアウトプットや結果を記録するためのレポート作成プロセスの整備が含まれます。

これらの「データ」と「文書化」において、モデル開発や運用の品質を確保し、適切な管理を行うことができるようになるため、モデルガバナンスの整備において重要な項目となります。

 

問題：経済価値ベースのソルベンシー評価と我が国の現行のソルベンシー評価において、大幅な金利低下が発生した際にそれぞれの評価結果がどのように異なることが考えられるかを説明しなさい。

AIの解答：

経済価値ベースのソルベンシー評価では、金利変動が資産・負債の全ての価値に及ぼす影響が考慮されます。このため、金利が大幅に低下した際には、資産の価値が上昇し、負債の価値が減少することが考えられます。その結果、経済価値ベースのソルベンシー評価では、金利低下が起こった際に評価結果が大きく異なる可能性があります。

一方で、我が国の現行のソルベンシー評価では、金利変動が資産・負債の価値に及ぼす影響が一定の割合でカットされるように設計されています。そのため、金利低下が起こった際にも、評価結果が大きく異なることはないと考えられます。

 

解答の正否はともかく、「分散共分散法」「モデルガバナンス」「経済価値ベースのソルベンシー評価」という専門的なテーマであっても、物怖じせず果敢に解答を試みるスタンスには好感が持てます。「分散共分散法」と「モデルガバナンス」の問題は、半分くらいの部分点を与えたくなる解答。今後のさらなる学習を期待しています。

 

年金２次のアクチュアリー試験

 

問題：今後、平均寿命・健康寿命の延伸に伴う高齢期の長期化が見込まれている状況において、近年では定年延長・雇用延長を実施することで高齢者の就業促進を図る企業が増加している。このような就業環境の変化や昨今の公的年金制度に関する受給開始時期の変更等に関する法改正事項を踏まえて、老後所得を長期に亘って安定して確保していくための年金制度の望ましいあり方について、どのように考えるか、所見を述べなさい。

AIの解答：

年金制度は、将来の高齢期における健康寿命の延伸に伴う長期化を踏まえて、年金の支給開始時期や支給年限等を見直すことが望ましいです。また、高齢者の就業促進を図るための定年延長や雇用延長の取り組みも重要です。さらに、適切な投資方法や資産運用のアドバイスを提供することで、老後の所得を長期的に安定して確保していくことができるようにすることが望ましいです。また、国民一人ひとりが老後の所得を安定して確保するための年金制度の普及促進や、年金制度への参加率の向上を図ることも検討する必要があります。

 

所見にしては短すぎる解答ですが、このような主張をする人がいてもおかしくないかも、という雰囲気の解答です。「年金制度の普及促進」や「年金制度への参加率向上」について触れてくれているのも、良いですね。ここは加点したいところ。

 

３．CERA試験 vs. AI

 

日本語のハンデがあるかもしれないので、最後に英語のCERA試験をAIで解いてみました。

 

問題：Company Y is a large, multinational life insurer based in Country Z. Company Y does not currently follow ERM principles. The CRO has suggested that the company should do so. Describe the key principles of ERM, using your own words.

AIの解答：

Enterprise risk management (ERM) is a systematic approach that companies use to identify, assess, and manage the risks that they face. The goal of ERM is to help companies understand and manage their risks in a way that maximizes their ability to achieve their objectives and minimize the impact of potential negative events on their operations. Some of the key principles of ERM include:

• Identifying and understanding the risks that a company faces, including both external and internal risks. This involves looking at a wide range of potential risks, such as financial, operational, compliance, reputational, and strategic risks.

• Assessing the likelihood and potential impact of these risks on the company’s operations and financial performance. This involves analyzing the likelihood of different events occurring and estimating their potential impact on the company’s objectives.

• Developing strategies to manage these risks in a way that aligns with the company’s overall goals and objectives. This may involve implementing controls to prevent or mitigate the risks, transferring the risks to third parties through insurance or other means, or accepting the risks as part of the company’s operations.

• Monitoring and reviewing the effectiveness of the company’s risk management processes on an ongoing basis. This may involve regularly reviewing the risks that the company faces, assessing the effectiveness of the strategies put in place to manage these risks, and making any necessary adjustments.

• Overall, the key principles of ERM involve identifying, assessing, managing, and monitoring the risks that a company faces in order to maximize its ability to achieve its goals and objectives.

 

これは良い感じの解答ですね！解答をアウトプットするまでの時間も、英語のほうが格段に早かったです。言語の違いに加え、日本のドメイン知識が不要なユニバーサルな問題であることが、影響しているものと推察されます。

そうだとすると、日本のアクチュアリー試験ではなく、英語圏のアクチュアリー試験で試してみたくなります。（が、記事が長くなるので、また別の機会に）

 

４．アクチュアリーを目指す人へのアドバイス

 

このAIは、アクチュアリー試験を解くのに特化したものではないので、最後に、一般的な質問を３点聞いてみました。

 

質問：アクチュアリーを目指す学生に対するアドバイスは？

AIの返答：

アクチュアリーは非常に魅力的な仕事ですが、それは非常に競争が激しい分野でもあります。そのため、アクチュアリーを目指す学生は、最初から頑張って勉強することが重要です。特に、数学や統計学の勉強が必要です。また、実務経験を積むことも大切です。多くのアクチュアリー事務所では、実務経験がある方を優遇することが多いため、インターンシップやボランティア活動などを通じて、実務経験を積むことができると有利です。さらに、アクチュアリーにおいては、問題解決能力やコミュニケーション能力が重要です。そのため、自分自身が高いレベルで問題解決能力を身につけることができるよう、努力することが重要です。

 

質問：アクチュアリーになった後、CERAを受けるべき？

AIの返答：

CERA（Chartered Enterprise Risk Analyst）は、アクチュアリーが取得することができる国際的に認められた資格です。CERAを取得することにより、アクチュアリーが企業のリスク管理において専門的な知識を有することが認められます。そのため、アクチュアリーになった後、CERAを受けることは非常に有益です。また、CERAを取得することで、アクチュアリーとしての専門性や競争力が高まることが期待できます。

 

質問：アクチュアリーになった後、データサイエンスの勉強もすべき？

AIの返答：

アクチュアリーとデータサイエンスは、非常に密接に関連している分野です。アクチュアリーは、リスク管理や保険におけるデータ解析を行うことが多いため、データサイエンスの知識があると、より良い結果を出すことができる可能性が高まります。また、現在は、データサイエンスが欠かせない分野となっており、アクチュアリーにおいてもデータサイエンスの技術が求められるようになっています。そのため、アクチュアリーになった後、データサイエンスの勉強をすることは非常に有益です。

 

AIが言うように、アクチュアリーは魅力的な仕事です。問題解決能力やコミュニケーション能力も必要です。「努力することが重要です」という言葉も胸に響きます。AIがCERAのことを知ってくれているのも嬉しいですね。「アクチュアリーになった後、CERAを受けることは非常に有益です」とAIも言ってくれています。アクチュアリーとデータサイエンスは、非常に密接に関連しています。アクチュアリーもデータサイエンスの技術が必要です。さらなる高みへ。新たな分野に興味を持つ若手の背中を押してくれる、そんな雰囲気を感じる返答です。

 

今週は、アクチュアリー試験が行われますね。試験が終わったあとはその余韻に浸りながら、AIに解答を聞いてみてもよいかも。本記事が、試験後の次の目標を設定するきっかけになれば幸いです。

 

（ペンネーム：ceraverse）