生成AIを検証してみた件 ~読み込んだテキストデータを参照し正しく答えられるか？~

こんにちは。PS事業部のしゃるたんです。
今回の検証はChatGPTに学習をさせないで、読み込んだテキストデータを参照して正しく回答できるかを検証しました。
一般的にデータ読込みは、下記図のRAGという技術を用いて生成AIの精度を上げていきますが、今回はプロンプトのみを使った検証となります。
今後、検証箇所を広げてまいります！

さて、今回の検証は、テキストデータにまとめた情報をChatGPTに読み込ませた上で、いくつか質問をします。その質問に対して、テキストデータの情報を元に正しい答えを割り出せるかを検証します。

【はじめに】弊社就業規則を読み込ませ、いくつか質問をする

検証には弊社の就業規則を使用します。
弊社の就業規則をテキストデータに（メモ帳へ転記）して、いくつか質問を行い、正しい回答を得られるか試してみます。
ちなみにEXCELやワード、PDFファイルも読み込みは可能ですが、私は無償版を利用しているため、直ぐに制限が掛かってしまうことからテキストで試します。

ネットにない情報で検証の精度を上げるために、入念にチェック

早速、ファイルを読み込ませたいと思いますが、その前に！！
会社名や固有名詞をマスキングします。
他にも微妙な文章などは削除、削除、削除っと♪
さすがに就業規則には一般的な内容しか記載されていませんでしたので、編集箇所は少なかったでしたが、それでも何度もチェックしました(*'▽')ｶﾞﾝﾊﾞｯﾀ
細心の注意を払ってまで社内資料を読み込ませなくてもよくね？って思われそうなのですが、ネットにない情報で検証したかったというのが一番の理由ですね。

それではレッツ検証た～いむ♪

就業時間を聞いてみた

先ずは簡単な質問からはじめていきます。

就業時間を労働時間とし、正しく回答

＜就業規則-抜粋-＞

”就業”時間を”労働”時間に置き換え、正しく１日の労働時間を回答してもらえました。それではもう少し難しい質問をしてみましょう

アクシデントによる休暇はどうなるか、聞いてみた

驚きの理解力で正しく回答

＜就業規則-抜粋-＞

いとも簡単に休職期間は最大6ヵ月という回答を頂きました。今回の質問は２つのポイントがありました。1つ目は入社3年目、2つ目はスキーで骨折して入院というキーワードです。

『入社3年目＝勤続1年以上5年未満』という判断は、人間であれば簡単な判断ですが、この条件をプログラムするのは容易ではありません。条件自体は簡単ですが”入社”というキーワードを”勤続”に置き換えるのは、今までのシステム開発では至難の業です。また、『スキーで骨折して入院＝業務外の傷病による欠勤』という理解力もハンパではありません。

マイナンバーの用途について聞いてみた

さて次の質問にいきましょう。

今度はマイナンバーの用途を聞いてみました。一般的な質問は余裕ですね。

マイナンバーの用途も正しく回答

＜就業規則-抜粋-＞

テキストデータにない情報を聞いてみた

さて、最後の質問は、就業規則に載っていないことについて質問してみました。

ChatGPTから説教されました(/・ω・)/ｽﾏﾝ

おっしゃる通りです('ω')ノ('ω')ノ('ω')ノ('ω')ノ

【まとめ】読み込んだ内容について、ほぼ正しく答えられた

今回はチャットボットのようにChatGPTが使えるのか調査してみました。ご紹介はできていませんが、他にも10以上の質問をしていまして大半の回答が正しかったです。

データにない情報も「分かりません」ではなく、何かしら回答をしてくる

ただ気になったのは、最後の質問のように読み込んだデータに載っていない内容について、「分かりません」という回答ではなく、間違っていても何かしらの回答をしているという点です。虚実が入り混じっているという点はネットらしさもありますが、どこかAIというより人間らしさを感じられました。

この記事を書いた人

【ニックネーム】しゃるたん
【経歴】入社23年目です。最初の10年は大手証券会社の約定報告システムの開発・保守を担当しました。その後、別の大手証券会社で9年ほどシステム部門で社員代替として、ユーザー部門からの相談に乗ってシステム起案したり、ベンダーとの橋渡しを行いました。単にユーザー要求をベンダーへ依頼するということではなく、ユーザー・ベンダーそれぞれとって最適で価値のあるシステムを一緒に考えて提案することが大変でした。
証券業務に約19年間従事した後、開発本部長として自社の開発部門を3年間取り仕切りました。直近では自社サービスの開発に係る業務や、開発の新機軸を探るための検討を行っています。
【得意な言語】VBA、C
【趣味】ゲーム、漫画
【一言】モンハンの新作とドラクエ３のリメイクが楽しみです(≧▼≦)ﾜｯﾌ-ｲ