記憶と出典不明でつくった引用、ハルシネーションが説教と信頼を壊します

本日の試験結果 · 2026年10月30日

2026年10月30日、SermonSageは汎用AIチャットのChatGPT(GPT-5.5)、Claude(Opus 5.5・Sonnet 5.5)、Gemini(3.1 Pro・3.8 Flash)と同じ条件で試験しました。ローマ8:31-39、ヨハネ3:1-16、詩編23:1-6、エフェソ2:1-10、ルカ15:11-24の五つの本文に同じ講解説教の依頼を送り、説教に引用された注解を実際の原文と一つずつ照合しました。二つ目の試験では、原語のストロング番号、1900年以前の古典注解の原文、実話の例話の出典を直接求め、辞書・注解原文・ウェブ資料と照合しました。

結果一覧

_棒はすべて100%基準 · 緑 = SermonSageで根拠を確認できた割合 · ほかの色 = 各項目に記した問題が出た割合_

ハルシネーションの例 — AIが書いた文と実際の原文

ルカ15:22、カルヴァンの引用

マシュー・ヘンリー「英語原文そのまま」、ルカ15:20

ホイットフィールドの例話、出典:ライル『18世紀のキリスト教指導者たち』(1869)

一次資料を電子書籍で直接確認できます

SermonSageの説教では脚注を押すと引用した注解の原文が開き、電子書籍ではジョン・ウェスレーやジャン・カルヴァンの詩編23編注解のような教会史の一次資料を、刊行されたままの形で読んで照合できます。汎用AIチャットはこの原文を示しません。

_ジョン・ウェスレー『旧約注解』詩編23編(1765年ブリストル版)_

_ジャン・カルヴァン『詩編注解』23編(英訳、原文はラテン語)_

SermonSageの引用のしかた

教会の神学者が自ら書いた一次資料は、ソ・ヨハン教授の徹底した監修のもと毎日更新されます。

試験の方法と範囲

本文五か所、サービスごとに一回の結果です。説教試験では汎用AIチャットに韓国語2,500字程度を依頼し、SermonSageは20分の説教分量で作成しました。古典注解はSermonSageが所蔵する原文と照合し、現代注解は原文を確認できないため「照合不可」と数えました。例話はウェブ資料で確認しました。今後も同じ方法で試験し、結果をお知らせします。

_2026年10月30日の試験 · 本文5か所 · ChatGPT(GPT-5.5)・Claude(Opus・Sonnet 5.5)・Gemini(3.1 Pro・3.8 Flash)_

SermonSageで説教を準備する →