Recory ノート ダウンロード
選び方と比較

「精度98%」は何の数字か —— AI議事録の精度は3つある

各社が出す精度の数字は、3つあるうちの1つしか測っていません。残り2つには数字が出ず、しかも実務で困るのはそちらです。自分の会議で3つとも測る手順をまとめました。

比較記事を読んでいると、必ずこの数字が出てきます。

「文字起こし精度98%」私はこれを見るたびに、何の98%なのかを確認するようにしています。だいたいの場合、実務で困っている部分は測られていません。

文字の正解率何%が正しく書けたか固有名詞の正解率社名・製品名が合っているか話者の分離誰の発言か分かるか
「精度」と呼ばれているものは3つある。混ぜると読めない。

精度は、3つの別のものが1語になっている

議事録が「正確でない」と感じるとき、原因はこの3つのどれかです。

何が合っているか数字が出るか
1. 文字音が正しい文字になっているか出る(各社が出しているのはこれ)
2. 話者誰の発言かが正しく分かれているか出ない
3. 中身議事録が事実を曲げていないか出ない

各社が競っているのは1番です。そして、1番はもう差がほとんど付きません。

1番で差が付かなくなった理由

この記事の主旨をそのまま自分に当てはめるところから始めます。以前ここには「単語誤り率(WER)4.9%という数字がよく引かれる」と書いていましたが、これは間違いでした。4.9%はGoogleが2017年のGoogle I/Oで発表した英語の数字で、日本語でもなければ会議でもなく、しかも9年前の値です。「その数字は何を測ったのか」を主題にしている記事が、自分でそれを取り違えていたわけで、お詫びして訂正します。

正しくは、日本語ではWER(単語誤り率)よりCER(文字誤り率)が実質の標準です。日本語は英語のように単語が空白で区切られないため、単語単位で数えると集計が安定しません。WERとCERの数字は互換ではないので、比べるときは指標を揃える必要があります。公開されている実測を並べると、幅の広さが見えてきます。

出典指標結果
個人の検証(4エンジン・電話相当の音質)CER0.16〜4.9%
研究機関の検証(9モデル・専門用語を含む音声)WER0.33〜0.87(33〜87%が誤り)

同じ「精度」という言葉でも、条件次第で桁が変わります。カタログにある「98%」は静かな環境での上限値で、実際の会議はこの表の右側に寄っていきます。空調が回っていて、椅子が鳴って、5人が同時に喋る部屋は、測定に使われた条件とはまったく違うからです。実務では5〜10%落ちると見ておくのが妥当でしょう。

そしてここが肝心なのですが、この落ち方はどのサービスでもだいたい同じです。各社が使っている音声認識の基盤は数えるほどしかなく、同じ土台の上に載っています。同じ音を渡せば似た結果が返ってくるので、1番だけを見て製品を選ぶと、ほぼ差の無いところで比べていることになります。

2番と3番に数字が出ない理由

話者分離には、実は指標があります。DER(Diarization Error Rate)といって、研究機関の比較では普通に公表されているものです。問題は、その数字が会議ごとに激しく振れることのほうにあります。ある研究機関の実測では、同じモデルが討論の音声でDER 9.19%だったのに対し、話者14人のドラマでは27.41%まで落ちました。別のモデルは日本語で64.91%です。3倍の開きが、モデルの違いではなく音源の側から出ています。

つまり、研究のベンチマークは公表されているけれど、あなたの会議でのDERは誰も知らない。だから製品は「話者分離精度◯%」を出しません。出したところで再現の保証がないからで、この振れ幅の大きさこそが、話者分離を数字で選べない理由です。

要約が事実を曲げていないかについては、そもそも測る方法がありません。正解の議事録というものが存在しないからです。同じ会議から10人が議事録を書けば10通りになりますし、何を残すかは判断であって正解がない。採点する基準が無いものは、測りようがないわけです。

そして実務で本当に困るのは、この2つのほうです。文字が数%間違っていても、たいていは読めば意味が通ります。「御社」が「音叉」になっていても、文脈で分かる。ただし数字と固有名詞だけは例外です。

ある製品の公表値では、同じシステムで文字正解率90.8%に対し、数字の認識率は80.3%でした。10ポイントの差があります。そして数字の誤りは読み流せません。「急に現場トラブルで」が「92現場トラブルで」になった実例が報告されていますが、金額・数量・期日は文脈から復元できないからです。固有名詞のほうは復元できるものの、今度は気づけません。社名が似た別の語になっていても、文としては成立してしまうためです。

担当者が入れ替わっている議事録に至っては、読んでも気づきようがありません。そして気づかないまま、間違ったほうの人に宿題が振られていきます。

自分の会議で3つとも測る

カタログの数字を読み比べるより、自分の会議を1本測るほうが早いです。しかも3つとも、同じ1本の録音で確かめられます。

1番(文字)を測る。 全体の正解率を数えるのは大変なので、固有名詞だけ見てください。社名・商品名・人名を10個選んで、いくつ正しく出たかを数えます。一般的な単語はどこのサービスでもだいたい合うので、差が出るのは固有名詞のところだけです。ここが弱いようなら、単語を登録できる機能があるかを確認しておくといいでしょう。

2番(話者)を測る。 参加者の人数と、出てきた話者ラベルの数を比べるだけです。5人の会議で3ラベルなら「潰れ」、6ラベルなら「割れ」で、この2つは意味がまったく違います。割れているぶんは人が統合できますが、潰れたほうは直せません。どの発言が別人のものだったかという情報が、出力に残っていないからです。この違いは実測した記事に詳しく書きました。

3番(中身)を測る。 議事録の中から、いちばん重要な1行を選んでください。決定事項か、金額か、期限が入っている行です。そして、その根拠になった音声の場所に戻れるかを試します。戻れるなら疑わしいときに確かめられますが、戻れないなら、その議事録は全部信じるか全部聞き直すかの二択になります。そして実際には全部信じることになるので、間違いはそのまま通っていきます。

測ってみると分かること

この3つを実際にやってみると、1番はどこも似たような結果で、2番と3番で大きく割れることが見えてきます。

私が試した範囲では、2番がとくに厳しい結果でした。同じ会議の録音でビットレートを上げても、5人が3人にまとまる結果は1行も変わりません。同系統のエンジンの非同期モデル5種類すべてに通したときも、全部が同じ3ラベルで、行数の内訳まで一致しました。音を良くしても、モデルを替えても動かないわけです。理由ははっきりしていて、声はちゃんと聞き取れているのに、似た声を同じ人だと判断しているから。入り口の音を良くしても、判断のほうは変わりません。

これは買う側にとって、むしろ朗報だと思っています。1番で悩む必要がなくなるぶん、見るべきところがはっきりするからです。

だから、選ぶ基準はここになる

精度の数字ではなく、外れたあとに何ができるかで選ぶほうが実用的です。

  • 話者が潰れたとき、別のやり方で起こし直せるか
  • 議事録の行から、音声の位置に戻れるか
  • 固有名詞を登録して覚えさせられるか

3つとも「精度」の話ではなく、精度が足りなかったときの話です。そして精度は必ず足りません。私たちが実際の会議で測ったとき、1時間の文字起こしは約34,500字ありました。仮に誤りが5%なら約1,700か所です。「90〜95%」という数字を字数に直すと、そういう規模になります。

Recoryは、この3つに対してこうしています。話者が潰れたときは「ハイブリッドで聞き直す」で別系統のエンジンに通し直せます(有料プラン・利用時間を3倍消費)。議事録の各行から音声の位置に戻れます。固有名詞は事前に登録できます。

必ず直るとは限りません。上に書いた実測は1本の録音での結果です。それでも、打ち直す手が残っているかどうかは、実務では大きい差だと思っています。

「精度が低い」と感じたときに、原因を5つに分けて当てはめる記事も別に用意しました。多くは録音の側で決まります。

精度の説明を鵜呑みにせず候補を絞る手順は4つの質問にまとめました。


議事録の中身をどこまで信じるかはAIが書いた議事録は、どこまで信じていいかに、道具の全体像は対面の会議を録る道具にまとめました。

よくある質問

AI文字起こしの精度は実際どのくらいですか

日本語では90〜95%程度が実勢です。静かな環境で1人がはっきり話す条件なら95%に近づきますが、複数人の会議や専門用語の多い場面では下がります。各社が挙げる98%はクリーンな音声での上限値で、実際の会議環境ではそこから5〜10%低くなるのが一般的です。

精度の高いサービスを選べば議事録は正確になりますか

なりません。公表されている精度は「音を文字にする正確さ」だけを指していて、誰の発言かを正しく分けられるか、要約が事実を曲げていないかは含まれていません。実務で困るのはむしろ後者の2つです。

自分の会議での精度はどうやって測ればよいですか

1本の録音で3つとも測れます。固有名詞がいくつ正しく出たかを数える、参加者の人数と出てきた話者ラベルの数を比べる、議事録の1行を選んで音声の該当箇所に戻れるかを試す。この3つで、カタログの数字より実態が分かります。

無料で3会議ためす登録もカードも不要・iPhone専用 試す