文字起こしエンジンは、弱点の出る場所が違う
片方は言葉を正確に書くが話者を潰す。もう片方は話者を分けるが言い換える。同じ音声で測ると弱点が綺麗に分かれました。どちらもプロンプトでは直らなかった話と、道具を選ぶときに見るところを書きます。

話者分離が崩れる問題に、エンジンを替えれば直ると考えていた時期がありました。実際に測ってみたら、そう単純ではありませんでした。
同じ会議の音声を、2つのエンジンに通した結果です。条件を揃えて比べないと、どちらが強いかは見えません。
| 語(本文) | 話者 | |
|---|---|---|
| エンジンA | 言い換えなし | 3ラベル(7人を3人に潰した) |
| エンジンB | 言い換える | 6ラベル |
弱点が綺麗に分かれました。片方は言葉を正確に書くが話者を潰し、もう片方は話者を分けるが言葉を言い換える。どちらを選んでも、何かを失います。
プロンプトでは直りませんでした
まず、指示で直せないかを試しました。エンジンBの言い換えに対して、「聞こえたとおりに書け」「言葉を置き換えるな」と明示しました。結果、フィラーの脱落と字数は改善しましたが、肝心の言い換えは残りました。
具体的には、3か所に出てくる「お世話になります」が、3回とも「お疲れ様です」のままでした。これは指示を理解していないのではなく、よくある言い回しへ引き寄せる聞き取り側の癖です。プロンプトから触れる場所がありません。
エンジンAの話者の潰れについても打つ手がありませんでした。用意されているのは「話者分離を使うかどうか」の切り替えだけで、人数を渡す手段がない。「5人です」と教えることができません。人数が分かっていても活かせない、というのは意外と知られていない制約です。
どちらの弱点が痛いかは、会議による
選ぶときに効くのは、自分の会議でどちらの弱点が痛いかです。
| 会議 | 痛いのは |
|---|---|
| 議事録として配る・記録に残す | 言い換え。言っていない言葉が記録に入る |
| 誰が何を言ったかが要る(商談・面談・調停) | 話者の潰れ。担当や約束の主体が分からなくなる |
| 自分用のメモ、1対1 | どちらもあまり痛くない |
社外との約束が絡む会議では、言い換えのほうが後で効いてきます。「検討します」が「前向きに進めます」に変わっていたら、記録として使えません。逆に、社内の情報共有なら多少の言い換えは許容できて、それより誰の発言か分かるほうが役に立ちます。
「精度が高いエンジン」は、あまり意味のある情報ではない
道具を選ぶ側の話に戻すと、この経験から言えるのは1つです。上の表のとおり、どのエンジンにも弱点があり、それは会議の条件によって出たり出なかったりします。「最新のエンジンを使っています」「精度◯%」という説明からは、自分の会議で何が起きるかが分かりません(精度は3つある)。見るべきは、外れたときに別の手が用意されているかです。1回処理して終わりの設計だと、崩れた結果をそのまま受け取ることになります。
- 話者が崩れたときに、別のやり方で起こし直せるか
- 話者ラベルをあとから人が統合・変更できるか
- 文字起こしをそのまま読み返せる形で取り出せるか
Recoryには、話者が崩れたときに別のやり方で聞き直す機能を用意しています(「ハイブリッドで聞き直す」・スタンダードプラン以上)。既定では動きません。うまく分かれている会議に使っても、利用時間の枠を余分に使うだけだからです。
直せる崩れと、直せない崩れ
最後に整理しておきます。話者の崩れ方には2種類あって、片方は直せて、片方は直せません。
- 割れ(5人が6ラベルになる)——人が統合できます
- 潰れ(5人が3ラベルになる)——元の情報が失われているので戻せません
上の実測でも、5人の会議に6ラベルが出ています。割れているぶんは直せますが、正確ではありません。種類ごとの見分け方と対処は実測した記事にまとめました。
エンジンごとの弱点が何に効くかは、工程の分かれ方を知っていると読みやすくなります。話者の取り違えは1段目、要約の歪みは2段目で、直し方も別です(AI議事録とは何か)。
長い会議を区切って処理するときに話者が入れ替わる問題は別の記事に書いています。
よくある質問
文字起こしエンジンによって得意不得意はありますか
あります。同じ音声で測ったとき、片方は語を正確に書き起こす代わりに7人を3人に潰し、もう片方は話者を6つに分ける代わりに言い回しを言い換えました。どちらが優れているかではなく、弱点の出る場所が違います。
話者分離の精度はプロンプトで改善できますか
できないことがあります。言い換えについては「聞こえたとおりに書け」「置き換えるな」と明示しても、同じ箇所が3回とも言い換えられたままでした。指示の問題ではなく聞き取り側の癖なので、外から触れる場所がありません。
話者の人数をエンジンに教えることはできますか
多くの場合できません。用意されているのは話者分離を使うかどうかの切り替えだけで、「この会議は5人です」と渡す手段が無いものがあります。人数が分かっていても、それを活かせません。
話者分離が外れる2つの壊れ方。片方は直せて、片方は直せない
「精度98%」は何の数字か —— AI議事録の精度は3つある
長い会議で、話者が途中から入れ替わる理由