「KH Coderを用いた形態素解析」を12年ぶりにやり直してみたら、一人で頑張るツールからAIと分担するツールに変わっていた

2014年の年末、KH coderを用いた形態素解析その2という記事を書きました。当時の自分は「無料のフリーソフトなのにここまでできるのか」と興奮しながら、Twitterの「#金曜ロードSHOW!」ツイートや東海大学の授業評価・大学新聞をKH Coderに突っ込んで、抽出語リストや共起ネットワークを眺めていました。記事の最後には「これをカスタマイズするためにPerlとRを覚えたくなるレベル」と書いており、当時の自分にとってKH Coderは「便利だけどブラックボックス」なツールだったことが伝わってきます。

あれから12年。KH Coderは今どうなっているのか、そして生成AIが当たり前になった2026年にテキストマイニングをやるとしたら何が変わるのか。今回はWebSearchの代わりにNotebookLM CLIのDeep Research機能を使い、開発者・樋口耕一先生の最新の発信や学会発表、KH Coderの公式更新履歴、ユーザーコミュニティの議論などを調べてみました。

1. KH Coder自体も「無料ソフト」から卒業していた

まず驚いたのが、KH Coderがもう純粋な無料フリーソフトではなくなっていたことです。2014年当時使っていたKH Coder 2系はGPLベースの完全無料ソフトでしたが、その後継であるKH Coder 3が正式版としてリリースされ、株式会社SCREENアドバンストシステムソリューションズによる販売(有償化)が始まっていました。とはいえ、いきなり有料化されて使えなくなったわけではなく、無料で試せる「Starting Edition」と、教育機関向けの「授業用ライセンス」が用意されていて、間口自体は残されています。

3つのエディションの違いをざっくり整理するとこうなります。

エディション 特徴・制限 想定用途
Starting Edition 無料のデモ版。分析対象のデータ件数や品詞選択に制限がある 個人の学習、小規模データでの試用・デモ
Official Package Base Edition 有料(個別見積り)。件数制限なく全機能が利用可能 論文執筆や学術調査、企業の本格的な業務分析
授業用ライセンス 教育機関向けの有償プラン。受講生は無料で使えるケースもある 大学のゼミ・演習など多人数での教育利用

開発者の樋口先生自身も、GitHub上のディスカッションで「他者に見せる、あるいは論文として出版するような重要な分析には、サポートの切れたベータ版ではなく製品版(Production version)を使ってほしい」と回答しており、フリーソフト時代とは少し違う”プロダクトとしての責任”を感じているのが印象的でした。ちなみにKH CoderはWikipediaに単独の項目が立つほど普及しており、3,500本以上の学術論文で使われてきたツールだそうです。2014年の自分が「便利すぎる」と驚いていたのは、そこまで的外れな感想でもなかったようです。

2. 2014年に詰まっていたポイントは、今どうなったか

旧記事を読み返すと、当時の自分は3つのことでつまずいていました。「utf-8データをshift-jisに変換したら文字が消えた・変換された」「顔文字やネットスラングが辞書に登録されておらずバラバラの単語になった」「RTや同一人物の連投でデータが水増しされる」の3つです。この12年でどのくらい解消されたのか、Deep Researchの結果を旧記事の内容と突き合わせて表にしました。

比較項目 2014年(旧ブログ記事時点) 2026年(生成AI併用環境)
対象データ Twitter(旧検索API)や大学新聞・口コミサイトなど、無料で大量収集できたテキスト SNSはAPI有料化で収集ハードルが上昇。代わりにWebニュースや非定型な大規模文書が対象になりやすい
文字コード対応 Shift-JISが基本。UTF-8からの変換が必要で、文字化けやデータ欠落が発生していた MeCabのUnicode対応が進み、文字化け問題は大きく軽減
辞書対応 MeCab標準辞書に依存。顔文字・ネットスラング・固有名詞の分割誤りが課題(「どんぐりハウス」が「どん」に分割される、等) NEologd等の追加辞書整備が進み、新語やSNS表現もある程度は解析可能に
コーディングルール作成 チュートリアルを参考に「死ぬ or 殺す or 亡くなる」のような条件式を手探りで作成 生成AIにコンセプトを相談しながら条件式の設計案を出してもらい、効率的に作成
AIとの役割分担 AIは未登場。操作も解釈もすべて自分ひとりで行う段階 KH Coderが「客観的な集計」を担当し、生成AIが「前処理・意味づけ・考察の下書き」を担当する補完関係

2014年の手作業ワークフローと2026年の生成AI併用ワークフローを比較した図

文字コードと辞書の問題は、ソフト側の改善で素直に楽になっていました。一方で「水増しデータ」の問題は、形を変えて今も残っています。2014年はRTの連投が悩みの種でしたが、2026年はSNSのAPI課金化そのものがデータ収集の壁になっていて、「安く大量に集められた牧歌的な時代」自体が終わってしまった、というのは別の記事でも触れた通りです。

3. KH CoderはAIに置き換えられたのか?

ここが今回いちばん気になっていた点です。「形態素解析からLLMの時代になって、KH Coderのようなツールは要らなくなったのでは?」と予想していたのですが、調べてみると実態は逆でした。

樋口先生自身が発表している「KH Coderによって再現可能性を維持しつつ生成AIから解釈のヒントを得る計量テキスト分析」というテーマや、日本マーケティング学会での川上成年氏による「KH Coder分析への生成AIの活用について」という報告からは、KH Coderを生成AIで置き換えるのではなく、役割を分担するという考え方が広がっていることが分かります。20世紀初頭の英国新聞のテキスト分析事例では、次のようなプロセスが紹介されていました。

  1. OCR精度の低い古い新聞記事を、生成AIでテキスト化・誤字修正する
  2. 大規模データの一次分類(記事の論調の分類など)を生成AIに担当させる
  3. その分類や解釈が妥当かどうかを、KH Coderの頻度分析・共起ネットワーク・対応分析といった客観的な統計手法で検証する

この事例の報告者は「生成AIは歴史新聞資料のテキスト化や大規模データの予備的分類において一定の有用性を示す一方、理論的に精緻なフレーミング分類の完全自動化には限界がある」とも述べています。つまり、生成AIは便利だけれど、それだけで結論を出すのは危うい。KH Coderのような「誰がやっても同じ数字が出る」再現可能な集計が、AIの解釈が暴走していないかを確認する”客観的なものさし”として、むしろ生成AI時代だからこそ価値を持ち直している、というのが今回の一番の発見でした。

4. コーディングルールも、AIと相談しながら作れる時代に

2014年の第2回記事では、東海大学新聞のテキストから「学校関連」「体育関連」「工学系関連」「性別」という4つのコンセプトを、キーワードを一つずつ拾い集めて条件式にする形で手作業で定義していました。「学生 or 高校 or 校舎 or 大学 or 教授 or 学部 or …」と延々と単語を並べていたのを見返すと、地味にしんどい作業だったんだろうなと当時の自分に同情します。

2026年であれば、この「コンセプトをどんな単語群として定義すべきか」の叩き台を生成AIに相談しながら詰めていく、という進め方が現実的です。ただし、KH Coderは単語の活用形を自動的に認識してくれる(「they」を指定すれば活用形も含めて拾ってくれる)仕様のため、AIが提案した条件式をそのままコピーするのではなく、KH Coder側の仕様に合わせて調整する一手間は変わらず必要なようです。ここは「AIに丸投げ」ではなく「AIに相談しつつ、最終的な検証はKH Coderの数字で行う」という3章の話とつながってきます。

5. まとめ ― 12年前の自分への返信

2014年の自分は、KH Coderの便利さに驚きながら「これをカスタマイズするにはPerlとRを覚えなければ」と書いていました。12年経った今、Perlはともかく、Rの代わりに生成AIというもう一つの武器が加わったのは間違いありません。ただし今回調べて分かったのは、生成AIが加わったからといってKH Coderの出番が減ったわけではなく、むしろ「AIの解釈を鵜呑みにしない」ための検証役として、再現可能な集計を淡々と返してくれるKH Coderの価値が上がっている、ということでした。

2014年の記事では「炎上ツイートなどSNS特有のノイズは、逆に取り入れた方がいいのかもしれない」という迷いを書いて締めくくっていましたが、2026年の今なら、その”ノイズをどう解釈するか”の部分こそ生成AIに相談し、そのうえでKH Coderの数字に立ち返って確認する、という往復ができそうです。次にKH Coderを触るときは、Starting Editionで構わないので、実際に手元のテキストで「AIに条件式を考えてもらい、KH Coderで検証する」というワークフローを試してみたいと思います。