TECHNOLOGY
最新の自然言語処理(NLP)と自然言語理解(NLU)を
ハイブリッドした知識駆動型AI
30年以上に亘って蓄積された単語概念知識DBと意味共起知識DBと、
最先端アルゴリズムによる言語理解エンジンによる、革新的な言語理解技術により、
文章を解析し、統計処理するだけでなく、
感情・感性や意図を理解することが可能になりました。
ILUのハイブリッド方式
知識駆動型AI
NLP自然言語処理
ILUのNLPでは、形態素解析(単語解析)、
構文解析、格構造解析を実行し、
様々な統計処理や機械学習を行います。
特に、機械学習においては、
常にエンハンスしている学習データ(=ILU単語概念知識)を利用するので、
一般的な機械学習よりも初期段階での高精度を実現しています。
NLU自然言語理解
自然言語理解では「こう感じる」という感情・感性理解に加えて、
「こうしたい」という意図を理解することが必要不可欠になり、
この点がNLPとの差異となります。
この高度理解処理では、数百億以上の大規模意味共起知識を利用するので、
常識判断や専門知識などを
大量かつ高度な学習データを収集・構築することなく、
低コスト・短時間で高精度な自然言語理解処理を実現します。
ILUの「知識」は、約7.6万種類の単語知識概念と約400億パターン以上の意味共起知識の組合せにより、感性・感情知識、分野知識、意図知識などを構成しています。ILUでは上記大規模知識を活用する多種のアルゴリズムをライブラリ化しており、これらを組み合わせて目的に即した処理を行います。知識駆動型AIとは、大規模知識を活用する(駆動する)ことを語源としており、Knowledge-Driven AI, Knowledge-Based AI 意味します。ライブラリ群はS3(Semantic Substance Sampler)と呼ばれ、形態素解析、格構造解析、感情・感性理解、意図理解、対話理解、文章生成、文章要約など、その種類は多岐に亘ります。
言語処理への要望と問題 -原因と解決方法
字面上の「直接的意図」と、
字面上で読み取れない文意「間接的意図」を理解する
知識駆動型AIエンジンと知識DB(抜粋)
ライブラリ化された、
「知識」を制御するための様々なアルゴリズム
この知識駆動型AIを商用化するにあたり、最も重要なことは、知識種類と知識量が増加しても、安定的に実時間処理できることです。この屋台骨を支えているのが、創業者である青江の研究成果であり、世界中で探索処理や形態素解析・かな漢字変換システムなどで利用されている、知識辞書検索アルゴリズムであるダブル配列(Double-Array:知識量が増えても検索時間が常に一定)です。創出元であるがゆえの高効率な組み込みを行うことで、例えばユーザ辞書を20以上連結しても、400億パターン以上の意味共起知識に対しても、速度低下せず、実時間で処理を行うことができるため、高度な意味理解による付加価値創出に柔軟に対応しています。また、知識DB群は、知識構築部門で常にエンハンスメントをしており「ことば」を「新鮮」な状態に保っています。知識構築部門の統合管理システムは、それ自体が最先端の言語処理系システムとなっています。一貫性のある概念判定などの、人間にしか出来ないことだけを人間が行い、各種の「語」との関係性構築処理や、感性パターンなどへの展開処理は自動化されており、最終的には目的に即した知識DB生成まで行うよう、高度に合理化されています。