データベース統合の夜明けは近い
～池伝株式会社様　データ加工・分析ツール導入事例

池伝株式会社　総務部ICT課の皆さんとCTCSPメンバー

データ加工・データ分析ツール「cellular space DiX」の導入により、登録内容に大幅な揺らぎがあるデータの統合作業を効率的に進め、システム移行に向けた作業時間を大きく削減。

名称：: 池伝株式会社
本社所在地：: 〒105-0004
東京都港区新橋2-12-5
URL：: http://www.ikeden.com/

事業内容

洋菓子材料の総合専門商社として、独自のマーケットリサーチにより、洋菓子材料や包装資材の販売ならびに不動産賃貸業を行っている。また、製菓材料展示会や、主力商品を網羅したカタログ『ラシェール』の発刊など、お客様の役に立つ情報提供や、技術講習会の開催など多岐にわたるサポートを行っています。

『複数の表データを効率的に統合する術が見つからない！！』

洋菓子材料の総合専門商社である池伝株式会社（以下池伝）は、東京本社の他に全国8支店1出張所を展開しており、材料の販売、仕入、配送サービスを提供している。

2016年春、老朽化した基幹システムの刷新プロジェクトが発足した。インフラはクラウドを採用したが、刷新に向け、大きな課題があることを理解していた。基幹データベースの統合である。

既存の基幹システムは、東京-埼玉-仙台と大阪、名古屋、福岡、新潟、札幌と拠点ごとに管理されたデータベースで運用されている。そのため、同一の商品にも関わらず、各拠点で似通っているが異なる名称・コードでデータベースへ登録されてしまっていた。

これらのデータ群を正しく統合する処理にどれだけの人と時間を割く必要があるのか、そもそも実現可能なのかさえ危惧された。

池伝では、このバラバラになった名称・コード群から一つのマスタを作成するための要件を以下と考えていた。

表の属性内加工、属性間加工
表間結合
クレンジング
複数キーを許す名寄せ（完全一致、前方一致等）
その他、課題に対応できる機能

これらの機能の一つ一つは、複数のツールを組み合わせることで対応できるかもしれない。しかしながら、各拠点が独自ルールで登録した大幅な揺らぎを持つデータの場合、一般的な名寄せ作業では追いつかず、利用するツールも多岐に渡るので現実解ではなかった。

このような課題に頭を悩ませていた時、CTCSPから紹介されたのがデータ加工・分析ツール「cellular space DiX（以降DiX）」であった。

採用の決め手となったポイント

図：サンプルデータのclusteringText処理結果

早速サンプルデータで名寄せを試したところ、独自の近似アルゴリズムを用いたclusteringTextという機能により、人手を介しても厳しいと認識していた大きな揺らぎをもつ文字列の確認に明るい兆しが見えてきた。単語の位置や同義だが表記が異なる語句が含まれていても、同じ文字列としてグルーピングができたのだ。
（※上図の「clusteringText処理結果」）

さらに、自分たちで自由に作成できるユーザ辞書を基に名寄せもできるため、都度文字列の置換を行うことなく、各文字列を同義のことばとして確認できることもわかった。（上図の表で例えると、“グランベル”と“GB”は同義と辞書で定義しておけば同義として取り扱える）
この2つの機能が決め手となり、池伝の基幹データベースの統合に用いるツールに「DiX」の採用が決まった。

導入決定から稼働までのプロセス

図：導入決定から稼働までのプロセス

DiXを試用、検証してみて基幹データベースの統合への道は拓けたとは言え、ツールを用いれば即対応できるというわけではない。データベースの完全移行に向けて正しいデータを作成するために最も重要なのは、名寄せに必要なルールとそのプロセスの順序である。計画したプロセスについて何度も協議を行い、処理の進め方が決定したのは、DiXの採用を決めてから3か月ほど経った頃であった。それ以降、前述したclusteringText分析や辞書登録、その他必要な加工作業を決め、現在、池伝では統合実現に向け策定した計画に則り、プロセスをサイクリックに運用している―。