エクセルの先のデータ管理 QlikView(クリックビュー)とは?
筆者の自己紹介
インターネット広告配信システム及び広告枠制御プログラムの保守運用を行っています。2年前までは、法人営業のサーバ管理・システム開発&保守を担当していました。前担当の頃から、運用業務として様々なデータをまとめたり集計したりする業務にも関わっています。
ものすごーく面倒で何度も繰り返し行う作業がいくつもあります。メンバーのみなさんは非常にまじめで地道に作業を進めていらっしゃるのですが、私は真似出来ませんでした。でも、今回紹介するQlikViewをはじめ、自動化・バッチ・マクロ等を駆使して、みんなが楽になることを目指して取り組んでいます。
最近のデータ分析業務で活用したソフトQlikView(クリックビュー)のパーソナルエディションについて紹介します。
世の中ではBIツールの1つとして紹介されていますが、色々なことに使えるソフトと思っています。本記事ではシステム管理者としての筆者が感じた内容で書かせていただいています。
QlikViewとは
私見の入ったソフト概要
ひとことでいうと、「なんちゃってデータウェアハウス」です。
テキスト(CSV、TSV等)、Excel、データベースに分散して保存されているデータ(テーブル形式)を集約し、数値データをグラフ等で見える化し、Webで情報共有し、総合的なデータ閲覧とドリルダウン(分析)を実現する仕組みです。(有償版の場合)
QlikViewには、使用期限なし無料のパーソナルエディションがあります。有償版と同等の機能を持っていますが、情報共有周りはできません。しかし、データの集約には十分に役に立っています。
●QlikView本家サイト
https://www.qlik.com/ja-jp/products/qlikview
QlikViewの概要があります。
なお、「無料で試す」リンクは、有償版の期間限定バージョンです。パーソナルエディションは↓です。
●パーソナルエディションのダウンロード先
https://qlikid.qlik.com/signin
※無料アカウント登録が必要ですが、ソフトは無料です。
QlikViewの使いみち
これまでに聞いたことのある実現例や、私の業務で実現したものを挙げておきます。
- 収支等を、部門ごとに独自形式(主にExcel)で管理しているとき、毎日・毎週・毎月の全体情報を可視化し、最新をすぐに把握したい(BIツールっぽい)
- さらに、昨年度と今年度等、年度間で比較したい(データ分析っぽい)
- さらに、特定月の内訳を見たい
- 材料調達から製品出荷までの実績を一気通貫で見て、進捗やボトルネックを把握したい
- 2つ以上のシステムに分散管理されているデータをつないで、一元管理したい
- Excelで書くと複雑な式やマクロで行っている集計を、容易に実現したい
入力担当と集計担当が別の場合、特定の列を消さない等、入力に関して多少のルール決めは必要ですが、QlikViewを使うことで、ほとんど業務を変えずに様々な集計・集約ができると考えます。
筆者がQlikViewを知るまでの経緯
配送管理業務(受委託契約)の中で、配送料金を請求するとき、受託元の依頼データ(地域別・個人・まとめの複数の送付先リストと同梱物のバリエーション)と委託先の報告データが、全く違う形式で届きました。
これらのデータを結合し、委託先の報告内容(発送件数・費用)に誤りがないか、を確認し、受託先への請求書類作成する必要がありました。当初はExcelでVLOOKUP関数を多用していましたが、送付先データが数万件あったため、保存の度に長時間の再計算が実行され、数分~10分くらい待たされていました。
パッケージソフトでソリューションされている社外の方とExcelでの作業が重い話をしていたところ、QlikViewを(無料の方も)紹介されました。さらにQlikViewの技術担当(講師?)を呼んでいただき、丁寧にサポートしてくれたこともありますが、Excelを読み込んで自動的に結合することが、わずか数十秒で出来るようになりました。
(おまけ)数十MB以上のExcelを開くと数分~10分くらいかかりますが、QlikViewで特定条件で一部を抽出するなら非常に高速になります。1-2分くらいで終わります。
なお、QlikView自体はかなり癖が強いので、使い方を間違えると本来の実力を発揮できません。少しパーソナルエディションを触ってみた上で、QlikViewリセラーのトレーニングを受けることをお奨めします。
上記の社外の方のところでは、基礎と応用の2コースがありました(有料)。基礎だけでなく応用まで受講した方がいいですが、日々使うことが重要です。
QlikViewのできること
大量のデータを素早く読み込める
- 同じ形式の大量ファイルを一気に読み込めます(ファイル名にワイルドカードを使えます)。
- QlikViewで読み込むのは、Excelファイルを開くより早いです。メモリが多いPCほど快適に動きます。
- 入力元となったファイルは、読み込む列が削除されたり、名称変更した場合を除き、そのまま使えます。入力/更新担当は日々更新し、QlikView担当が必要なときにロードすることができます。
- 一度読み込んだデータは保持されているので、再出力や追加の加工はいつでもできます。
様々な分析が出来る
- 読み込んだのが数値データであれば、色々なグラフを作成出来ます。グラフ用の関数が用意されており、過去(前年度等)との比較や特定条件での抽出も可能です。
- 読み込んだデータの構成、関係をER図のような形式で表示する機能があります。
- 特定の値(複数可)をクリックすると、フィルタし、ドリルダウンで分析できます。フィルタ用の値リストテーブルも容易に作れます。
データを加工しやすい
- テキスト(CSV、TSV等)、Excel、データベースといった、テーブル(見出し+データ)形式のデータを集め、2次加工することができます。
- データ間を結合するキーとなる列の名前を揃えるだけで、複数のテーブルが繋がります。
- 入力元ファイル群がテーブル群、QlikViewがテーブル間の関連付けを定義する、リレーショナルデータベースのようなものを構築できます。QlikViewファイルは1個のファイルです(拡張子:qvw)
- SQLのSelect文以上の機能をもつスクリプト(ロードスクリプトと言います)を書くことで読み込みますが、読み込みながら加工できます。
- スクリプトは何度でも使えるので、同じデータの取込&加工を複数回繰り返すケースに強いです。
データを好きに取り出せる
- 読み込んだ後は、好きな列だけを使って表形式にできます。表はいくつでも作れます。
- 便利なテーブルを並べてダッシュボードとして利用できます(有償版によるWeb公開の方が効果大)。
- 加工後のデータを手編集したい時はExcel形式でエクスポートできます。
QlikViewの制限事項
QlikViewパーソナルエディションでは、PC端末にライセンスが紐付いており、他のPCへのコピーは4段先までです。PCを交換する等でQlikViewファイルを移すときは要注意です。ロードスクリプトは単なるテキストなので、可能なら手作業でQlikViewを作り直すことをお薦めします。
また、QlikViewは、複数の会社から提供されています。ダウンロード元毎にライセンスが異なるようで、QlikViewファイルを使いまわしできないことがあります。一番使われている、上記でご紹介したURLの本家バージョンをご利用ください。
BIツールについては、以下の記事でご紹介しているのでぜひこちらも参考にしてみて下さい。