ともみらブログ

楽しい事とは何か!楽しみ系追求ブログ!

【ITの扉を開け】違いが分かる人になる!「データベース」と「データウェアハウス」って同じじゃないの?

ともみらです! 

 

今日のテーマは、『データベースとデータウェアハウスって同じじゃないの?』

 

f:id:tomomira:20210214090555p:plain

 

わぁ~どうしようぉ~

社長に「営業分析」しろって言われちゃたんだよね~

どうしたらいいのぉ~(泣)

 

今日も安定の騒がしさだねぇ~

そんなの「データ分析」すれば良いじゃん!

 

簡単に言わないでよぉ~

いろんな情報を集めないといけないし、そもそも分析って・・・

ムリだよぉぉ~(泣)

 

大丈夫だって!

データ分析には「データウェアハウス」を利用するのがベスト!

でも、キチンと理解しないと遠回りになっちゃうんだ!

今回は、いつも使っている「データベース」と、分析が得意な「データウェアハウス」について、それぞれの役割と違いについて学んでいこう!

 

今回のテーマは、日々、何気なく会話に入ってくる「データベース」ですが、いろいろな 役割 や 違い について、何となく分かっているようで、実は、分っていない・・・

今も昔も重要な役割を担う「データベース」ですが、分析というキーワード が飛び交ってくると、いつも「データウェアハウス」が登場してくる・・・

もはや「データベース」、「データウェアハウス」って何なの? 両方とも同じじゃないの?

今回は、それぞれの 役割 や 違い について理解できず、説明できないと悩んでいる 方々に、丸めて、ざっくり理解 できるような有益な情報を提供できればと思います。

 

やりたい事に自問自答し、8社転職 を繰り返しながら、20年以上の IT インフラエンジニア の経験あり!

現職は『 IT × 事業推進 = 事業の最大化 』の重要なミッションを担い、自社事業の推進部門 で奮闘中!

自虐ネタ好き の 板ばさみが似合う 笑顔が素敵な新米部長 を目指しています!

ともみらブログ 』を運営!

ブログテーマは『 人生を豊かに楽しく笑って生きる !

①. 前向き思考で幸せ!ラクして! 楽しく! 効率よく!
当たり前を捨てよう! 新しいキッカケづくりを応援するマインド情報を発信

②. IT をどんどん使って幸せ!IT をわかりやすく! 』
便利に使いこなそう!わかりやすく理解する IT 情報を発信

③. お金を増やして幸せ!夢は不労所得で生活する! 』
メキシコペソとリップルをこよなく愛す!自分体験の役立つ情報を発信

皆さんに『 有益で得する情報を発信すること 』で一緒に人生を楽しみましょう!

 

 

 

この情報が少しでも有益な情報になれれば幸いです! 

 

 

 

違いが分かる人になる! (本日のつぶやき)

皆さん。

 

ITの世界は、とてつもなく広く深いものです。

 

今回も「違いが分かる人になる!」については、勝手に「シリーズ化」の気分を満喫しながら書かせてもらっています(笑)

 

過去ブログも楽しんでいただけると嬉しいです!

 

これから、ITの世界を目指してみようかなぁ~

 

そういう人達が、最初に「つまずく」のは、

 

何だか、ITって難しくて厳しそう・・

 

ITは、よくわからん・・・

f:id:tomomira:20201212221256p:plainできなさそう(弱気)

 

こういう場面がすぐに浮かんできます。

 

せっかく抱いた興味を台無しにしていませんか?

 

確かに、

 

ITの世界は、広くて深いのは事実です。

 

しかし、

 

堅苦しいことはやめにして、丸めて、ざっくりと理解する!

 

まずはこんな感じで大丈夫です!

 

世の中、そこまでキッチリ説明できる人達ばかりではありません。

 

そんな気楽な気持ちで読んでいただければ幸いです!

 

なぜ?

 

そんなことを言うのか?

 

私は、

 

ITインフラエンジニア 20年以上の経験 があります。

f:id:tomomira:20200201185903p:plain

 

そんな私でも、

 

いろいろと 説明に困る ことが、本当に たくさんある んですよ。

 

これは、「わかった風」ってやつです。

f:id:tomomira:20200802001905p:plainわかったフリをする

 

お恥ずかしいです(泣)

 

まあ、それでも何とかなっちゃいます!

 

しかし、

 

人に分かりやすく 説明(アウトプット)できてこそ「知識」です!

 

だからと言って、

 

ごちゃごちゃ難しい専門書を読んでも・・・

 

その通りです。

 

分からないし、時間のムダになります。

 

私も10分で寝る自信があります(笑)

f:id:tomomira:20210214100058p:plain寝落ちだね・・

 

だからこそ、

 

丸めて、ざっくり理解しましょう!

 

なのです。

 

こんなものかぁ~

 

これでいいのです!

 

それが「スタート」だからです!

 

そんな モヤモヤ した壁をぶち破り、大きく丸めちゃって、楽しく理解していきましょう!

 

せっかく興味を持った「ITの扉の入り口」で諦めないために!

 

そこまでたどり着いたなら、

 

あなたは、その入り口を突破し、更なる興味を抱き、より自分の力を高めていける第一歩 を踏み出せることでしょう!

 

今日も気楽に頑張りましょう!

 

データベースとデータウェアハウスって同じじゃないの?

さて、

 

今回は、「データベース」「データウェアハウス」についてお話していきましょう。

 

う~ん・・

 

「データベース」っていう言葉は良く聞くけど、

 

「データウェアハウス」って何だろう?

 

何となく聞いたことがあるなぁ~

 

ぶっちゃけ同じじゃないの?

f:id:tomomira:20210214100622p:plainたぶん同じ形してるし・・

 

こんな人が多いのではないでしょうか?


世の中、「AI」だったり、「ビックデータ」だったり、

f:id:tomomira:20210124090232p:plain

 

何か良く分からないけど、もの凄いことをしてくれそうな「キーワード」がポンポンありますよね?

 

とは言え、

 

盛り上がってはいるものの、実生活上では、あまり実感ってありませんよね?


「AI」だったり、「ビックデータ」など、何をするのにも「大事なもの」があります。

 

それらを実現するためには、一体、何が必要なのでしょうか?

 

その答えは「データ」です!

 

データがなければ、「AI」や「ビックデータ」が 使いこなせるはずもありません。

f:id:tomomira:20210214101639p:plainデータ=情報資産

 

データがなければ、ただ、導入しただけで、ほとんど機能しないものになるでしょう。

f:id:tomomira:20210131142940p:plainお金をドブに捨ててる?

 

単なる「宝の持ち腐れ」の状態となるのです。

 

「データ」は、今では、貴重な「情報資産」なのです。

 

世界有数のリサーチ&アドバイザリ企業 である「ガートナー社」は、市場価値が2倍になる と言っています。

情報は資産、重視すれば市場価値が2倍になる--米ガートナーのレイニー氏 - ZDNet Japan

「情報は目に見えない資産などでバランスシートには載らないが、調べてみると、情報を大切にしている企業は、そうでない企業と比べて、簿価に対する市場価値が2倍になっている。情報を収益化し、管理し、測定することが大切だ」

 

価値を出せるかは、その「情報資産」をどう活かしていくのか?

 

ということになってくるのですね。

 

では、

 

ここからは、もう少し簡単に考えていきましょう!

 

大事な「データ」が入っている場所 をイメージしてみましょう!

 

「お金」だったら、「金庫」です。

f:id:tomomira:20210214102418p:plain → f:id:tomomira:20210214102426p:plain

 

「データ」だったら、「データベース」です。

f:id:tomomira:20210214102446j:plain → f:id:tomomira:20210214102500p:plain

 

データが保存されている場所はイメージできましたね!

 

では、本題に入っていきましょう!

 

その「データ」を最大限に活かす ために 重要な役目 を果たす「データベース」「データウェアハウス」について、その違いと役割を、丸めて、ざっくり理解し、違いが分かる人になっちゃいましょう!

 

まずは、結論 をお話します! 

 

□ 結論
1.「データベース」と「データウェアハウス」は 同じではない!(コンビニと物流センター)
2.データベース → システムが使う:業務上の処理を効率化:業務処理が早い
3.データウェアハウス →  人が使う:データ収集&分析:検索遅い&分析得意

 

では、「データベース」と「データウェアハウス」の役割と違いについて学んでいきましょう!

 

まずは、それぞれがどういうものなのか?

 

まずは、「定義」を見ていきましょう!


定義(データベース業界では有名は「Oracle社」の説明より)

データベースとは | Oracle 日本

データベースとは、構造化した情報またはデータの組織的な集合であり、通常はコンピューター・システムに電子的に格納されています。データベースは通常、データベース管理システム(DBMS)で制御します。データとDBMS、およびそれらに関連するアプリケーションをまとめてデータベース・システムと呼びます。多くの場合は単にデータベースと呼んでいます。

 

データ・ウェアハウスとは | Oracle 日本

データ・ウェアハウスは、ビジネス・インテリジェンス(BI)アクティビティを実現し、サポートするように設計されたデータ管理システムの一種であり、特に分析を重視しています。データ・ウェアハウスは、クエリと分析の実行のみを目的としており、大量の履歴データを格納していることが普通です。データ・ウェアハウスにあるデータは、通常、アプリケーションのログ・ファイルやトランザクション・アプリケーションなどの多彩なソースから取得されています。

 

 

う~ん

f:id:tomomira:20201212221256p:plain

なるほど・・

 

全然、分からなくはないんだけど、

 

この説明だと、何となく分かったような感じ になっちゃいますよね?

 

正確に言うと、

 

データベースも種類がたくさんありますので、興味があれば、調べてみると良いでしょう。


今回は、

 

その中でも「データベース」と「データウェアハウス」に 限定 して説明していきますね!

 

さてさて、

 

「定義」を調べてみたものの、難しいと感じている・・

 

まあ、私もですが(笑)

 

もう少し、ざっくりさせましょう!

 

データベース

  • 誰が:各システム
  • 何を:最近のデータ
  • 速さ:早い
  • 何する:業務に必要なデータ処理

データウェアハウス

  • 誰が:人
  • 何を:過去から現在までのたくさんのデータ
  • 速さ:遅い
  • 何する:データ収集&分析

 

どうでしょうか?

 

少し分かってきましたよね?

 

もうちょっと具体的にすると、

 

主に「システム」である、経理や事務、お客様に提供しているサービスなどの各システムの処理に必要な最近(直近)のデータ が入っていて、いつでもどこでもガンガン利用しているのが、データベース

 

一方、

 

主に「人」である、営業マン、管理職、経営層のお偉いさんなど営業分析や業務分析などをするために、過去から現在までの膨大なデータを利用 して、分析&戦略を立てる ために利用するのが、データウェアハウス


なので、

 

主に利用するのが、「システム」or「人」なのか?

 

使うデータが、「最近(直近)のデータ」or「過去から現在までの膨大なデータ」なのか?

 

処理が、「早い 」or「遅い」のか?

 

利用用途は、「業務処理に使う」or「分析に使う」のか?


こんな感じで、それぞれの役割が異なるのですね。


丸めて、ざっくりだと、こんな感じになるでしょう。

 

大分、整理できてきたと思います。

 

思い出しやすいように、面白い感じのイメージをしておきましょう!

 

データベース は、

 

いろんなコンビニ に置いてある「冷蔵ショーケース」だとしましょう。

f:id:tomomira:20210214105827p:plainすぐ飲める(買ってね!)

 

その中に、すぐ飲める飲み物が が入っています。

 

飲みたい時に、すぐに飲み物を取り出して飲めるようなイメージです。


データウェアハウス は、

 

それらをまとめる「大きな物流センター」です。

f:id:tomomira:20210214110032p:plain箱詰めして出荷準備

 

膨大な量の飲み物 物流倉庫に保管 されています。

 

ここで、その飲み物は すぐに飲むことはできません。

 

それぞれのコンビニに出荷する飲み物を 分析してチェック します。

f:id:tomomira:20210214110210p:plain何が売れてる?

 

コンビニで売れる飲み物があれば、この倉庫から発送し、各コンビニに届く のですね。

 

データウェアハウスが、「データの倉庫」と呼ばれるのは、そんなイメージを持っていると分かりやすいでしょう!

 

  • データベースは、コンビニの冷凍ショーケース
  • データウェアハウスは、大きな物流センター

 

こんな感じで覚えておくだけでもイメージしやすいですよね!


さてさて、

 

役割や違いについて、丸めて、ざっくり分かってきたと思いますが、

 

ここで、疑問 が生まれてきたのではないでしょうか?

 

だったら、

 

データベースだけで良いんじゃないの?

 

データウェアハウスっていらないんじゃないの?

 

だって、「過去のデータ」も「今のデータ」も、全部のデータをデータベースに入れちゃえばいいんじゃないの?

 

わざわざ、

 

データウェアハウスで分析しなくても、データベースだけでいいんじゃないの?

 

何で・・何で・・何で・・

f:id:tomomira:20210214111306p:plainお前は何もんだ・・

 

怒涛の質問がきそうですね・・・

 

泣いてるレベルですよ!

f:id:tomomira:20201031223758p:plainうぅ~ムリだよぉ~


でも、

 

良く気がつきました!

 

極端な話 をしてしまえば、データベースにデータをすべて入れても、分析することは可能 でしょう。

 

しかし、

 

その場合、簡単に説明すれば、イメージとしては、

 

お腹いっぱいにしてしまった子供です。

f:id:tomomira:20200103205036p:plainデブの呼吸(なんか遅い)

 

お腹がいっぱいで、動けない・・・

 

こんな感じになります。

 

さっきの「冷凍シューケース」の例だと、

 

その中に、売れるかどうかも分からない けど、ビールやら焼酎やら日本酒やら、何でもかんでも、飲み物が パンパン に入っているようなものです。

 

その中で、ビールを取り出そうと選んでいる人が、どこにあるか分からずに探している間 に、他の人は取り出すことができず、非効率 なわけです。

 

酒飲みが、後ろに並んでいるわけですから、ヒヤヒヤするわけです・・・

f:id:tomomira:20210214112331p:plainはやくしろぉ~

 

つまり、

 

データが膨大すぎて、処理に時間が掛かるので、非効率ということです。

f:id:tomomira:20210214113142p:plainやりきれないよぉ~

 

昔は、ひとつのデータベースに、いろいろなデータを入れて分けていました。

 

これは、「まとめる」という意味では有効ですが、「管理」や「運用」するには大変なのです。

 

しかし、

 

今は、クラウド化 が進み、それそれのシステムごとに、それぞれのデータベースに分けている ケースが多いのです。

 

例えば、

 

経理経理用のデータベース、営業は営業用のデータベースという感じです。

f:id:tomomira:20210214113530p:plain経理用データベース

f:id:tomomira:20210214113530p:plain営業用データベース

 

それぞれのデータベースに分けた方が効率が良いし、メンテナンスや障害対応をする場合、分かれていることで、作業がしやすく影響が少ないのです。

 

経理のデータベースをメンテナンスしている時は、経理は利用できなくなってしまいますが、営業のデータベースは動いているので、業務には影響が出ないという感じです。

 

これが、経理と営業が同じデータベースだったら、どちらも利用することができなくなってしまいます。

 

全部一緒のデータベースだったら、止めると、全部止まってしまうからですね。

 

なので、

 

今では、システムごとに、たくさんのデータベースに分けて利用しているケースが多いのですね。

 

一か所に集中させるより、クラウドが普及している今、それぞれの利用目的別のデータベースに分けた方が効率が良いということですね。

 

だから、業務処理に必要な各データベースは分け、収集や分析は、専門にするデータウェアハウスに分ける ということで、一緒にはしないという結論 になるのです。

 

では、

 

もうひとつの 疑問 です。

 

データベースがたくさん分かれている と、それぞれのデータを集めないといけない ですよね?

 

業務をする上では、管理職や経営層は、必ず要望していきます。

 

分かれているデータを集めて分析したい!

 

となるのですね。

 

そんなの、データベースにアクセスして、データを取ってくればいいじゃん!

 

そういう発想になりますよね?

 

でも、考えてみてください。

 

その時、サービスを提供中 だったら、それぞれのデータベースに、分析目的でガンガンにアクセス しちゃったらどうなります?

 

負荷が高くなって、処理が遅くなり、最悪の場合、データベースサーバが落ちてしまいます。

 

サービスに影響が出るし、大変なことになっちゃいますよね?

 

これは困ったということになります。

 

そこで、登場するのが、「データウェアハウス」の出番なのです。

 

データウェアハウスのデータなら、いつでもアクセスしていい し、サービス提供が目的ではなく、分析することが目的 なので、最悪、負荷が高くなって止まった としても、また、やり直せばいいので、影響はあまりない のですね。

 

データウェアハウスは、基本的に全部のデータを入れます。

 

過去から現在までの、あらゆるデータです。

 

これは、

 

分析利用に特化したデータベースだから、時系列のたくさんのデータが必要になる のです。

 

先ほども言いましたが、サービス提供用ではなく、分析利用なので、負荷を気にすることなく、ガンガン使えます。

 

昼でも夜でも、どんな時に、誰でも、ガンガンアクセスして分析します。

 

厳密には、直接、コマンドをたたいて、データウェアハウスにアクセスするというよりは、最近、流行りの「BIツール」を利用して、間接的にアクセスする のが普通です。

 

この「BIツール」と言うのは、分析データを視覚的に見せるのが得意 です。

 

有名なところでは、ちょっとお高いですが、「Tableau(タブロー)」が有名です。

 

感動的なレベルです。

 

分析したいものを、グラフィカルに視覚化して、簡単にレポート化 してくれます。

 


いかがだったでしょうか?

 

「データベース」は、業務に必要なデータを蓄積して利用するというイメージを持ちやすいのですが、情報を収集して分析する「データウェアハウス」についてもイメージを持つことができたのではないでしょうか!

 

データウェアハウスの特徴 としては、

  • 集めるデータは、サブジェクト(主題別)ごと(例「顧客情報」「商品情報」「販売情報」)、「行」でなく「列」のデータだとイメージしやすい
  • いろいろなシステムのデータを横断的に結合
  • 全部入れる(時系列)
  • 消さないし、更新しない(履歴を持つ)

 

特徴としては、基本的にデータを消さない というのが重要です。

 

そんなことしたら、サーバが容量オーバーになっちゃうよぉ~

 

厳密に言えば、その通りなので、通常は3年とか、5年とか期間を決めて、その時点でも必要な過去のデータを、他のストレージに退避するなどの処理も必要になります。

 

データを全部入れて、消さないということは、過去から現在までの分析が可能 となるのですね。

 

また、ちょっと分かりずらいのですが、サブジェクトごと(主題別)というのは、

 

例えば、

 

「顧客データ」だったら、「顧客名」や「顧客コード」、「住所」、「電話番号」、「メールアドレス」などの情報を持っています。

 

さまざまな情報がありますよね?

 

通常のデータベースに入っているデータ は、こんな感じです。

  • 顧客名:ともみら, 顧客コード:1234567, 住所:千葉県それなりに都会町・・・

 

それに対し、

 

データウェアハウスに入っているデータ は、「顧客」「住所」などの 主題別 に整理して保存します。イメージとしては、「行」のデータではなく、「列」のデータ だとイメージしやすいでしょう。

  • 顧客:ともみら
  • 住所:千葉県それなりに都会町

 

このサブジェクト(主題別)」に 整理されたデータ を、横断的に各システムから結合 して収集することで、分析しやすい状態 にしているということになります。

 

なので、

 

データベースの方が、業務に必要なデータを検索し処理する場合は早いのですが、データウェアハウスは、それぞれサブジェクト別にすることで、分析しやすくしているのですが、その分、データベースに比べると検索は遅くなってしまうのです。

 

それぞれの役割や違いから、

 

データベースは、各システムが、業務処理に利用するのがベストであり、

 

また、

 

データウェアハウスは、人(営業だったり、経営のお偉いさん)が、分析目的で利用するのがベストなのですね。

 

いかがだったでしょうか?


ここまで読んでいただければ、「データベース」「データウェアハウス」については、どちらも「データベース」ではあるのだが、それぞれ、役割が違う「データベース」であることを理解していただけたと信じています!

 

データウェアハウスを使いこなす最大の課題とは?

皆さん。

 

それぞれの違いについては理解できてきたのではないでしょうか。

 

完璧は必要ありませんし、全部を覚える必要もありません。

 

丸めて、ざっくりで良いのですから!

 

私の会社では、3年ほど前 から、「データウェアハウス」を導入しています。

 

ここまで聞くと、すでに導入して成功しているんだろうな~

 

そのように思われたかもしれませんが、現実は厳しかったのです。

 

その原因は何だと思いますか?

 

それは「データの汚さ」です。

 

どういうことでしょう?

 

とりあえず何でもいいから、全部のデータを入れておけばいいんじゃなかったっけ?

 

データは基本的に全部入れます。

 

過去の膨大なデータ は、「情報資産」なので、そんな貴重なデータであれば、データウェアハウスに入れておくべき なのです。

 

なのですが、

 

問題は、データの中身の問題なのです。

 

「データが汚い」とうことです。

 

簡単に言うと、「データが汚い」とは、データの中身が、なかったり、違うデータが入っていたり、ごちゃごちゃしていたり、詰込みすぎて、もの凄く横長のデータだったりなどです。

 

とにかく「利用しにくいデータ」なのです。

 

要するに、こんな「汚いデータ」を、いくらデータウェアハウスに入れたとしても、それを利用する時に、使いづらくて、結局は、自分達でデータを加工しないといけなくなってしまうのですね。

 

相当な手間になります。

 

データウェアハウスは、魔法の箱ではありません。

 

「汚いデータ」を、使えるような「きれいなデータ」にしてくれる・・・

 

きっとしてくれる・・・

f:id:tomomira:20210214131251p:plainやってくれるハズ・・

 

そんな、「夢のようなデータベース」ではありません。

 

分析に特化し、データを格納する箱(データウェアハウス)があったとしても、その中に入れるデータが整理されていなくては、有効利用することができず、宝の持ち腐れ になってしまうのですね。

 

何でも当てはまりますが、

 

だた、何でも導入すれば良いというわけではありません。

 

実際に導入している経験からのアドバイスとすれば、導入する前に、利用するデータを整理することで、導入後のパフォーマンスは格段に上がる と言うことです。

 

データウェアハウスの導入

  • 「ごちゃごちゃなデータ=汚いデータ」はNG!「整理されたデータ=きれいなデータ」を意識しよう!
  • 結局、「汚いデータ」は使えない。加工が必要になる
  • 「きれいなデータ」→「データウェアハウス+BIツール」→ 有益な分析情報(情報資産)となる!

 

という流れと意識で、導入を検討することをおススメします!

 

最初が肝心ですよ!

 

ただし、

 

現実を言えば、すべてのデータを整理するというのも難しいものです。

 

現実的ではないでしょう。


過去のデータだけはたくさんあるのですが、それが「汚いデータ」なので、利活用が難しい問題があったとしても、ゴミの中に宝が埋もれている可能性 もあります。

 

きれいなデータの整理を待っていたら、どんどん情報が劣化してしまいますよね?

 

これから導入する方は、キレイなデータを意識するのはもちろんですが、過去のデータを、どのように価値のあるデータに利用できるかということも意識すべきでしょう。

 

まあ、結局は、最初の設計が全てになりますが、私の会社含め、他の会社であっても、そこまで「きれいなデータ」が整理されている会社は少ないはずです。

 

そこまで考えられるエンジニアも少ないからですね。

 

実際に有効利用できているところは少ないんじゃないでしょうか。

 

しかし、弱気になってはいけません!

 

この問題を、どうにかすることができれば、あなたの会社のゴミデータ(汚いデータ)が宝のデータに変わる ことになるかもしれません!

 

 

 

まとめ

では、まとめていきましょう!

 

今日のテーマは、『データベースとデータウェアハウスって同じじゃないの?』

 

□ 結論
1.「データベース」と「データウェアハウス」は 同じではない!(コンビニと物流センター)
2.データベース → システムが使う:業務上の処理を効率化:業務処理が早い
3.データウェアハウス →  人が使う:データ収集&分析:検索遅い&分析得意

 

データベースとデータウェアハウスの役割と違い

 

データベース

  • 誰が:各システム(経理、営業、製造・・)
  • 何を:最近のデータ
  • 速さ:早い
  • 何する:業務に必要なデータ処理

 

データウェアハウス

  • 誰が:人(営業マン、管理職、経営層・・)
  • 何を:過去から現在までのたくさんのデータ
  • 速さ:遅い
  • 何する:データ収集&分析

 

データウェアハウスの特徴

  • 集めるデータは、サブジェクト(主題別)※イメージ (「行」でなく「列」のデータを利用)
  • いろいろなシステムのデータを横断的に結合
  • 全部入れる(時系列)
  • 消さないし、更新しない(履歴を持つ)

 

データウェアハウスの導入

  • きれいなデータ → データウェアハウス+BIツール → 有益な分析情報(情報資産)
  • 汚いデータはダメだが、ゴミの中にも宝が埋もれている可能性がある!

 

さて、いかがだったでしょうか?

 

今回も、丸めて、ざっくりを意識した内容でお話させていただきました! 

 

データは「情報資産」です!

 

ひとつのデータベースで全てを処理するのではなく、これからは、各業務ごとに「複数のデータベース」が活躍し、より「分析に特化したデータウェアハウス」を有効利用する流れとなるでしょう。

 

最近では、クラウド上で、「データベース」「データウェアハウス」を構築する傾向が高まっています。

 

物理的に、データベースサーバ をつくるより、クラウドにつくった方が、コストも最適化され、セキュリティも高い からです。

 

少し補足をさえてもらうとすれば、

 

データウェアハウスには、データを全部入れるとお話しましたが、厳密には、そのままは入れられません。

 

ルール化して入れる必要がある ので、やはり、設計が必要 となります。

 

データをそのままの形で保存する「データレイク」なども存在するので、これを機会に興味があれば調べてみることをおススメします。

 

これらは、「ビックデータ」などで利用されているので、調べてみると面白いでしょう!

 

今回は説明しておりませんが、以下の3つぐらいを覚えておきましょう!

  • データウェアハウス(業務データが全て形式化されているので、すぐに分析できる)
  • データレイク(あらゆる形式のデータを一括保存し、状況に応じて柔軟な分析が可能)
  • データマート(業務データが各部門ごとに分けられて保存されており、各部門ごとのデータ分析が簡単)

 

まずは、あらゆる形式のデータを、そのまま取り込みたいなら「データレイク」のデータベースでで取り込み、その後、キチンと形式化されたデータを「データウェアハウス」のデータベースで分析し、さらに、その先に、各業務別に細かくデータ分析したいなら「データマート」のデータベースを導入するという感じになりますが、実際に、ここまで手厚くしているところは、私が知らないだけで、あまり聞いたことがありません。

 

しかし、今後は、 サーバの処理能力が向上し、保存容量も気にしないような時代になってくると、そもそも分ける必要もなく、すべての役割を担える一緒のサーバになる可能性もあるかもしれませんね。

 

現在、私の会社では、クラウドAWS)を利用しています。

 

データベースは、「Amazon RDS」 や 「Amazon Aurora」を利用しており、データウェアハウスは、「Amazon Redshift」を利用しています。

 

これらは、性能はもちろんですが、コスト、セキュリティ、メンテナンス、障害対応にも優れており、すでに5年以上の実績があります。

 

クラウド利用は、少しばかり、お作法的な煩わしさもありますが、物理的なデータベースを利用していた頃に比べると、運用負荷は大幅に削減できています。

 

コスト管理は非常に悩ましいところもあるのですが、その話は、またの機会に説明しましょう!

 

これからの時代、物理的なサーバは、その膨大な設備投資から抜け出すため、利用した分だけお金を払うクラウドでの利用が拡大することでしょう。

 

クラウドサービスの良いところは、早く始めて、使った分だけお金を払い、セキュリティも守られながら、メンテナンスや障害対応にも優れているというところです。

 

何より、多すぎるほどのサービスがありますので、いろいろなサービスを早く始められます。

 

また、逆を言えば、ダメだったら、すぐにやめることもできちゃいます。

 

是非、興味を持っていただけたなら、いろいろ調べて、丸めて、ざっくり理解してみることをおススメします!


私もですが、今も、何となく分かったような気になっていることがたくさんあります。

 

しかし、専門書を読んでも、理解に苦しむことも多いですよね。

 

そもそも、そんな難しかったら、すぐに忘れてしまいます。

 

20年以上も、ITインフラエンジニアをしてきた私でさえ、うまく説明できないことも多いのですから。

 

だったら難しく考えるのはやめましょう!

 

丸めて、ざっくりと覚えておけばいいのです!

 

これができるなら、せっかく興味をもったITの扉の前で、諦めなくて大丈夫です!

 

その扉を開いて、ITの世界に入ってから、本当に興味があれば、そこから究極を目指してみるのも楽しいですよね!

 

是非、行動しましょう!

 

今日がその日です!

 

皆さんの人生が、より豊かになりますように!

 

このブログ記事が、皆さんのお役に少しでも立てたなら幸いです!