Azure Cosmos DB
Azure Data Lake
Azure SQL Database
Azure SQL Managed Instance
Azure Storage
ソリューションのアイデア
この記事ではソリューションのアイデアについて説明します。 クラウド アーキテクトは、このガイダンスを使用して、このアーキテクチャの一般的な実装の主要なコンポーネントを視覚化できます。 ワークロードの特定の要件に適合する、適切に設計されたソリューションを設計するための出発点として、この記事を使用してください。
この記事では、メインフレームおよびミッドレンジ データ ソースのエンド ツー エンドのモダン化計画について説明します。 最新化は、ミッション クリティカルなワークロードのスケーラビリティとパフォーマンスの向上に役立ちます。
Apache®、Spark、および炎のロゴは、米国やその他の国の Apache Software Foundation の登録商標または商標です。 これらのマークを使用することが、Apache Software Foundation による保証を意味するものではありません。
Architecture
データ フロー
次のデータ フローは、前の図に対応しています。
メインフレーム システムとミッドレンジ システムは、次のデータ ソースにデータを格納します。
ファイル システム:
Virtual Storage Access Method (VSAM)
フラット ファイル
リニア テープ ファイル システム
リレーショナル データベース:
Db2 for z/OS
Db2 for IBM i
Db2 for Linux、Unix、および Windows
非リレーショナル データベース:
情報管理システム (IMS)
Adabas
統合データベース管理システム (IDMS)
オブジェクト変換プロセスは、ソース オブジェクトからオブジェクト定義を抽出します。 このプロセスは、定義をターゲット データ ストア内の対応するオブジェクトに変換します。
Microsoft SQL Server Migration Assistant for Db2 は、スキーマとデータを IBM Db2 データベースからAzure データベースに移行します。
ホスト ファイル用マネージド データ プロバイダーは、オブジェクトを変換します。 ホスト ファイル用の管理対象データ プロバイダー:
COBOL およびレポート・プログラム・ジェネレーターのレコード・レイアウトまたは コピーブックを解析します。
コピーブックを、.NET アプリケーションで使用される C# オブジェクトにマッピングします。
Db2toAzurePostgreSQL AI を利用した Db2 から PostgreSQL スキーマ コンバーター ツールは、データベース オブジェクトを Db2 からAzure Database for PostgreSQLに移行します。
パートナー ツールは、非リレーショナル データベース、ファイル システム、およびその他のデータ ストアに対して自動オブジェクト変換を実行します。
データが取り込まれると変換されます。 メインフレームおよびミッドレンジ システムは、EBCDIC でエンコードされた形式でファイル システム データを次のようなファイル形式で格納します。
インデックス付き VSAM ファイル。
インデックスのない 世代データ グループ (GDG) ファイル。
フラット ファイル
COBOL、PL/I、およびアセンブリ言語のコピーブックは、これらのファイルのデータ構造を定義します。
a. FTP は、メインフレームとミッドレンジのファイル システム データセットとそれに対応するコピーブックをAzureに転送します。 これらのデータセットには、バイナリ形式で単一のレイアウトとアンパックされたフィールドがあります。
b. データ変換では、Host Integration Server のホスト ファイル コンポーネントまたは Azure Logic Apps の IBM ホスト ファイル用の組み込みコネクタに依存するカスタム プログラムが使用されます。
Spark Notebook コンバーターは、オープンソースの Spark フレームワークを使用し、Microsoft FabricやAzure Databricksなどの Spark 環境で動作します。
c. ソリューションはリレーショナル データベース データを移行します。
IBM メインフレームおよびミッドレンジ システムは、次のようなリレーショナル データベースにデータを格納します。
次のサービスは、データベース データを移行します。
Azure Data Factoryでは、Db2 コネクタを使用してデータベースからデータを抽出および統合します。
SQL Server Integration Servicesは、データの抽出、変換、読み込みのタスクを管理します。
Fabric Data Factory は、IBM Db2 コネクタを使用して Db2 データを移行します。
d. 非リレーショナル データベース データが移行されます。
IBM メインフレームおよびミッドレンジ システムは、次のような非リレーショナル データベースにデータを格納します。
パートナー製品は、これらのデータベースのデータを統合します。
AzureのツールであるAzure Data FactoryやAzCopyなどは、データをAzureデータベースやAzureデータストレージに読み込みます。 また、パートナー ソリューションとカスタム読み込みソリューションを使用してデータを読み込むこともできます。
Azureでは、Azure SQL Databaseなどのフル マネージド リレーショナル データベース サービスや、Azure Cosmos DB などのNoSQL オプションなど、さまざまなデータベース サービスが提供されます。 これらのサービスは、スケーラビリティ、柔軟性、グローバル分散を目的として設計されています。
Azureには、非構造化データのAzure Blob Storageやフル マネージド ファイル共有のAzure Filesなど、さまざまなストレージ ソリューションも用意されています。
Azure サービスでは、コンピューティング、分析、ストレージ、ネットワークに最新化されたデータ層が使用されます。
クライアント アプリケーションでは、最新化されたデータ層も使用されます。
Components
このアーキテクチャでは、次のコンポーネントを使用します。
データ ストレージ
Azure Cosmos DB は、グローバルに分散された マルチモデル データベースです。 このアーキテクチャでは、Azure Cosmos DBは、非リレーショナル メインフレーム データベースの最新化のためのスケーラブルなNoSQL ターゲットとして機能します。
Azure Database for MySQL は、オープンソース MySQL データベース エンジンのコミュニティ エディションに基づくフル マネージドリレーショナル データベース サービスです。 このアーキテクチャでは、Azure Database for MySQLは、移行されたメインフレーム データ用の別のリレーショナル データベース ターゲット オプションを提供します。
Azure Database for PostgreSQL は、オープンソース PostgreSQL データベース エンジンのコミュニティ エディションに基づくフル マネージドリレーショナル データベース サービスです。 このアーキテクチャでは、Azure Database for PostgreSQLはメインフレーム リレーショナル データ移行用の代替ターゲット データベースを提供します。
SQL Database は、フル マネージドのクラウドベースのサービスとしてのプラットフォームです。 SQL Database には、パフォーマンスと持続性を最適化する AI を利用した自動化された機能が用意されています。 サーバーレス コンピューティングと ハイパースケール ストレージのオプション では、リソースをオンデマンドで自動スケールできます。 このアーキテクチャでは、SQL Database は、メインフレーム Db2 システムから移行されたリレーショナル データのターゲット データベースとして機能します。
Azure SQL Managed Instanceは、フル マネージドのクラウド データベース サービスです。 SQL Managed Instanceは、ほとんどのSQL Serverエンタープライズ機能をサポートしており、一般的なセキュリティ上の問題に対処するネイティブ仮想ネットワークの実装を提供します。 このアーキテクチャでは、SQL Managed Instanceは、SQL Server互換性とエンタープライズ機能を必要とするメインフレーム データのターゲットとして機能します。
Azure Data Lake Storageは、大量のネイティブデータと生データを保持するストレージ リポジトリです。 Data Lake Store は、テラバイトとペタバイトのデータにスケーリングするために最適化されています。 通常、データは複数の異種ソースから取得され、構造化、半構造化、または非構造化にすることができます。 このアーキテクチャでは、Data Lake Storageは変換されたメインフレーム ファイル システム データにスケーラブルなストレージを提供し、データ変換のステージング領域として機能します。
Fabric lakehouse は、構造化データと非構造化データを 1 か所に格納、管理、および分析するためのデータ アーキテクチャ プラットフォームです。 このアーキテクチャでは、Fabric Lakehouse は、生のメインフレーム データと処理されたデータセットの統合分析プラットフォームとして機能します。
Fabricの SQL データベースは、SQL Database に基づく開発者向けのトランザクション データベースです。 これを使用して、Fabric でオペレーション データベースを作成できます。 Fabricの SQL データベースでは、SQL Database と同じ SQL データベース エンジンが使用されます。 このアーキテクチャでは、Fabricの SQL データベースは、移行されたメインフレームの運用データ用の最新のトランザクション データベース オプションを提供します。
Compute
Azure Data Factoryは、コンピューティング インフラストラクチャである統合ランタイム (IR) を使用して、さまざまなネットワーク環境間でデータを統合するクラウドベースのデータ統合サービスです。 Azure Data Factoryは、オンプレミス ネットワーク内のクラウド データ ストアとデータ ストアの間で、セルフホステッド PR を使用してデータをコピーします。 このアーキテクチャでは、Azure Data Factoryはメインフレーム ソースからAzureターゲットへのデータ移行を管理します。
オンプレミス データ ゲートウェイは、ローカル にインストールされたWindows クライアント アプリケーションであり、ローカル データ ソースとMicrosoft Cloud サービスの間のブリッジとして機能します。 このアーキテクチャでは、オンプレミス データ ゲートウェイによって、メインフレーム システムとAzure サービス間のセキュリティで保護された接続が確立されます。
Azure 仮想マシンは、オンデマンドでスケーラブルなコンピューティング リソースを提供するサービスとしてのインフラストラクチャ (IaaS) です。 Azure仮想マシン (VM) は仮想化の柔軟性を提供しますが、物理ハードウェアのメンテナンス要求を排除します。 Azure VM は、Windows や Linux などのオペレーティング システムと互換性があります。 このアーキテクチャでは、Virtual Machinesは、SQL Server Migration Assistant for Db2 やカスタム変換アプリケーションなどの移行ツールをホストします。
データ インテグレーター
Azure Data Factoryは、ハイブリッド データ統合サービスです。 Azure Data Factoryは、ネイティブ コネクタを使用して、Db2 ソースからAzure データベース ターゲットにデータを移行します。 このアーキテクチャでは、Azure Data Factoryはメインフレーム データ移行ワークフローのプライマリ データ統合サービスとして機能します。
AzCopy は、BLOB またはファイルをストレージ アカウントとの間で移動するコマンド ライン ユーティリティです。 このアーキテクチャでは、AzCopy移行プロセス中に大量のメインフレーム ファイル システム データをAzure Storageに転送します。
SQL Server Integration Services は、エンタープライズ レベルのデータ統合および変換ソリューションを作成するためのプラットフォームです。 このアーキテクチャでは、これを使用して、メインフレームの移行中に次のようなデータ変換タスクを実行します。
ファイルのコピーまたはダウンロード。
データ ウェアハウスの読み込み。
データ クレンジングとデータ マイニング。
SQL Server オブジェクトとデータの管理。
Host Integration Server テクノロジとツールは、既存の IBM ホスト システム、プログラム、メッセージ、およびデータをAzureアプリケーションと統合できます。 ホスト ファイル クライアント コンポーネントは、EBCDIC から ASCII に変換されたデータに柔軟性を提供します。 たとえば、変換されたデータから JSON または XML 形式のデータを生成できます。 このアーキテクチャでは、Host Integration Server は EBCDIC でエンコードされたメインフレーム データを ASCII 形式に変換し、Azure使用します。
Azure Databricks はデータ分析プラットフォームです。 Azure Databricksは Apache Spark オープンソース分散処理システムに基づいており、Azure クラウド プラットフォーム用に最適化されています。 分析ワークフローでは、Azure Databricks は複数のソースからデータを読み取り、Spark を使用して分析情報を提供します。
Fabricは、エンタープライズ対応のエンド ツー エンドの分析プラットフォームです。 データ移動、データ処理、インジェスト、変換、リアルタイム イベント ルーティング、レポート作成を統合します。 Fabricでは、次の統合サービスを使用してこれらの機能をサポートしています。
ファブリックデータエンジニアリング
ファブリック データ ファクトリー
ファブリック データ サイエンス
ファブリック Real-Time インテリジェンス
ファブリック・データウェアハウス
ファブリック データベース
このアーキテクチャでは、Fabric は、エンド ツー エンドのメインフレーム データ最新化とビジネス インテリジェンスのための包括的な分析プラットフォームを提供します。
その他のツール
SQL Server Migration Assistant for Db2 は、Db2 から Microsoft データベース サービスへの移行を自動化します。 VM 上の SQL Server Migration Assistant for Db2 は、Db2 データベース オブジェクトをSQL Serverデータベース オブジェクトに変換し、それらのオブジェクトをSQL Serverに作成します。 このアーキテクチャでは、SQL Server Migration Assistant for Db2 は、メインフレームの Db2 データベース スキーマとオブジェクトをデータベース ターゲットAzure自動変換します。
ホスト ファイルのData Providerは、オフライン、システム ネットワーク アーキテクチャ (SNA)、または TCP/IP 接続を使用する Host Integration Server のコンポーネントです。
オフライン接続。 Data Providerローカル バイナリ ファイル内のレコードの読み取りと書き込みを行います。
SNA 接続。 Data Provider、リモート z/OS (IBM Z シリーズのメインフレーム) データセットまたはリモート i5/OS (IBM AS/400 および iSeries システム) 物理ファイルに格納されているレコードを読み取りおよび書き込みます。
TCP/IP 接続。 TCP/IP 接続を使用するのは i5/OS システムだけです。
このアーキテクチャでは、ホスト ファイルのData Providerによって、メインフレーム ファイル システムとAzure アプリケーション間の接続とデータ アクセスが提供されます。
Azure サービスは、パブリック クラウドでの新しいアプリケーション開発とスケーリングのための環境、ツール、プロセスを提供します。 このアーキテクチャでは、Azure サービスは、最新化されたメインフレーム アプリケーションとデータ分析ワークロード用のターゲット クラウド プラットフォームを提供します。
シナリオの詳細
Azure データ プラットフォームなどの最新のデータ ストレージ ソリューションは、メインフレームおよびミッドレンジ システムよりも優れたスケーラビリティとパフォーマンスを提供します。 システムをアップグレードする場合は、これらの利点にアクセスできますが、テクノロジ、インフラストラクチャ、手順の更新が複雑になる可能性があります。 組織のビジネスおよびエンジニアリングアクティビティを徹底的に調査します。 データ管理、データの視覚化、およびデータ統合の手順を検討します。
最新化を成功させるには、 データ優先戦略を使用します。 このアプローチでは、データ管理が最新化戦略の中心となる新しいシステムではなく、データに焦点を当てています。 断片化され、管理が不十分なデータ ソリューションを、調整された品質指向の戦略に置き換えます。
このソリューションでは、Azureデータ プラットフォーム コンポーネントをデータ優先アプローチで使用します。 具体的には、ソリューションには次のものが含まれます。
- オブジェクト変換。 オブジェクト定義をソース データ ストアからターゲット データ ストア内の対応するオブジェクトに変換します。
- データ取込 ソース データ ストアに接続し、データを抽出します。
- データ変換。 抽出されたデータを適切なターゲット データ ストア構造に変換します。
- データ ストレージ。 最初に、ソース データ ストアからターゲット データ ストアにデータを継続的に読み込みます。
考えられるユース ケース
次の操作を行う場合は、このソリューションを利用できます。
- ビジネスクリティカルなワークロードを最新化します。
- ビジネス インテリジェンスを獲得して運用を改善し、競争上の優位性を獲得します。
- メインフレームとミッドレンジのデータ ストアに関連付けられている高コストと剛性を削除します。
Contributors
Microsoft では、この記事を保持しています。 次の共同作成者がこの記事を書きました。
主要著者:
- アシッシュ カンデルワル |プリンシパル エンジニアリング アーキテクト マネージャー
その他の共同作成者:
- Nithish Aruldoss | エンジニアリング アーキテクト
- ロドリゴ・ロドリゲス |AI と Quantum のシニア クラウド ソリューション アーキテクト