Power BI Dataflows (Gen1)は8年以上にわたり、解析ソリューションの重要な要素として顧客に信頼されてきました。新たに発表されたDataflows Gen2は、Gen1の経験を継承しつつ、スケール、柔軟性、コスト効率、管理性を大幅に向上させています。Gen1は今後レガシー状態に移行し、詳細な廃止日が定まるまで現行の機能は維持されます。Gen2では、AI支援や診断機能が強化され、広範な出力先をサポートします。新プロジェクトにはGen2を推奨しており、既存のGen1からの移行計画も始めるべきです。

Power BI データフローの未来: Gen2 のお知らせ

8年以上にわたり、顧客は Power BI データフロー (Gen1) を分析ソリューションのコア部分として信頼してきました。再利用可能で、ローコードなデータ準備パイプラインを構築するために Power Query の体験を信頼していただき、感謝しています。これにより、レポート、セマンティックモデル、ダウンストリーム分析が強化されました。

今回は、データフローの未来についての更新をお知らせします。

データフロー Gen2 の登場

データフロー Gen2 は、これまでの Gen1 の知識を基に、新たに大幅な改善をもたらします。熟知した Power Query の編集体験を保持しつつ、スケール、柔軟性、コスト効率、管理性が向上しました。今後、すべての新しいデータフローの革新は Gen2 のみに提供されます。

データフロー Gen1 の未来

Power BI データフロー Gen1 はアクティブな革新の終了を迎え、レガシー 状態に移行します。

• 現在の Gen1 データフローは、当面の間機能し続けます。しかし、Gen1 の具体的な引退日が 確定中 であり、計画が進むにつれて詳細をお伝えします。Gen1 を Premium キャパシティ で利用しているお客様には、データフロー Gen1 が引退される前に最低 12 ヶ月の通知を提供します。（Gen1 を Pro または Premium-Peruser で使用している場合は、最新の投資を活用するために データフロー Gen2 への移行を強く推奨します。）
• それまでの間、Gen1 のアーティファクトは利用可能であり、レガシー と明確にマークされます。
• データフロー Gen1 に対して新機能は計画されていません。サポートは、既存のアーキテクチャ内で安全に提供できる高影響な問題に限られます。多くの残りの制限は、アーキテクチャの大幅な変更が必要であり、これを解決するにはデータフロー Gen2 への移行が最善です。

これらの声明は、すべての Dataflows Gen1 に適用されます―Pro、PPU、Premium ライセンスの使用を含みます。

データフロー Gen2 の新機能

データフロー Gen2 は、Power Query の馴染みのある体験を持ちながら、スケール、パフォーマンス、ガバナンス、コスト効率の大幅なプラットフォームレベルの改善を導入しています。以下は、各利点の詳細です。

より柔軟な出力先

データフロー Gen2 は、ビジネス、部門、企業のシナリオにわたる多様なデータアーキテクチャに合わせた広範な出力先をサポートします。

• SharePoint と OneDrive は、下流のワークフロー、Office 自動化、Power Automate や Teams との統合のために更新されたファイル (CSV、Excel) を必要とするビジネスユーザーに最適です。
• Azure Data Lake Storage は、データサイエンスや機械学習のためのスケーラブルなインジェクションパイプラインを構築しているお客様に適しています。
• Azure SQL Database / SQL MI は、運用報告、標準化されたリレーショナルストレージ、ハイブリッド分析シナリオを実現します。
• Microsoft Fabric Lakehouse / Warehouse / SQL analytics エンドポイント は、Fabric ビジョンに沿った最もシームレスな出力先です。Gen2 は Fabric ランタイムと深く統合され、パフォーマンス、セマンティクスの一貫性、ガバナンスの整合性を向上させます。
• Snowflake およびその他のクラウドデータベース は、マルチクラウドアーキテクチャをサポートし、複数のウェアハウステクノロジーに標準化されている企業顧客の摩擦を軽減します。

この広範な出力先の範囲により、チームはデータフローを 一般目的のローコードデータインジェクションおよび変換レイヤー として使用でき、Gen1 ではサポートされていなかった多くのシナリオが実現可能になります。

パフォーマンスとスケールの向上

データフロー Gen2 は Fabric ランタイムとモダンな実行エンジンに基づき、パフォーマンス、信頼性、拡張性のステップチェンジを実現しています。

• モダンなクエリ評価 は Fabric の弾力的なコンピュートレイヤーを活用してスケーリング動作を自動的に管理し、手動最適化やワークロード調整の必要性を最小限に抑えます。
• ファストコピー技術 は Fabric 先への高スループットインジェクションをサポートし、毎分ギガバイト単位のデータ移動を可能にします。
• 並列実行 により、複数のパーティションや変換ステップが同時に処理でき、Gen1 と比較してリフレッシュ時間が大幅に短縮されます。
• 大規模データセットへの強化サポート が、メモリ管理、高カーディナリティデータ処理、無制限のインジェクションパターンを改善します。
• 予測可能なリフレッシュ動作 により、さまざまなワークロード条件下でより一貫したパフォーマンスが保証されます。

これらの改善により、特に大規模または頻繁に更新されるデータフローに依存する企業環境において、より耐久性があり高性能なデータ準備エンジンが確立されます。

AI サポートの強化

データフロー Gen2 は、開発を加速し、品質を向上させ、複雑な変換に取り組むユーザーの学習曲線を低減するために設計された統合されたAI機能を導入しています。

• コパイロット支援の作成 が、自然言語の指示を Power Query 論理に変換し、生産性を向上させ、M の専門知識が限られたユーザーの参入障壁を低下させます。
• コード説明機能 が、複雑またはレガシーな M スクリプトを簡単に理解できる自然言語の説明に変換し、メンテナンス性を改善し、新入社員のオンボーディングを簡素化します。
• 自動パフォーマンスおよびフォールダビリティの推奨 が、ユーザーが変換を折りたたむパターンに合わせるのを支援し、より迅速なロード時間と低いコンピュータ消費を実現します。
• AI によるデータ品質の洞察 が、セマンティックタイプ、外れ値、結合キーを特定し、パイプライン内の一般的なデータ問題を早期に検出するのを助けます。

これらの機能は、作成ライフサイクル全体で一貫したガイダンスを提供し、さまざまなスキルレベルを持つ組織をサポートします。

より豊富な診断機能

Gen2 は、トレース性、トラブルシューティング、および運用の信頼性を改善するために設計された包括的な診断機能を導入しています。

• 詳細なリフレッシュ履歴 が、実行中に時間がかかる部分を明確にするための詳細なタイミング情報を含むようになりました。
• 拡張されたログおよび計測 が、フォールダビリティの決定、コネクタの動作、認証フロー、ネットワーク操作の可視性を提供します。
• すべての出力先にわたる一貫したリフレッシュセマンティクス が、ターゲットストレージシステムに関わらず均一な動作を保証します。
• より大きな運用の透明性 が、根本原因分析をサポートし、障害を特定して解決するまでの時間を短縮します。

これらの診断機能の改善は、チームがデータフローをより効率的に管理し、運用の準備を高めるのに役立ちます。

階層的な価格設定と潜在的なコスト削減

階層的な価格設定モデルの導入は、Gen1 から移行する顧客にとって大きな利点です。

• Gen2 は、データフローの実行を Premium キャパシティの消費から切り離し、Fabric のキャパシティ単位 (CU) に基づいたアーキテクチャに整合させます。
• このモデルにより、顧客は必要なコンピュートリソースに対してのみ 支払うことができ、通常の使用の少ない Premium キャパシティを維持する必要がなくなります。
• 弾力的なスケーリングにより、高ボリュームまたはバーストワークロードはピーク時に比例的に多くのコンピュートを消費でき、一方で軽いワークロードはコストが低く抑えられます。
• 予測不可能または季節的なリフレッシュパターンを持つ組織は、Gen1 の Premium キャパシティでの実行に比べて substantial コスト削減を実現できます。

この柔軟なコストモデルにより、特に多様または急速に進化するデータリフレッシュパターンを持つ企業のために、より予測可能で効率的なリソース利用が提供されます。

お勧め：アップグレードの計画を始める

新しいプロジェクトを開始する場合は、データフロー Gen2 の使用を強くお勧めします。それは、パフォーマンス、診断機能の豊かさ、組み込みの AI、幅広い出力先サポート、柔軟なコストモデルを提供します。

既存の Gen1 データフローについても、今が アップグレードの計画を始めるべき時です。

今すぐ始めることで、ポートフォリオの一部から段階的にモダン化を進めつつ、すべての Power Query スキルを維持して移行できます。

ありがとうございます

データフローと Power Query に対する長年の投資に、改めて感謝申し上げます。私たちは、データフロー Gen2 への移行をサポートし、新世代の分析ソリューションのための新しい機能を解放するお手伝いができることに興奮しています。

————-

Dataflows: Thank you for eight years of Gen1—and why Gen2 is the future | Microsoft Power BI Blog

Source link

For over eight years, customers have successfully utilized Power BI Dataflows (Gen1) for their analytics needs, relying on Power Query for reusable, low-code data preparation. Today, Microsoft announces the transition to Dataflows Gen2, which retains the familiar Power Query experience while offering significant enhancements in scale, flexibility, cost efficiency, and manageability.

Dataflows Gen1 will enter a Legacy state, meaning it will no longer receive new features and is moving towards retirement, although existing workflows will remain functional for the foreseeable future. Customers using Gen1, especially at Premium capacity, will receive at least 12 months’ notice before retirement.

Key improvements in Dataflows Gen2 include:

1. Flexible Destinations: Gen2 supports a wider range of data output options like SharePoint, Azure Data Lake Storage, and more, enhancing compatibility across various business and enterprise scenarios.

2. Performance and Scale: Built on a modern execution engine, Gen2 offers improved performance, reliability, and scalability, with features like parallel execution and efficient ingestion processes.

3. AI Assistance: Integrated AI capabilities aid development and quality control, providing users with tools like natural language query conversion and performance recommendations.

4. Enhanced Diagnostics: Gen2 offers better tracking and troubleshooting tools to improve operational reliability and reduce downtime.

5. Tiered Pricing: A new pricing model decouples execution from Premium capacity, resulting in potential cost savings for customers with variable workloads.

Microsoft encourages users to begin planning their transition to Dataflows Gen2 to take advantage of these advancements, marking a significant evolution in Power BI analytics solutions.