非モデリングによる長期的な 5G ネットワーク トラフィック予測

Apr 12, 2023

通信工学第 2 巻、記事番号: 33 (2023) この記事を引用

メトリクスの詳細

5G 携帯電話ネットワークは最近、さまざまな新しいアプリケーションを促進していますが、その人気により、ネットワークの拡張をはるかに上回るトラフィックの増加につながっています。 この不一致により、ネットワークの品質が低下し、重大なパフォーマンスの問題が発生する可能性があります。 リスクを軽減するために、通信事業者は数か月先のネットワーク拡張計画を実行するために長期的なトラフィック予測を必要とします。 ただし、長期的な予測期間では系列データの非定常性が明らかになり、既存のアプローチのパフォーマンスが低下します。 私たちは、定常プロセスを適切に設計された階層構造に組み込み、マルチスケールの安定した特徴を備えた非定常時系列をモデル化する深層学習モデル Diviner を開発することで、この問題に対処します。 複雑なフロー パターンを持つ大規模なポートに対する詳細な月レベルの予測により、5G ネットワーク トラフィック予測における現在の最先端技術と比較して、Diviner のパフォーマンスが大幅に向上していることを実証します。 さらに広範な実験により、変更を加えずにさまざまな予測シナリオに適用できることが示され、より広範なエンジニアリング問題に対処できる可能性が示されています。

5G テクノロジーは、より高速な転送速度、より広い帯域幅、信頼性、セキュリティにより、最近世界中で人気を集めています。 5G テクノロジーは、4G よりも低い遅延で 20 倍速い理論上のピーク速度を達成でき、オンライン ゲーム、HD ストリーミング サービス、ビデオ会議などのアプリケーションを促進します1、2、3。 5G の発展は驚くべきペースで世界を変え、遠隔医療、自動運転、拡張現実などの新興産業を育成しています4、5、6。 これらの業界やその他の業界では、ネットワーク トラフィックが 1,000 倍に増加すると推定されており、これらの成長するサービスやアプリケーションに対応するための追加の容量が必要です7。 それにもかかわらず、ボードカードやルーターなどの 5G インフラストラクチャは、コストを厳密に考慮して導入および管理する必要があります 8、9。 したがって、通信事業者は、大規模な連続したデバイスや断片化されたネットワーク間のリンクを避けるために分散アーキテクチャを採用することがよくあります10、11、12、13。 図 1a に示すように、新興都市ルーターは都市アクセス ルーターをリンクするハブとなり、サービスにアクセスして効果的に統合できます。 ただし、5G デバイスの構築サイクルでは、スケジュール、調達、展開に約 3 か月かかります。 新しいインフラストラクチャを計画するには、容量使用率が事前に設定されたしきい値を超える瞬間を予測するために、数か月先の正確なネットワーク トラフィック予測が必要です。容量使用率が過負荷になると、最終的にパフォーマンスの問題が発生する可能性があります。 もう 1 つの問題は、粒度の粗い 5G インフラストラクチャの構築によって引き起こされるリソースの過剰に関するものです。 これらの危険を軽減するために、通信事業者は長期的なネットワーク トラフィック予測に基づいて数か月前にネットワーク拡張計画を策定します。これにより、ネットワーク インフラストラクチャのアップグレードと拡張の長期計画が容易になり、次の計画期間に備えることができます14、15、16、17。

a 当社は MAR-MER リンクからデータを収集します。 オレンジ色のシリンダーはメトロポリタン エマージング ルーター (MER) を示し、淡い青色のシリンダーはメトロポリタン アクセス ルーター (MAR) を示します。 b 導入された 2D → 3D 変換プロセスの図。 具体的には、K 日間にわたるネットワーク トラフィック データの時系列を考慮して、時系列行列 \(\widetilde{{{{{{{\bf{X}}}}}}}}=[{\tilde {{{{{{{{\bf{x}}}}}}}}_{1}\,\,{\チルダ{{{{{{{{\bf{x}}}}} }}}}}_{2}\,\,\ldots \,\,{\チルダ{{{{{{{\bf{x}}}}}}}}}_{K}]\ )、各 \({\tilde{{{{{{{{\bf{x}}}}}}}}}}_{i}\) は、長さ T の 1 日の交通量データを表します。結果として得られる 3D プロットには、毎日の時間ステップ、毎日の時間ステップ、および inbits トラフィックが標準化された x、y、z 軸に沿ってそれぞれ表示されます。 2D プロットの青い線と 3D プロットの淡い赤色の平面の原点に近い側は過去のネットワーク トラフィックを表し、2D プロットの黄色がかった線と 3D の淡い赤色の平面の原点から遠い側はネットワーク トラフィックを表します。プロットは、予測する将来のネットワーク トラフィックを表します。 c 提案された Diviner の全体的な作業フロー。 青い実線はデータ ストリームの方向を示します。 Diviner のエンコーダー ブロックとデコーダー ブロックの両方には、平滑化フィルター アテンション メカニズム (黄色がかったブロック)、差分アテンション モジュール (薄紫のブロック)、残差構造 (薄緑色のブロック)、フィードフォワード レイヤー (灰色のブロック) が含まれています。 最後に、ワンステップ畳み込みジェネレーター (マゼンタのブロック) を使用して、動的デコーディングをシーケンス生成手順に変換します。

業界では、過去のトラフィック データを分析してネットワーク トラフィックの潜在的な増加率を計算するのが一般的です18。 ただし、このアプローチは新しいサービスの需要を予測するために拡張することができず、長期的な予測としては満足できるものではありません。 そして、過去のネットワーク トラフィックに含まれる潜在的な依存関係を調査することでこのジレンマを解決するために、予測ベースの手法が導入されました。これにより、将来のトラフィック量を評価するための制約とソースの両方が提供されます。 ネットワーク プランナーは、依存関係を利用して十分な長期間のトラフィック予測を推定し、持続可能な拡張スキームと緩和戦略を開発できます。 このタスクの主な課題は、長期的なネットワーク トラフィックの正確な予測を取得することです。 ただし、既存の方法の予測範囲を直接拡張することは、長期予測には効果的ではありません。これらの方法では、長期予測範囲によって時系列の非定常性が明らかになるため、パフォーマンスが大幅に低下するからです。 実世界の時系列データに固有の非定常性は、マルチスケールの時間変動、ランダムな摂動、および外れ値によって引き起こされ、さまざまな課題が生じます。 これらをまとめると次のようになります。 (a) マルチスケールの時間変動。 長期時系列全体にわたるマルチスケール (日次、週次、月次、年次) の変動は、時系列内にマルチスケールの非定常潜在パターンがあることを示しており、モデル設計ではこれを包括的に考慮する必要があります。 たとえば、季節成分は、特定のスケールでの変動を示すだけです。 (b) ランダム要因。 ランダムな摂動や外れ値は、安定した規則性の発見を妨げるため、予測モデルの堅牢性が高まります。 (c) データ配布のシフト。 時系列の非定常性により、時間の経過とともに変化する入力データ分布に伴うデータセットのシフトの問題が必然的に発生します。 図 1b はこれらの課題を示しています。

次に、非定常性の問題への対処に関する既存の方法の欠点を確認します。 既存の時系列予測手法は、通常、従来のモデルと深層学習モデルの 2 つのカテゴリに分類されます。 ARIMA19、20 や HoltWinters21、22、23、24、25 などの従来のモデルのほとんどは、時系列に対するある程度の洞察を考慮して構築されていますが、線形に実装されているため、非定常時系列のモデル化に問題が発生します。 さらに、これらのモデルは時系列に適合するように手動で調整されたパラメーターに依存しているため、大規模な予測シナリオへの適用が妨げられます。 Prophet26 はこれらの問題に対処するために非線形モジュールと解釈パラメーターを使用していますが、その手作りの非線形モジュールは非定常時系列を簡単にモデル化するための支援を必要としています。非定常時系列の複雑なパターンにより、手作りの関数にさまざまな要素を埋め込むのは非効率的です。 このジレンマにより、深層学習手法の開発が促進されます。 深層学習モデルは、複数のレイヤーを利用して、より高度で抽象的なレベルで潜在的な特徴を表現できます27。これにより、非定常時系列における深い潜在パターンを認識できるようになります。 リカレント ニューラル ネットワーク (RNN) とトランスフォーマー ネットワークは、2 つの主要な深層学習予測フレームワークです。 RNN ベースのモデル 28、29、30、31、32、33、34 は、モデルが履歴データを記憶し、入力および出力として可変長シーケンスを処理できるようにするフィードバック ループを備えており、タイム ステップ間の累積依存関係を計算します。 それにもかかわらず、このような時間的依存関係の間接的なモデリングでは、履歴データ内のさまざまなスケールからの情報を解きほぐすことができないため、非定常時系列内のマルチスケールの変動を捉えることができません。 変圧器ベースのモデル 35、36、37 は、フィードバック ループではなくグローバルな自己注意メカニズムを使用してこの問題を解決します。 そうすることで、系列データ内のより長い依存関係や相互作用をキャプチャするネットワークの能力が強化され、さまざまな時系列アプリケーションに刺激的な進歩がもたらされます38。 長期の時系列処理をより効率的に行うために、いくつかの研究 39、40、41 では、セルフアテンション メカニズムをスパース バージョンに変更しています。 ただし、長期予測結果が有望であるにもかかわらず、時系列の特殊性はモデリング プロセス中に考慮されず、非定常時系列の分布の変化により予測パフォーマンスが低下します。 最近の研究では、時系列分解を深層学習モデルに組み込むことが試みられています42、43、44、45、46、47。 その結果は有望であり、より解釈的で合理的な予測をもたらしますが、その限定された分解、たとえばトレンド季節分解は、コンポーネント間の相関関係を逆転させ、特定のスケールでの時系列の変動を示すだけです。

この研究では、深層定常プロセスをニューラル ネットワークに組み込んで、正確な長期 5G ネットワーク トラフィック予測を実現します。この予測では、確率過程理論が定常イベントの予測を保証できます 48、49、50。 具体的には、図1cに示すように、定常プロセスを適切に設計された階層構造に組み込み、マルチスケールの安定した特徴を備えた非定常時系列をモデル化する深層学習モデルDivinerを開発します。 有効性を検証するために、チャイナユニコムの5Gサービスを提供するインテリジェント都市ネットワークから広範なネットワークポートトラフィックデータセット（NPT）を収集し、提案されたモデルを複数のアプリケーションにわたる多数の現行技術と比較します。 私たちは、時系列予測に対して 2 つの異なる研究貢献を行っています。 (1) 深層学習パラダイムで非定常性をモデル化することで、長期時系列予測で生じる課題を解決する道を模索します。 このラインは、特定のスケールでの時間的変化を単に提示するだけの限定された分解に対して時間的分解を組み込んだ以前の作品よりもはるかに普遍的で効果的です。 (2) 非定常時系列内のマルチスケールの安定した規則性をモデル化するために、適切に設計された階層構造を備えた深層学習フレームワークを開発します。 同じ層でさまざまなモジュールを使用する以前の方法とは対照的に、異なる層間で動的スケール変換を実行し、対応する層で安定した時間依存関係をモデル化します。 この階層的な深い定常プロセスは、ディープ ニューラル ネットワークのカスケード機能埋め込みと同期するため、長期履歴に含まれる複雑な規則性を捕捉し、正確な長期ネットワーク トラフィック予測を実現できます。 私たちの実験は、非定常性に関するより多くの要因を考慮することでロバスト性と予測精度が大幅に向上することを示しており、これにより深層学習手法の長期予測能力を向上させる手段が提供されます。 さらに、非定常性のモデリングがネットワーク トラフィック内の非線形の潜在的な規則性を発見し、最長 3 か月にわたる高品質な長期 5G ネットワーク トラフィック予測を実現できることも示します。 さらに、当社のソリューションを気候、制御、電力、経済、エネルギー、輸送の分野に拡張し、このソリューションが複数の予測シナリオに適用できることを示し、より広範なエンジニアリング問題を解決する貴重な可能性を示しています。

このセクションでは、深層定常プロセスを使用して長期時系列予測の非定常性に取り組む、私たちが提案する深層学習モデル Diviner を紹介します。これは、マルチスケールの安定した特徴を捕捉し、マルチスケールの安定した規則性をモデル化して長期の安定性を実現します。期間時系列予測。

図 2a に示すように、平滑化フィルター アテンション メカニズムは特徴スケールを調整し、Diviner がさまざまなスケールから時系列をモデル化し、非定常時系列内のマルチスケール変動特徴にアクセスできるようにします。 このコンポーネントは、ノンパラメトリック回帰の古典的なアルゴリズムである Nadaraya-Watson 回帰 51,52 に基づいて構築されています。 サンプル空間 \(\Omega =\{({x}_{i},{y}_{i})| 1\le i\le n,{x}_{i}\in {\mathbb{ R}},{y}_{i}\in {\mathbb{R}}\}\)、ウィンドウ サイズ h、およびカーネル関数 K( ⋅ ) を使用すると、Nadaraya-Watson 回帰は次の式になります。

ここで、カーネル関数 K( ⋅ ) は \(\int\nolimits_{-\infty }^{\infty }K(x)dx=1\) の影響を受け、n、x、y はサンプル サイズ、独立変数、およびそれぞれ従属変数。

a このパネルには、平滑化フィルタ アテンション メカニズムが表示されます。これには、適応重み K(ξi, ξj) (オレンジ色のブロック) を計算し、自己マスク構造 (破線の灰色のブロック) を使用して外れ値をフィルタリングすることが含まれます。ここで、ξi は i 番目の値を示します。埋め込まれた時系列期間 (黄色のブロック)。 適応重みは、入力系列の特徴スケールを調整し、スケール変換された周期埋め込み hi (ピンクのブロック) を取得するのに役立ちます。 b この図は、差異注意モジュールを示しています。 行列差分変換 (淡い青色のブロック) は、行列の隣接する列を減算して、シフトされたクエリ、キー、および値の項目 (ΔQ、ΔK、および ΔV) を取得します。 次に、自己回帰マルチヘッドセルフアテンションが (淡い青色の背景で) 実行され、さまざまなタイム ステップにわたる時系列の相関関係が取得されます。その結果、 \({\widetilde{{{{{{{{\bf{V }}}}}}}}}}_{s}^{(i)}\) i 番目のアテンションヘッド。 ここで、\({{{{{{{\bf{Q}}}}}}}}}_{s}^{(i)}\)、\({{{{{{{{\bf {K}}}}}}}}}_{s}^{(i)}\), \({{{{{{{{\bf{V}}}}}}}}_{s }^{(i)}\)、および \({\widetilde{{{{{{{\bf{V}}}}}}}}}_{s}^{(i)}\)クエリ、キー、値、結果をそれぞれ項目で表します。 \({{{{{{\rm{SoftMax}}}}}}}\) は、クエリ ベクトルとキー ベクトルの間のスケーリングされたドット積に適用され、アテンション ウェイト (薄黄色のブロック) が取得されます。 \({{{{{{{\rm{SoftMax}}}}}}}}\) 関数の式は \({{{{{{\rm{SoftMax}}}}}}} です({{{{{{{\bf{k}}}}}}}_{i})={e}^{{{{{{{{{\bf{k}}}}} }}}}_{i}}/\mathop{\sum }\nolimits_{j = 1}^{n}{e}^{{{{{{{{{\bf{k}}}}}} }}}_{j}}\)、ここで、ki は入力ベクトルの i 番目の要素、n は入力ベクトルの長さです。 最後に、Matrix-CumSum 演算 (明るいオレンジ色のブロック) は、ConCat 演算を使用してシフトされた特徴を累積します。Ws は学習可能な集計パラメーターを示します。

ナダラヤ・ワトソン回帰では、局所加重平均法を使用して回帰値 \(\hat{y}\) を推定します。ここで、サンプルの重み (xi, yi)、\(K(\frac{x-{x}_ {i}}{h})/\mathop{\sum }\nolimits_{j = 1}^{n}K(\frac{x-{x}_{j}}{h})\)、次のように減衰します。 x から xi までの距離。 その結果、主サンプル (xi, yi) はその近傍のサンプルに近くなります。 このプロセスは、隣接するサンプルがより重要な視覚的スケールで近づくという、スケール変換の基本的な概念を意味します。 この考えに触発されて、スケール変換の観点からナダラヤ・ワトソン回帰を再定式化できます。 それをアテンション構造に組み込んで、学習可能なスケール調整ユニットを設計します。 具体的には、学習可能なカーネル関数とセルフマスク操作を備えた平滑化フィルター アテンション メカニズムを導入します。前者は適応的な特徴スケール調整のために変動を縮小 (または拡大) し、レターは外れ値を除去します。 理解を容易にするために、ここでは 1D 時系列のケースを考慮しますが、高次元のケースは簡単に外挿できます (セクション「方法」で数学的に示します)。 タイムステップ ti が与えられた場合、値 {yt∣t ≠ ti}、\({\hat{y}) の適応加重平均を使用して、その回帰値 \({\hat{y}}_{i}\) を推定します。 }_{i}={\sum }_{j\ne i}{\alpha }_{j}{y}_{j}\)、ここで適応重み α は学習可能なカーネル関数 f によって取得されます。 サイズ n − 1 のパンクチャされたウィンドウ {tj∣tj ≠ ti} は自己マスクされた操作を示し、 \(f{({y}_{i},y)}_{{w}_{i}}= exp({w}_{i}{({y}_{i}-y)}^{2})\), \({\alpha }_{i}=f{({y}_{i },y)}_{{w}_{i}}/{\sum }_{j\ne i}f{({y}_{j},y)}_{{w}_{i} }\)。 適応重みは内部変化 \(\{{({y}_{i}-y)}^{2}| {t}_{i}\ne t\}\) (減少または増加) に応じて変化します。これにより、各タイム ステップにわたる点の距離が調整 (縮小または拡大) され、適応的な特徴スケール変換が実現されます。 具体的には、小さな変動は、大きな特徴スケールではさらに縮小され、小さな特徴スケールでは拡大され、またその逆も同様です。 ランダムなコンポーネントに関しては、グローバル アテンションは、小さな摂動をフィルタリングするのに役立つ平均平滑化方法として機能します。 外れ値に関しては、通常の項目に対するマージンが大きいため、重みが小さくなり、外れ値の干渉が排除されます。 特にサンプル (ti, yi) が外れ値になった場合、この構造は無視されます。 したがって、平滑化フィルター アテンション メカニズムはランダムなコンポーネントをフィルターで除去し、特徴スケールを動的に調整します。 このようにして、さまざまなスケールに応じて非定常時系列を動的に変換することができ、包括的な視野の下で時系列にアクセスできます。

差分注意モジュールは、安定してシフトされた特徴間の内部接続を計算して、非定常時系列内の安定した規則性を発見し、それによって不均一な分布の干渉を克服します。 具体的には、図 2b に示すように、このモジュールにはセルフ アテンション メカニズム 35 の両端に差分演算と CumSum 演算が含まれており、各時間ステップにわたるシフトを相互接続して、非定常時系列内の内部接続をキャプチャします。 差分演算では、シフトを長期トレンドから分離します。シフトとは、隣接するタイム ステップ間のトレンドのわずかな違いを指します。 傾向により時間の経過とともにデータ分布が変化することを考慮すると、差分演算により時系列が安定し、分布がわずかに変化しても一定の平均レベル付近で変化します。 続いて、セルフアテンション メカニズムを使用してシフトを相互接続し、時系列変動内の時間的依存関係を捕捉します。 最後に、CumSum 操作を使用してシフトされた特徴を蓄積し、発見された規則性に準拠した非定常時系列を生成します。

スムージング フィルター アテンション メカニズムは、ランダムなコンポーネントをフィルターで除去し、特徴スケールを動的に調整します。 その後、差分注意モジュールが内部接続を計算し、対応するスケールで時系列内の安定した規則性を捕捉します。 これら 2 つのモジュールをカスケード接続すると、1 つの Diviner ブロックが 1 つのスケールで非定常時系列内の安定した規則性を発見できます。 次に、Diviner ブロックを多層構造に積み重ねてマルチスケール変換層を実現し、非定常時系列からマルチスケールの安定した特徴をキャプチャします。 このような多層構造は、データを効率的に利用するために、非対称の入力長を備えたエンコーダ/デコーダ アーキテクチャで編成されています。 エンコーダーは傾向を埋め込むために長い歴史的系列を取得し、デコーダーは比較的短い時系列を受け取ります。 エンコーダーとデコーダー間のクロスアテンションにより、最新の時系列を長い歴史的系列からの関連する変動パターンと組み合わせて、将来の傾向について推論することができるため、計算効率が向上し、冗長な履歴情報が削減されます。 重要なのは、最新の時系列は、遠い過去の時系列よりも近い将来の予測に役立つということです。一般に、時間ステップ間の相関は、間隔の長さに応じて低下します53、54、55、56、57。 さらに、動的累積誤差の問題を回避するために、1 ステップで予測結果を取得するジェネレーターを設計します39。 このジェネレーターは、線形投影ジェネレーター 39,58,59 に基づいて各タイム ステップ全体でパラメーターを共有する CovNet を使用して構築されており、ハードウェア リソースを節約します。 これらの技術により、深層学習手法でマルチスケールの安定した特徴を備えた非定常時系列をモデル化し、長期時系列予測問題に取り組む試みである生成パラダイムで予測結果を生成することが可能になります。

提案された技術の有効性を検証するために、私たちはチャイナユニコムから広範なNPTを収集しています。 NPT データセットには、現実世界の大都市ネットワーク トラフィック ポートの 3 つのグループ {NPT-1、NPT-2、NPT-3} から 2021 年全体にわたって 15 分ごとに記録されたデータが含まれており、各サブデータセットには {18、5、 5}ポートをそれぞれ。 トレーニングとテストのために、それらを 9:1 の比率で時系列に分割しました。 さらにパラメータ検索用に16個のネットワークポートを用意しています。 主な問題は、分布の明らかな変化と多数の外れ値にあります。 そして、このセクションでは、5G ネットワーク トラフィック予測を適用する際の、予測ベースおよび成長率ベースのモデルとの包括的な比較について詳しく説明します。

まず、Diviner を他の時系列予測ベースの手法と比較します。明確にするために、これらのベースライン モデルを Baselines-T として示します。 Baselines-T には、従来のモデル ARIMA19、20 および Prophet26 が含まれます。 古典的な機械学習モデル LSTMa60。 深層学習ベースのモデル Transformer35、Informer39、Autoformer42、および NBeats61。 これらのモデルは、表 1 の先の {96, 288, 672, 1344, 2880} 予測スパンに合わせて、{1、3、7、14、30} 日後のネットワーク トラフィック シリーズ全体を予測する必要があり、inbits がターゲット機能です。 。 評価に関しては、MAE、MSE、MASEの予測精度は一般に予測間隔が進むにつれて低下しますが、劣化率はモデル間で異なります。 したがって、精度の低下率を測定するために指数関数的な速度インジケーターを導入します。 具体的には、タイム スパン [t1、t2] と、対応する MSE、MAE、および MASE エラーを考慮すると、次のようになります。

ここで \({\,{{\mbox{dMSE}}}}_{{t}_{1}}^{{t}_{2}},{{{\mbox{dMAE}}}}_{ {t}_{1}}^{{t}_{2}},{{{\mbox{dMASE}}}\,}_{{t}_{1}}^{{t}_{2 }}\in {\mathbb{R}}\)。 {NPT-1、NPT-2、および NPT-3} 間の近い実験結果については、主に NPT-1 データセットの結果に焦点を当て、実験結果を表 1 にまとめます。外れ値の量は存在しますが、 NPT データセットの頻繁な振動により、Diviner は従来技術に基づいて平均 38.58% の MSE 削減 (0.451 → 0.277) と平均 20.86% の MAE 削減 (0.465 → 0.368) を達成しました。 さまざまな予測スパンに対するスケーラビリティの点では、Diviner の \({\,{{\mbox{dMSE}}}\,}_{1}^{30}\) ははるかに低く (4.014% → 0.750%)、従来技術と比較して \({\,{{\mbox{dMAE}}}\,}_{1}^{30}\) (2.343% → 0.474%)、パフォーマンスはわずかに低下しますが、パフォーマンスは大幅に向上しています。予測期間が長くなった場合の予測の堅牢性。 すべてのベースラインアプローチの劣化速度と予測パフォーマンスは、スペースの制限に関して補足表S1に提供されています。

補足データ 1 に示されている NPT-2 および NPT-3 の実験は上記の結果を再現しており、Diviner は正確な長期ネットワーク トラフィック予測をサポートし、精度と堅牢性に関する現在の技術を大幅に上回っています。 さらに、Transformer フレームワークで確立されたベースラインの総合的なパフォーマンス (平均 MASE エラーによって取得) を並べ替えると、次の結果が得られます: Diviner > Autoformer > Transformer > Informer。 この順序は、これらのモデルで考慮された非定常要因と一致しており、非定常性を組み込むことで時系列をモデル化するニューラル ネットワークの適応能力が促進され、マルチスケール非定常性のモデリングが予測能力の上限を突破するという私たちの提案が検証されます。深層学習モデル用。

2 番目の実験では、Diviner を他の 2 つの産業手法と比較します。これらの手法は、過去の成長率に応じてインビットとアウトビットの容量使用率を予測することを目的としています。 この実験では、実験 1 と同じネットワーク ポート トラフィック データを共有しますが、予測期間を長くするために分割比が時系列で 3:1 に変更されます。 さらに、{30, 60, 90} 日という長い構築サイクル ({2880, 5760, 8640} タイム ステップに合わせて) を使用して、大数の法則に対するこのような成長率に基づく手法の妥当性を確認します。 ここでは、まず容量使用率を数学的に定義します。

固定帯域幅 \(B\in {\mathbb{R}}\) と k 番目の構築サイクルのトラフィック フロー \(\widetilde{{{{{{{\bf{X}}}}}}} を仮定すると、 }}(k)=\left[\begin{array}{cccc}{\tilde{{{{{{{{\bf{x}}}}}}}}}}_{kC+1}&{ \チルダ{{{{{{{\bf{x}}}}}}}}}_{kC+2}&...&{\チルダ{{{{{{{{\bf{x }}}}}}}}}}_{(k+1)C}\end{array}\right]\), \(\widetilde{{{{{{{{\bf{X}}}} }}}}}(k)\in {{\mathbb{R}}}^{T\times C}\)、ここで \({\チルダ{{{{{{{{\bf{x}}} }}}}}}}_{i}\in {{\mathbb{R}}}^{T}\) は、1 日あたりの時系列を表す長さ T の列ベクトルであり、C は 1 日あたりの日数を示します建設サイクル。 次に、k 番目の建設サイクルの設備利用率 (CU) は次のように定義されます。

ここで \(\,{{\mbox{CU}}}\,(k)\in {\mathbb{R}}\)。 定義に示されているように、容量使用率はネットワーク トラフィックに直接関係しているため、ネットワーク トラフィックを正確に予測することが、容量使用率の品質の予測につながります。 提案された予測方法を、業界で一般的に使用されている 2 つの移動平均成長率予測方法、加算および乗算移動平均成長率予測方法と比較します。 明確にするために、加算法を Baseline-A として、乗算法を Baseline-M として示します。 ベースライン A は、隣接する建設サイクルの差を使用して追加の成長率を計算します。 最後の 2 つの建設サイクル CU(k − 1)、CU(k − 2) の設備利用率を考慮すると、次のようになります。

Baseline-M は、隣接する建設サイクルの商を使用して乗算的な成長率を計算します。 最後の 2 つの建設サイクル CU(k − 1)、CU(k − 2) の設備利用率を考慮すると、次のようになります。

上記の 2 つのベースラインとは異なり、ネットワーク トラフィックの予測を使用してネットワークの容量使用率を計算します。 過去 K 回の構築サイクルのネットワーク トラフィックを考慮すると、 \(\widetilde{{{{{{{\bf{X}}}}}}}}}=\left[\begin{array}{ccccccc}{\tilde {{{{{{{{\bf{x}}}}}}}}}_{(kK)C+1}&...&{\チルダ{{{{{{{{\bf{ x}}}}}}}}}}_{(k-K+1)C}&...&{\チルダ{{{{{{{\bf{x}}}}}}} }}_{(k-1)C}&...&{\チルダ{{{{{{{{\bf{x}}}}}}}}}_{kC}\end{array} \right]\)、次のとおりです。

実験結果を表 2 にまとめます。図に示す {NPT-1、NPT-2、および NPT-3} 間の緊密な実験結果については、最も多くのネットワークを持つ NPT-1 データセットの結果に主に焦点を当てます。トラフィックポート。 Diviner は、Baseline-A に対して、インビットで 31.67% MAE (0.846 → 0.578) の大幅な削減、アウトビットで 24.25% MAE (0.944 → 0.715) の大幅な削減を達成します。 直観的に説明すると、成長率に基づく手法は特定の歴史的特徴を抽出しますが、適応性に欠けるということです。 Baseline-A は、Baseline-M よりも平均インビット MAE の 0.045 倍、平均アウトビット MAE の 0.074 倍というパフォーマンスがはるかに優れていることがわかります。 この結果は、ネットワーク トラフィックが指数関数的ではなく直線的に増加する傾向があることを示唆しています。 それにもかかわらず、ネットワーク トラフィック シリーズには固有のマルチスケール変動が残っているため、Diviner は依然として Baseline-A を超えており、ネットワーク トラフィック内の非線形潜在規則性を発見するには Diviner などの深層学習モデルを適用する必要性が示唆されています。

これら 2 つの実験の結果を合わせて分析すると、Diviner は 90 日間の予測に対して比較的低い分解率を示します。\({\,{{\mbox{dMASE}}}\,}_{1}^{ 90}=1.034 \%\)。 対照的に、従来技術の劣化率は、3 倍短い予測に対して \({\,{{\mbox{dMASE}}}\,}_{1}^{30}=2.343 \%\) になります。 30日間の期間。 さらに、提供されたデータセット（約 50 ポート）の多様なネットワーク トラフィック パターンを考慮すると、提案手法は広範囲の非定常時系列に対応でき、変更なしで適用可能であることが検証されます。 これらの実験は、Diviner が高品質の長期ネットワーク トラフィック予測を提供し、深層学習モデルの効果的な予測期間を最大 3 か月延長することに成功したことを証明しています。

気象 (WTH)、変圧器温度 (ETT)、電力 (ECL)、および為替 (Exchange) のベンチマーク データセットでメソッドを検証します。 実験結果を表 3 にまとめます。特に指定がない限り、標準プロトコルに従い、7:1:2 の比率で時系列順にトレーニング、検証、テスト セットに分割します。 スペースの制限のため、完全な実験結果は補足データ 2 に示されています。

WTH データセット 42 には、気温や湿度など、イエナ 2020 年の 21 の気象指標が記録されており、WetBulbFarenheit がターゲットです。 このデータセットは 10 分レベルまで細かく定量化されています。これは、1 日には 144 ステップ、1 か月には 4,320 ステップがあることを意味し、そのため長いシーケンスを処理するモデルの能力が課題となります。 すべてのベースラインの中で、NBeats と Informer の MSE メトリクスと MAE メトリクスの誤差がそれぞれ最も低くなります。 ただし、予測スパンを拡張すると、これら 2 つのモデル間のコントラストに気づきます。 Informer は予測スパンが 2016 年から 4032 年に増加すると急激に低下しますが (MAE:0.417 → 0.853)、逆に NBeats はパフォーマンスが向上しました (MAE:0.635 → 0.434)。 これは、コンテキストとテクスチャの追求のトレードオフによるものだと考えられます。 短期的なケースでは、テクスチャよりもインフォーマーが有利です。 それでも、入力履歴シリーズの長さが予測スパンに合わせて拡張される必要があり、またその逆も同様であることを考慮して、シリーズのコンテキスト依存性をキャプチャする必要があります。 Diviner に関しては、Informer と NBeats の両方と比較して、MAE の平均 29.30% の削減 (0.488 → 0.345) と MSE の平均 41.54% の削減 (0.491 → 0.287) という驚くべき成果を達成しています。 さらに、Diviner の劣化率は \({\,{{\mbox{dMSE}}}\,}_{1}^{30}=0.439 \%\), \({\,{{\mbox {dMAE}}}\,}_{1}^{30}=0.167 \%\) は、時系列内の履歴情報を利用する能力を示しています。 すべてのベースラインアプローチの予測パフォーマンスと劣化率は、補足表S2に提供されています。 私たちのモデルは、コンテキストとテクスチャを合成して短期と長期の両方のケースのバランスをとることができ、正確で堅牢な長期予測を保証します。

ETT データセットには、中国の 2 つの郡からの 6 つの電力負荷特徴を含む 2 年間のデータが含まれており、油温が私たちの目標です。 トレーニング/検証/テスト セットの分割比率は 12/4/4 か月です39。 ETT データセットは、1 時間レベル {ETTh1, ETTh2} と 15 分レベル ETTm1 の 2 つの別々のデータセットに分割されます。 したがって、ETTm1 の予測ステップ {96, 288, 672} が ETTh1 の予測ステップ {24, 48, 168} と一致するように、さまざまな粒度でモデルのパフォーマンスを調べることができます。 私たちの実験では、Diviner がどちらの場合でも最高のパフォーマンスを達成できることがわかりました。 時間レベルのケースではありますが、Diviner は Autoformer に最も近い MSE と MAE でベースラインを上回っています (MSE: 0.110 → 0.082、MAE: 0.247 → 0.216)。 時間レベルの粒度が分レベルのケースに変わると、Diviner は Autoformer を大幅に上回ります (MSE:0.092 → 0.064、MAE:0.239 → 0.194)。 すべてのベースラインアプローチの時間レベルの粒度が分レベルの粒度に変わるときの予測パフォーマンスと粒度の変化が補足表S3に提供されています。 これらは、異なる粒度の時系列を処理する Diviner の能力を示しています。 さらに、粒度はスケールの表れでもあります。 これらの結果は、マルチスケール フィーチャのモデリングが、異なる粒度の時系列の処理に役立つことを示しています。

ECL データセットには 321 のクライアントの 2 年間の電力消費量が記録されていますが、データが欠落しているため時間レベルの消費量に変換されており、MT-320 がターゲット機能です62。 {168, 336, 720, 960} 個の予測ステップに合わせて、{7、14、30、40} 日のさまざまな期間を予測します。 次に、予測スパン（短期予測として ≤360、長期予測として ≥360）に従って実験結果を分析します。 NBeats は短期の電力消費量予測では最高の予測パフォーマンスを実現しますが、長期予測の場合は Diviner がそれを上回ります。 すべてのアプローチの短期および長期のパフォーマンスは、補足表 S4 に示されています。 統計的には、提案された方法は、720 ステップ先で 17.43% MSE (0.367 → 0.303)、15.14% MAE (0.482 → 0.409)、9.44% MAE で 6.56% MSE (0.457 → 0.427) 減少することで、最良のベースライン (NBeats) を上回っています ( 960 ステップ先では 0.540 → 0.489)。 これはスケーラビリティによるものであり、短期的な場合には異なるモデルが収束して同様のパフォーマンスを発揮しますが、予測スパンが長くなるとその違いが現れます。

Exchange データセットには、2016 年から 2021 年まで毎日記録された米国の 1 トロイオンスの金の 5 年間の終値が含まれています。市場価格は高頻度で変動するため、予測の目標は、その一般的な傾向を合理的に予測することです (https: //www.lbma.org.uk)。 この目的のために、{10、20、30、60} 日の長期予測を実行します。 実験結果は、ほとんどのベースライン モデルで明らかなパフォーマンスの低下を明らかに示しています。 90 日間の履歴を考慮すると、予測期間が 60 日の場合、MAE エラーと MSE エラーが 1 未満で予測できるのは Autoformer と Diviner だけです。 ただし、Diviner は、平均 38.94% の MSE 削減 (0.588 → 0.359) と平均 22.73% の MSE 削減 (0.607 → 0.469) で他の手法を上回り、最高の予測パフォーマンスを達成しています。 すべてのベースラインアプローチの予測パフォーマンスは、補足表S5に提供されています。 これらの結果は、金融システムを予測することが一般的に難しいことを考慮すると、金融市場の急速な進化に対する Diviner の適応性とその合理的な推定を示しています。

太陽光データセットには、アラバマ州の 137 の太陽光発電所の 10 分レベルの 1 年間 (2006 年) の太陽光発電データが含まれており、PV-136 がターゲット フィーチャです (http://www.nrel.gov)。 毎日の太陽エネルギーの生産量は一般的に安定しているため、超長期の予測を行う必要はありません。 したがって、予測期間を {1, 2, 5, 6} 日に設定し、{144, 288, 720, 864} 予測ステップに合わせます。 さらに、太陽エネルギーのこの特性は、その生産系列が定常的である傾向があることを意味しており、したがって、このデータセット上の異なるモデル間の予測パフォーマンスの比較は、それらの基本的な系列モデリング能力を示しています。 具体的には、MASE誤差を使用してさまざまな系列でのモデルのパフォーマンスを評価できることを考慮して、さまざまな予測期間設定の下で各モデルの平均MASE誤差を計算および並べ替えて、時系列モデリング能力を測定します（補足表S6に提供）。 結果は次のとおりです。Diviner > NBeats > Transformer > Autoformer > Informer > LSTM。Diviner は、選択したベースラインですべての Transformer ベースのモデルを上回っています。 系列データがそれほど非定常ではない場合、Autoformer の時系列非定常モデリングの利点は明らかではありません。 同時に、安定した長期および短期の依存関係を取得することは依然として効果的です。

交通データセットには、カリフォルニア州運輸省がサンフランシスコ ベイエリアの高速道路上の 862 個のセンサーから収集した 2 年間 (2015 ～ 2016 年) の時間ごとの道路占有率が含まれています。センサー 861 がターゲット フィーチャです (http://pems.dot. ca.gov）。 予測期間は {7, 14, 30, 40} 日に設定され、{168, 336, 720, 960} 予測ステップ先と一致します。 道路占有率には週単位のサイクルがある傾向があることを考慮して、このデータセットを使用して、さまざまなネットワークの時間サイクルをモデル化する能力を比較します。 比較中、私たちは主に次の 2 つの深層学習モデル グループに焦点を当てます。グループ 1 は時系列の非定常特殊化を考慮に入れます (Diviner、Autoformer)。グループ 2 は時系列固有の機能をまったく使用しません。コンポーネント (トランスフォーマー、インフォーマー、LSTMa)。 グループ 1 はグループ 2 よりもパフォーマンスが大幅に向上していることがわかり、非定常性をモデル化する必要性が示唆されます。 提案された Diviner モデルに関しては、30 日間の道路占有率を予測する際に、Transformer モデルに対して 27.64% の MAE 削減 (0.604 → 0.437) を達成します。 続いて、グループ 1 のグループ内比較を行います。ここでも Diviner は Autoformer に対して平均 35.37% MAE 削減 (0.523 → 0.338) を獲得しています。 すべてのアプローチの予測パフォーマンスは、補足表 S7 に示されています。 これは Diviner の非定常性の複数スケール モデリングによるものであると考えられますが、Autoformer の傾向季節分解は特定のスケールでの時系列変動を反映しているだけです。 これらの実験結果は、Diviner がサイクルのある時系列データを予測できることを示しています。

私たちは、深層学習技術を使用して非定常性をモデル化することにより、長期的な 5G ネットワーク トラフィック予測問題を研究します。 初期段階の一部の文献63、64、65では、不確実性の下での確率的トラフィ​​ック予測の方が、時系列モデルによって生成される具体的な予測よりも、変化するネットワークトラフィックに適していると主張されていますが、確率的トラフィ​​ック予測と具体的なトラフィック予測は、同じ歴史的データを共有しています。本質的には情報。 さらに、近年の時系列予測技術の開発により、帯域幅管理 14,15、リソース割り当て 16、リソース プロビジョニング 17 などの実用的なアプリケーションに時系列予測技術を採用する一連の研究が行われており、時系列予測ベースの方法により詳細な情報を提供できます。ネットワークトラフィックの予測。 ただし、長期予測期間では時系列の非定常性が露呈するため、既存の時系列予測方法では深刻なパフォーマンス低下が発生し、次のようないくつかの課題が生じます。 (a) マルチスケールの時間変動。 (b) ランダム要因。 (c) データ分散のシフト。

したがって、この論文は、非定常時系列の正確な長期予測を達成するという問題に挑戦することを試みます。 私たちは、時系列の非定常性の基本的な特性から始めて、深い定常プロセスをニューラル ネットワークに導入し、非定常時系列内のマルチスケールの安定した規則性をモデル化します。 私たちは、安定した特徴を捕捉することが、歴史的規則性に従って非定常予測を生成するためのレシピであると主張します。 安定した機能により、ネットワークは時系列の潜在空間を制限できるようになり、さまざまな分布の問題に対処できます。 ネットワーク トラフィック予測やその他の現実世界のシナリオに関する広範な実験により、既存の予測ベースのモデルよりも進歩していることが実証されています。 その利点は次のように要約されます。 (a) Diviner は長期予測と短期予測の両方に顕著な改善をもたらし、最先端のパフォーマンスを実現します。 (b) Diviner は、予測スパンと粒度の選択に関係なく堅牢に実行でき、長期予測に大きな可能性を示します。 (c) Diviner はさまざまな分野で強力な一般化を維持しています。 ほとんどのベースラインのパフォーマンスは、一部の領域または他の領域で急激に低下する可能性があります。 対照的に、私たちのモデルは、各ベンチマークで一貫したパフォーマンスを発揮するという点で優れています。

この研究では、詳細かつ正確な長期の 5G ネットワーク トラフィック予測を取得する方法を模索します。これは、ネットワーク トラフィックが容量をオーバーフローする可能性がある時間を計算するために使用でき、通信事業者が数カ月前にネットワーク構築計画を策定するのに役立ちます。 さらに、Diviner は長期的なネットワーク トラフィック予測を分単位で生成し、リソースのプロビジョニング、割り当て、監視のための広範なアプリケーションを容易にします。 意思決定者は長期的な予測を利用して、ネットワーク リソースを割り当て、最適化できます。 もう 1 つの実用的なアプリケーションは、実際のネットワーク トラフィックが予測の許容範囲を超えたときに自動的に警告を発する、自動ネットワーク ステータス監視システムを実現することです。 このシステムは、ターゲットを絞ったポートレベルの早期警告をサポートし、作業員が時間内にトラブルシューティングを行えるように支援します。これにより、オンラインで実行されている何千万ものネットワーク ポートを考慮すると、大幅な効率の向上がもたらされます。 当社は、5G ネットワークに加えて、電力、気候、制御、経済、エネルギー、輸送などのより広範なエンジニアリング分野にソリューションを拡張しました。 油温を予測することは、変圧器の絶縁寿命に影響を与える変圧器の過熱を防止し、適切な動作を保証するのに役立ちます66、67。 さらに、長期的な気象予測は、農業における作物の選択と種まきに役立ちます。 そのため、過去の系列データの中に気づかれていない規則性を発見することができ、伝統的な産業にチャンスをもたらす可能性があります。

私たちが提案したモデルの制限の 1 つは、データ パターンの重大な遷移に悩まされることです。 私たちはこれを外部要因によるものと考えており、その情報は通常測定データには含まれていません53、55、68。 私たちの方法は、時系列内での本質的な規則性の発見には役立ちますが、現実世界で以前に記録されていないパターンを予測することはできません。 あるいは、動的ネットワーク手法 69、70、71 を使用して、時系列におけるそのような重要な遷移を検出することもできます 53。 さらに、いくつかの履歴シリーズまたは短期予測の場合、Diviner のパフォーマンスは他の深層学習モデルと同様である可能性があります。 前者には利用するには不十分な情報が含まれており、短期予測にはより多くの問題のスケーラビリティが必要ですが、私たちのモデルの利点は長期予測シナリオで明らかになります。

時系列データの元の形式を \({{{{{{{\bf{X}}}}}}}=\left[\begin{array}{cccc}{x}_{ 1}&{x}_{2}&...&{x}_{n}\end{array}\right],{x}_{i}\in {\mathbb{R}}\)。 元の時系列データ X は、 \(\widetilde{{{{{{{\bf{X}}}}}}}}=\left[\begin{array}{cccc}] のように行列形式に再整形されます。 {\チルダ{{{{{{{\bf{x}}}}}}}}}}_{1}&{\チルダ{{{{{{{{\bf{x}}}}} }}}}}_{2}&...&{\チルダ{{{{{{{{\bf{x}}}}}}}}}_{K}\end{array}\right ]\)、\({\tilde{{{{{{{\bf{x}}}}}}}}}}_{i}\) は、時系列データを含む長さ T のベクトルです。日/週/月/年、K は日/週/月/年の数を示します。\({\チルダ{{{{{{{\bf{x}}}}}}}}}_{ i}\in {{\mathbb{R}}}^{T}\)。 その後、季節パターンを \({\tilde{{{{{{{\bf{x}}}}}}}}}_{i}\) として表し、隣接する時間間の変動を使用できます。傾向をモデル化する手順を次に示します。

ここで、 \(\Delta {\widetilde{{{{{{{\rm{s}}}}}}}}}}_{t}\) は季節パターンの変化を表します。 \(\Delta {\ワイドティルダ{{{{{{{\rm{s}}}}}}}}}_{t}\in {{\mathbb{R}}}^{T}\)。 ずれは小さなタイムステップ間の変化を反映していますが、その変化（ずれ）がかなり長い期間にわたって積み重なると傾向dが現れます。 これは \(\mathop{\sum }\nolimits_{t = {t}_{1}}^{{t}_{2}-1}\Delta {\widetilde{{{{{{{ {\rm{s}}}}}}}}}}_{t}\)。 したがって、さまざまなタイム ステップ間でのシフトの長期および短期の依存関係を把握することで、傾向をモデル化できます。

次に、マルチスケール変換レイヤーを構築するための平滑化フィルター アテンション メカニズムを導入します。 対応するスケールのシフトをキャプチャして相互接続するために、差分注意モジュールが取り付けられています。 これらのメカニズムにより、Diviner は非定常時系列におけるマルチスケールの変動を捕捉することができます。その数学的説明を以下に示します。

時系列データ X が与えられた場合、X を \(\widetilde{{{{{{{\bf{X}}}}}}}}}=\left[\begin{array}{cccc}{\チルダ{{{{{{{\bf{x}}}}}}}}}_{1}&{\チルダ{{{{{{{{\bf{x}}}}}}} }}}_{2}&...&{\チルダ{{{{{{{{\bf{x}}}}}}}}}_{K}\end{array}\right]\ )、\({\tilde{{{{{{{{\bf{x}}}}}}}}}_{i}\) は、1 日あたりの時系列データを含む長さ T のベクトルです (季節）、K は日数を表します。\({\tilde{{{{{{{\bf{x}}}}}}}}}_{i}\in {{\mathbb{R }}}^{T}\), \(\widetilde{{{{{{{\bf{X}}}}}}}}}\in {{\mathbb{R}}}^{T\倍 K}\)。 次に、Diviner のデュアル入力を構築します。 Diviner がエンコーダ/デコーダ アーキテクチャを採用していることに注目して、エンコーダと \( {{{{{{{{\bf{X}}}}}}}}_{de}^{in}\) デコーダの場合、\({{{{{{{{\bf{X} }}}}}}}_{en}^{in}=\left[\begin{array}{cccc}{\tilde{{{{{{{{\bf{x}}}}}}} }}}_{1}&{\チルダ{{{{{{{{\bf{x}}}}}}}}}_{2}&...&{\チルダ{{{{{ {{{\bf{x}}}}}}}}}_{K}\end{array}\right]\), \({{{{{{{{\bf{X}}}} }}}}}_{de}^{in}=\left[\begin{array}{cccc}{\tilde{{{{{{{{\bf{x}}}}}}}}} _{K-{K}_{de}+1}&{\チルダ{{{{{{{{\bf{x}}}}}}}}}_{K-{K}_{de }}&...&{\チルダ{{{{{{{{\bf{x}}}}}}}}}}_{K}\end{array}\right]\)、および \( {{{{{{{{\bf{X}}}}}}}}_{en}^{in}\in {{\mathbb{R}}}^{K}\), \({ {{{{{{{\bf{X}}}}}}}}_{de}^{in}\in {{\mathbb{R}}}^{{K}_{de}}\ ）。 これは、\({{{{{{{\bf{X}}}}}}}}_{en}^{in}\) が \(\widetilde{{{{{{ {{\bf{X}}}}}}}}\) しながら \({{{{{{{\bf{X}}}}}}}}_{de}^{in}\ ) は最新の Kde 要素のみを受け取ります。 その後、\({{{{{{{\bf{X}}}}}}}}}_{en}^{in}\) と \({{{{{{ {{\bf{X}}}}}}}}_{de}^{in}\) は \({{{{{{{\bf{E}}}}}} を取得するために使用されます}}_{en}^{in}\) と \({{{{{{{{\bf{E}}}}}}}}}_{de}^{in}\)、ここで \( {{{{{{{{\bf{E}}}}}}}}_{en}^{in}\in {{\mathbb{R}}}^{{d}_{m}\ K}\) の倍、\({{{{{{{{\bf{E}}}}}}}}}_{de}^{in}\in {{\mathbb{R}}}^{ {d}_{m}\times {K}_{de}}\)、dm はモデルの寸法を表します。

隣接するポイントを近づける Nadaraya-Watson 回帰 51,52 に触発され、学習可能なカーネル関数とセルフマスクされたアーキテクチャを備えたスムージング フィルター アテンション メカニズムを導入します。前者は、類似したアイテムを近づけて、ランダムな成分をフィルターで除去し、非一致要素を調整します。 -定常データを安定した特徴に変換し、文字により外れ値を削減します。 スムージング フィルター アテンション メカニズムは、入力 \({{{{{{{\bf{E}}}}}}}}=\left[\begin{array}{cccc}{{{{{{ {{\boldsymbol{\xi }}}}}}}_{1}&{{{{{{{\boldsymbol{\xi }}}}}}}}_{2}&.. .&{{{{{{{\boldsymbol{\xi }}}}}}}}}_{{K}_{in}}\end{array}\right]\)、ここで \({{ {{{{{{\boldsymbol{\xi }}}}}}}}}_{i}\in {{\mathbb{R}}}^{{d}_{m}}\)、E は各層の入力への一般的な参照。エンコーダの場合は Kin = K、デコーダの場合は Kin = Kde。 具体的には、\({{{{{{{\bf{E}}}}}}}}_{en}^{in}\) と \({{{{{{{{\bf{E }}}}}}}}}_{de}^{in}\) は、それぞれ最初のエンコーダー層とデコーダー層の入力です。 計算プロセスは次のようになります。

ここで \({{{{{{{\bf{w}}}}}}}}_{i}\in {{\mathbb{R}}}^{{d}_{m}}, i\in [1,{K}_{in}]\) は学習可能なパラメータを示し、⊙ は要素ごとの倍数を示し、(⋅)2 は要素ごとの二乗を示し、ここでのベクトルの二乗は要素を表します。賢い広場。 表現を簡略化するために、平滑化フィルター アテンション メカニズムを Smoothing-Filter(E) として割り当て、その出力を Hs として示します。 差分注意モジュールを導入する前に、まず行列とその逆演算 CumSum の差分を定義します。

行列 \({{{{{{{\bf{M}}}}}}}}\in {{\mathbb{R}}}^{m\times n}\) を指定すると、\({{{ {{{{\bf{M}}}}}}}=\left[\begin{array}{cccc}{{{{{{{{\bf{m}}}}}}}}_ {1}&{{{{{{{{\bf{m}}}}}}}}_{2}&...&{{{{{{{\bf{m}}}} }}}}}_{n}\end{array}\right]\)、M の差は次のように定義されます。

ここで \(\デルタ {{{{{{{{\bf{m}}}}}}}}}_{i}={{{{{{{{\bf{m}}}}}}} }}_{i+1}-{{{{{{{{\bf{m}}}}}}}}_{i},\デルタ {{{{{{{{\bf{m} }}}}}}}}_{i}\in {{\mathbb{R}}}^{m},i\in [1,n)\) そして、固定値を維持するために Δmn を Δmn−1 でパディングします。差分演算の前後の長さ。 M に対する CumSum 演算 Σ は次のように定義されます。

ここで \(\Sigma {{{{{{{{\bf{m}}}}}}}}}_{i}=\mathop{\sum }\nolimits_{j = 1}^{i}{{ {{{{{{\bf{m}}}}}}}}_{j},\シグマ {{{{{{{{\bf{m}}}}}}}_{i }\in {{\mathbb{R}}}^{m}.\) 微分注意モジュールは、直観的には、これら 2 つの操作の間に接続された注意メカニズムとして見ることができ、数学的には次のように説明されます。

このモデルの入力には、Q、K、V の 3 つの要素が含まれます。(Q、K、V) はエンコーダーとデコーダーの間で異なります。つまり、\(({{{{{{{{\bf{H}}} }}}}}}_{s}^{en}、{{{{{{{{\bf{H}}}}}}}}}_{s}^{en}、{{{{{ {{{\bf{H}}}}}}}}_{s}^{en})\) エンコーダと \(({{{{{{{{\bf{H}}}} }}}}}_{s}^{de}、{{{{{{{{\bf{E}}}}}}}}_{en}^{out}、{{{{{{ {{\bf{E}}}}}}}}_{en}^{out})\) デコーダの場合、\({{{{{{{{\bf{E}}}}} }}}}_{en}^{out}\) は、最終的なエンコーダ ブロック (擬似コードで割り当てられた) の埋め込み結果、\({{{{{{{{\bf{H}}}} }}}}}_{s}^{en}\in {{\mathbb{R}}}^{{d}_{m}\times K}、{{{{{{{{\bf{H }}}}}}}}}_{s}^{de}\in {{\mathbb{R}}}^{{d}_{m}\times {K}_{de}},{{ {{{{{{\bf{E}}}}}}}}_{en}^{out}\in {{\mathbb{R}}}^{{d}_{m}\times K }\)。

ここで \({{{{{{{\bf{W}}}}}}}}_{q}^{(i)}\in {{\mathbb{R}}}^{{d} _{a}\times {d}_{m}}\), \({{{{{{{{\bf{W}}}}}}}}_{k}^{(i)} \in {{\mathbb{R}}}^{{d}_{attn}\times {d}_{m}}\), \({{{{{{{{\bf{W}}} }}}}}}_{v}^{(i)}\in {{\mathbb{R}}}^{{d}_{a}\times {d}_{m}}\), \ ({{{{{{{\bf{W}}}}}}}}_{s}\in {{\mathbb{R}}}^{{d}_{m}\times{ d}_{a}}\)、\({{{{{{{\bf{D}}}}}}}}\in {{\mathbb{R}}}^{{d}_{m }\times K}\), i ∈ [1, h]、h は並列アテンションの数を示します。 \(\left[\begin{array}{c}\cdot \end{array}\right]\) は行列 \({\widetilde{{{{{{{\bf{V}} }}}}}}}}_{s}^{(i)}\) はディープ シフトを示し、D はディープ トレンドを示します。 表現を容易にするために、差分注意モジュールを差分注意(Q, K, V)と表します。

Diviner の最終出力は、ワンステップ ジェネレーターと呼ばれる畳み込み層を通じて計算され、最終デコーダー層の出力を受け取ります \({{{{{{{{\bf{E}}}}}}}} _{de}^{out}\) を入力として使用します。

ここで \({{{{{{{\bf{R}}}}}}}}_{predict}\in {{\mathbb{R}}}^{{d}_{m}\times {K}_{r}}、{{{{{{{\bf{E}}}}}}}}}_{de}^{(M)}\in {{\mathbb{R}} }^{{d}_{m}\times {K}_{de}}\)、ConvNet は多層の完全畳み込みネットであり、その入出力チャネルはデコーダーの入力長 Kde と予測長 Kr です。それぞれ。

再現しやすいように、Diviner のフレームワークを次の疑似コードにまとめます。

私たちの研究をサポートするデータセットは https://doi.org/10.5281/zenodo.7827077 に寄託されています。 ただし、NPT データの入手には制限が適用され、今回の研究ではライセンスに基づいて使用されているため、一般公開されていません。 ただし、データは、合理的な要求があり、中国情報技術設計コンサルティング研究所の許可を得た場合に著者から入手できます。

コードは https://doi.org/10.5281/zenodo.7825740 で入手できます。

Jovović, I.、Husnjak, S.、Forenbacher, I.、Maček, S. インダストリー 4.0 における 5G とブロックチェーン技術の革新的なアプリケーション。 EAI 承認取引インドネットワーク知性。 システム。 6、e4 (2019)。

オセイラン、A.ら。 5G モバイルおよびワイヤレス通信のシナリオ: METIS プロジェクトのビジョン。 IEEE コミューン。 マグ。 52、26–35 (2014)。

記事 Google Scholar

Wu, G.、Yang, C.、Li, S. & Li, GY エネルギー効率の高いネットワークとその 5G システムへの応用における最近の進歩。 IEEE ワイレル。 共通。 22、145–151 (2015)。

記事 Google Scholar

Hui, H.、Ding, Y.、Shi, Q.、Li, F. & Yan, J. スマート グリッドにおけるデマンド レスポンスのための 5G ネットワーク ベースのモノのインターネット: アプリケーションの可能性に関する調査。 応用エネルギー 257、113972 (2020)。

記事 Google Scholar

Johansson, NA、Wang, Y.、Eriksson, E.、Hessler, M. 超信頼性と低遅延の 5G 通信のための無線アクセス。 IEEE 通信ワークショップ国際会議議事録、1184 ～ 1189 (2015)。

Yilmaz, O.、Wang, Y.、Johansson, NA、Brahmi, N. & Sachs, J. 工場オートメーションのユースケースにおける超信頼性と低遅延の 5G 通信の分析。 IEEE 国際通信会議ワークショップ議事録 (2015 年)。

ML フェルナンデス、カリフォルニア州ウエルタス、PM ギル、CFJ ガルシア & PG マルティネス 5G ネットワーク向けの深層学習ベースの異常検出システムの動的管理。 J. アンビエント インテリジェンス。 ハム。 計算します。 10、3083–3097 (2019)。

記事 Google Scholar

O'Connell, E.、Moore, D. & Newe, T. 製造における 5G の実装に伴う課題。 テレコム 1、48–67 (2020)。

記事 Google Scholar

Oughton, EJ、Frias, Z.、van der Gaast, S. & van der Berg, R. 5G インフラ戦略の容量、カバレッジ、コストの評価: オランダの分析。 テレマット。 知らせる。 37、50–69 (2019)。

記事 Google Scholar

Gupta, A. & Jha, RK 5g ネットワークの調査: アーキテクチャと新興テクノロジー。 IEEE Access 3、1206–1232 (2015)。

記事 Google Scholar

Wang, C. et al. 5G 無線通信ネットワークのセルラー アーキテクチャと主要テクノロジー。 IEEE コミューン。 マグ。 52、122–130 (2014)。

記事 Google Scholar

Li、QC、Niu、H.、Papathanassiou、AT & Wu、G. 5G ネットワーク容量: 主要な要素とテクノロジー。 IEEE 車両技術。 マグ。 9、71–78 (2014)。

記事 Google Scholar

Liu, H. 5G 通信ネットワークにおけるリソース割り当てと最適化技術に関する研究。 コンシューマ エレクトロニクスおよびコンピュータ エンジニアリングに関する国際会議議事録、209 ～ 212 (2022)。

Yoo, W. & Sim, A. 高帯域幅ネットワーク測定に基づいた時系列予測モデリング。 J. グリッド コンピューティング。 14、463–476 (2016)。

記事 Google Scholar

Wei, Y.、Wang, J. & Wang, C. 将来のインターネット アーキテクチャのトラフィック予測ベースの帯域幅管理アルゴリズム。 インテリジェント ネットワークおよびインテリジェント システムに関する国際会議議事録、560–563 (2010)。

Garroppo, RG、Giordano, S.、Pagano, M.、Procissi, G. リソース割り当てのトラフィック予測について: チェビシェフ境界ベースの割り当てスキーム。 計算します。 共通。 31、3741–3751 (2008)。

記事 Google Scholar

Bega, D.、Gramaglia, M.、Fiore, M.、Banchs, A. & Costa-Pérez, X. Deepcog: AI ベースの容量予測によるネットワーク スライシングにおけるリソース プロビジョニングの最適化。 IEEE J. Sel. 共通エリア 38、361–376 (2019)。

記事 Google Scholar

Hassidim, A.、Raz, D.、Segalov, M.、Shaqed, A. ネットワーク利用率: フロー ビュー。 2013 IEEE INFOCOM 議事録、1429–1437 (2013)。

Box, G.、Jenkins, G.、Reinsel, G. & Ljung, G. 時系列分析: 予測と制御 (John Wiley & Sons、アメリカ、2015)。

Box, GE & Jenkins, GM 予測と制御における最近の進歩。 JR駅社会 C 17、91–109 (1968)。

MathSciNet Google Scholar

ネットワーク トラフィック予測と異常検出のための Moayedi, H. および Masnadi-Shirazi, M. Arima モデル。 情報技術に関する国際シンポジウム議事録、vol. 4、1–6 (2008)。

Azari, A.、Papapetrou, P.、Denic, S. & Peters, G. 携帯電話トラフィックの予測と分類: lstm と arima の比較評価。 発見科学国際会議議事録、129-144 (2019)。

Tikunov, D. & Western, T. holt-Winter の指数平滑法を使用したモバイル ネットワークのトラフィック予測。 ソフトウェア、電気通信およびコンピュータ ネットワークに関する国際会議議事録、1 ～ 5 (2007)。

Shu, Y.、Yu, M.、Yang, O.、Liu, J. & Feng, H. 季節有馬モデルを使用した無線トラフィックのモデリングと予測。 電子情報通信学会論文誌共通。 88、3992–3999 (2005)。

記事 Google Scholar

Rafsanjani、MK、Rezaei、A.、Shahraki、A.、Saeid、AB Qarima: キュー理論における予測への新しいアプローチ。 応用数学。 コンピューティング。 改訂 244、514–525 (2014)。

MathSciNet MATH Google Scholar

Taylor, S. & Letham, B. 大規模な予測。 午前。 統計 72、37–45 (2018)。

記事 MathSciNet MATH Google Scholar

LeCun, Y.、Bengio, Y.、ヒントン, G. 深層学習。 ネイチャー 521、436–444 (2015)。

記事 Google Scholar

Hochreiter, S. & Schmidhuber, J. 長期短期記憶。 ニューラルコンピューティング。 9、1735–1780 (1997)。

記事 Google Scholar

Salinas, D.、Flunkert, V.、Gasthaus, J. & Januschowski, T. DeepAR: 自己回帰リカレント ネットワークによる確率的予測。 内部。 J. 予測。 36、1181–1191 (2020)。

記事 Google Scholar

Qin, Y. et al. 時系列予測のための 2 段階の注意ベースのリカレント ニューラル ネットワーク。 人工知能に関する国際合同会議議事録、2627–2633 (2017)。

Mona, S.、Mazin, E.、Stefan, L.、Maja, R. 連続反復単位による不規則な時系列のモデリング。 手順内部。 会議マッハ。 学ぶ。 162、19388–19405 (2022)。

Google スカラー

Kashif, R.、Calvin, S.、Ingmar, S.、Roland, V. 多変量確率的時系列予測のための自己回帰ノイズ除去拡散モデル。 機械学習に関する国際会議議事録、vol. 139、8857–8868 (2021)。

Alasdair, T.、Alexander, PM、Cheng, SO & Xie, L. Radflow: 時系列ネットワークの再帰的で集約された分解可能なモデル。 国際ワールドワイドウェブ会議議事録、730–742 (2021)。

リン、F.ら。 マルチタスク機械学習により、インド洋双極子の複数季節予測が改善されます。 ナット。 共通。 13、1–9 (2022)。

記事 Google Scholar

Vaswani、A. et al. 必要なのは注意力だけです。 手順アンヌ。 会議神経情報プロセス。 システム。 30、5998–6008 (2017)。

Google スカラー

Alexandre, D.、Étienne, M. & Nicolas, C. TACTiS: 時系列のトランスフォーマー注意コピュラ。 機械学習に関する国際会議議事録、vol. 162、5447–5493 (2022)。

Tung, N. & Aditya, G. Transformer ニューラル プロセス: シーケンス モデリングによる不確実性を認識したメタ学習。 機械学習に関する国際会議議事録、vol. 162、16569–16594 (2022)。

ウェン、Ｑら。 トランスフォーマーの時系列: 調査。 CoRR (2022)。

周、H.ら。 情報提供者: 長いシーケンスの時系列予測のための効率的なトランスフォーマーを超えています。 AAAI 人工知能会議議事録 (2021)。

キタエフ、N.、カイザー、L.、レフスカヤ、A. リフォーマー: 効率的な変圧器。 学習表現に関する国際会議議事録（2019）。

リー、Ｓ．ら。 局所性を強化し、時系列予測におけるトランスフォーマーのメモリ ボトルネックを解消します。 第 33 回神経情報処理システム年次会議論文集 vol. 32、5244–5254 (2019)。

Wu, H.、Xu, J.、Wang, J. & Long, M. Autoformer: 長期系列予測のための自己相関を備えた分解トランスフォーマー。 神経情報処理システム年次会議議事録、vol. 34、22419–22430 (2021)。

Zhou, T. et al. Fedformer: 長期系列予測用の周波数拡張分解変圧器。 機械学習に関する国際会議議事録、vol. 162、27268–27286 (2022)。

Liu, S. et al. Pyraformer: 長距離時系列モデリングと予測のための、複雑さの低いピラミッド型の注意。 学習表現に関する国際会議（ICLR）議事録（2021）。

リュー、M.ら。 SCINet: サンプルの畳み込みと相互作用による時系列モデリングと予測。 神経情報処理システム年次会議議事録 (2022)。

Wang、Z.ら。 時系列予測のための潜在的な季節傾向の表現を学習します。 神経情報処理システム年次会議議事録 (2022)。

Xie、C.ら。 預言者モデルによる、中国湖北省における毎日報告される手足口病の発生率の傾向分析と予測。 科学。 議員第 11 号、1–8 (2021)。

Google スカラー

コックス、DR & ミラー、HD 確率過程の理論 (Routledge、ロンドン、2017)。

Dette, H. & Wu, W. 局所的に定常な時系列での予測。 J.バス。 エコン。 統計 40、370–381 (2022)。

記事 MathSciNet Google Scholar

Wold、HO 定常時系列での予測。 アン。 数学。 統計 19、558–567 (1948)。

記事 MathSciNet MATH Google Scholar

ワトソン、GS スムーズ回帰分析。 Sankhyā: The Indian Journal of Statistics、シリーズ A359–372 (1964)。

Nadaraya、EA 回帰の推定について。 理論確率。 応用 9、141–142 (1964)。

記事 MATH Google Scholar

Chen, P.、Liu, R.、Aihara, K. & Chen, L. 時空間情報変換に基づく多段階先予測のためのオートリザーバー コンピューティング。 ナット。 共通。 11、1–15 (2020)。

Google スカラー

Lu, J.、Wang, Z.、Cao, J.、Ho, DW & Kurths, J. 時変遅延を伴う非線形動的ネットワークのピン留め衝撃的安定化。 内部。 Ｊ．ビファーク． カオス 22、1250176 (2012)。

記事 MATH Google Scholar

Malik, N.、Marwan, N.、Zou, Y.、Mucha, PJ & Kurths, J. 短い時系列における異なる動的領域間の遷移を検出するための類似性の変動。 物理学。 Rev. E 89、062908 (2014)。

記事 Google Scholar

Yang, R.、Lai, Y. & Grebogi, C. 未来の予測: 断熱的に時間変化する非線形力学システムは可能ですか? カオス 22、033119 (2012)。

記事 MathSciNet MATH Google Scholar

Henkel, SJ、Martin, JS & Nardari, F. 時間とともに変化する短期予測可能性。 J.ファイナンス。 エコン。 99、560–580 (2011)。

記事 Google Scholar

Wu, N.、Green, B.、Ben, X. & O'Banion, S. 時系列予測のためのディープ トランスフォーマー モデル: インフルエンザ流行のケース。 arXiv https://doi.org/10.48550/arXiv.2001.08317 (2020) でプレプリント。

Lea, C.、Flynn, MD、Vidal, R.、Reiter, A. & Hager, GD アクションのセグメンテーションと検出のための時間畳み込みネットワーク。 コンピューター ビジョンとパターン認識に関する IEEE 会議議事録、156-165 (2017)。

Bahdanau, D.、Cho, K. & Bengio, Y. 整列と翻訳を共同で学習することによるニューラル機械翻訳。 学習表現に関する国際会議議事録 (2015)。

Oreshkin, BN、Carpov, D.、Chapados, N. & Bengio, Y. N-BEATS: 解釈可能な時系列予測のためのニューラル基礎拡張分析。 学習表現に関する国際会議議事録（2020）。

リー、Ｓ．ら。 局所性を強化し、時系列予測におけるトランスフォーマーのメモリ ボトルネックを解消します。 神経情報処理システム年次会議議事録 32 (2019)。

Geary, N.、Antonopoulos, A.、Drakopoulos, E.、O'Reilly, J. & Mitchell, J. トラフィックの不確実性の下での光ネットワーク計画のためのフレームワーク。 信頼性の高い通信ネットワークの設計に関する国際ワークショップの議事録、50–56 (2001)。

Laguna, M. 需要が不確実な通信における 1 つの拠点の容量拡張にロバストな最適化を適用。 管理。 科学。 44、S101–S110 (1998)。

記事 MATH Google Scholar

Bauschert、T.ら。 需要が不確実な場合でも、堅牢な最適化を使用してネットワークを計画します。 IEEE コミューン。 マグ。 52、178–185 (2014)。

記事 Google Scholar

Radakovic, Z. & Feser, K. オン冷却による電力変圧器のホットスポット温度を計算するための新しい方法。 IEEEトランス。 電力供給 18、1284–1292 (2003)。

記事 Google Scholar

Zhou、LJ、Wu、GN、Tang、H.、Su、C.、Wang、HL スコットトラクショントランスの温度上昇を計算するための熱回路法。 ハイボルト。 工学 33、136–139 (2007)。

Google スカラー

Jiang、J.ら。 次元削減による相利ネットワークの転換点の予測。 手順国立アカデミー。 科学。 USA 115、E639–E647 (2018)。

記事 MathSciNet MATH Google Scholar

Chen, L.、Liu, R.、Liu, Z.、Li, M.、Aihara, K. 動的ネットワーク バイオマーカーによる複雑な疾患の突然の悪化に対する早期警告シグナルの検出。 科学。 議員 2、1–8 (2012)。

記事 Google Scholar

ヤン、B.ら。 動的ネットワーク バイオマーカーは、肝細胞癌の転換点における肺転移を示します。 ナット。 共通。 9、1–14 (2018)。

Google スカラー

Liu, R.、Chen, P.、Chen, L. 単一サンプルのランドスケープ エントロピーは、疾患の進行中に差し迫った相転移を明らかにします。 バイオインフォマティクス 36、1522–1532 (2020)。

記事 Google Scholar

リファレンスをダウンロードする

この研究は、助成金 62076016 および 12201024、北京自然科学財団 L223024 の下で中国国家自然科学財団によって支援されました。

Yuguang Yang と Shupeng Geng の著者も同様に貢献しました。

北京航大学、100191、北京、中国

Yuguang Yang、Shupeng Geng、Baochang Zhang、Juan Zhang

中関村研究所、100094、北京、中国

Baochang Zhang & Juan Zhang

チャイナユニコム、100037、北京、中国

鄭王 & 張永

バッファロー大学、14260、バッファロー、ニューヨーク州、米国

デビッド・ドーマン

PubMed Google Scholar でこの著者を検索することもできます

PubMed Google Scholar でこの著者を検索することもできます

PubMed Google Scholar でこの著者を検索することもできます

PubMed Google Scholar でこの著者を検索することもできます

PubMed Google Scholar でこの著者を検索することもできます

PubMed Google Scholar でこの著者を検索することもできます

PubMed Google Scholar でこの著者を検索することもできます

YY、SG、BZ、JZ、DD がこの研究を発案しました。 著者全員が記事の執筆に取り組んでいます。 YY と SG は実験と結果分析を実行することで、同様にこの研究に貢献しました。 ZW と YZ は 5G ネットワーク トラフィック データを収集しました。 著者全員が最終論文を読んで承認しました。

Baochang Zhang または Juan Zhang への対応。

著者らは競合する利害関係を宣言していません。

私たちの調査では「倫理ダンピング」や「ヘリコプター研究」の事件は発生しなかった。

Communications Engineering は、この研究の査読に貢献した Akhil Gupta 氏、Erol Egrioglu 氏、およびその他の匿名の査読者に感謝します。 主な編集者: Miranda Vinay と Rosamund Daw。 査読ファイルが利用可能です。

発行者注記 Springer Nature は、発行された地図および所属機関の管轄権の主張に関して中立を保っています。

オープン アクセス この記事はクリエイティブ コモンズ表示 4.0 国際ライセンスに基づいてライセンスされており、元の著者と情報源に適切なクレジットを表示する限り、あらゆる媒体または形式での使用、共有、翻案、配布、複製が許可されます。クリエイティブ コモンズ ライセンスへのリンクを提供し、変更が加えられたかどうかを示します。 この記事内の画像またはその他のサードパーティ素材は、素材のクレジットラインに別段の記載がない限り、記事のクリエイティブ コモンズ ライセンスに含まれています。 素材が記事のクリエイティブ コモンズ ライセンスに含まれておらず、意図した使用が法的規制で許可されていない場合、または許可されている使用を超えている場合は、著作権所有者から直接許可を得る必要があります。 このライセンスのコピーを表示するには、http://creativecommons.org/licenses/by/4.0/ にアクセスしてください。

転載と許可

Yang、Y.、Geng、S.、Zhang、B. 他。 ディープラーニングによる非定常性のモデリングによる長期的な 5G ネットワーク トラフィック予測。 Commun Eng 2、33 (2023)。 https://doi.org/10.1038/s44172-023-00081-4

引用をダウンロード

受信日: 2022 年 9 月 7 日

受理日: 2023 年 5 月 10 日

公開日: 2023 年 6 月 6 日

DOI: https://doi.org/10.1038/s44172-023-00081-4

次のリンクを共有すると、誰でもこのコンテンツを読むことができます。

申し訳ございませんが、現在この記事の共有リンクは利用できません。

Springer Nature SharedIt コンテンツ共有イニシアチブによって提供