鍍金池/ 教程/ 大數(shù)據(jù)/ 計算資源整合模式
索引表模式
Sharding 分片模式
外部配置存儲模式
命令和查詢職責分離(CQRS)模式
靜態(tài)內容托管模式
運行重構模式
計算資源整合模式
Throttling 節(jié)流模式
斷路器模式
事件獲取模式
實體化視圖模式
緩存預留模式
守門員模式
聯(lián)合身份模式
補償交易模式
重試模式
領導人選舉模式
優(yōu)先級隊列模式
健康端點監(jiān)控模式
消費者的競爭模式
基于隊列的負載均衡模式
仆人鍵模式
管道和過濾器模式
調度程序代理管理者模式

計算資源整合模式

合并多個任務或操作成一個單一的計算單元。這種模式可以提高計算資源的利用率,并降低與云托管的應用程序進行計算處理相關的成本和管理開銷。

背景和問題

云應用程序頻繁執(zhí)行各種操作。在某些解決方案也可能是有意義的最初遵循的關注點分離的設計原則,并把這些操作成托管和獨立部署(例如,如在微軟的 Azure 云服務,獨立 Azure 網站不同的角色獨立計算單元或單獨的虛擬機)。然而,盡管這種策略可以幫助簡化溶液的邏輯設計,部署大量計算單元作為同一應用可以提高運行時的托管成本,使系統(tǒng)的管理更加復雜的一部分。

作為一個例子,圖1示出了使用多個計算單元被實現(xiàn)的一個云托管解決方案的簡化的結構。每個計算單元在其自己的虛擬環(huán)境中運行。每個功能已被實現(xiàn)為一個單獨的任務(通過任務?標任務A)在自己的計算設備上運行。

http://wiki.jikexueyuan.com/project/cloud-design-patterns/images/crim.png" alt="" />

圖1 - 通過使用一組專用計算單元運行在云環(huán)境中的任務

每個計算單元消耗的資源收費,即使是閑置或不常使用。因此,這種方法可能不總是最有成本效益的解決方案。

在 Azure 中,這一問題適用于云服務的角色,網站和虛擬機。這些產品在他們自己的虛擬環(huán)境中執(zhí)行。運行的單獨作用,網站,或者被設計為執(zhí)行一組良好定義的操作的虛擬機的集合,但是需要進行通信和協(xié)作,作為一個單一的解決方案的一部分,可以是一個資源利用效率低。

解決方案

為了幫助降低成本,提高利用率,提高通信速度,減輕了管理工作有可能將多個任務或操作成一個單一的計算單元。

任務可以根據(jù)各種基于由環(huán)境提供的功能,以及與這些功能相關的成本的標準進行分組。一種常見的方法是尋找具有關于它們的可擴展性,壽命和加工要求具有相似的任務。分組這些產品一起使它們能夠擴展為一個單元。由許多云環(huán)境所提供的彈性使一個計算單元的其他實例,以根據(jù)業(yè)務負載被啟動和停止。例如,Azure提供自動縮放,可以適用于云服務的角色,網站和虛擬機。欲了解更多信息,請參閱自動縮放指導。

作為一個計數(shù)器的例子來說明如何擴展可以被用于確定哪些操作可能不應該被分組到一起,考慮以下兩個任務:

  • 任務 1 輪詢發(fā)送到隊列罕見的,對時間不敏感的信息。
  • 任務 2 處理網絡流量的高容量陣陣。

第二任務要求的彈性可能涉及起動和停止的大量的計算單元的實例。應用相同的縮放到第一任務只會導致更多的任務上監(jiān)聽同一隊列不頻繁的消息,并且是一種資源的浪費。

在許多云環(huán)境中,它可以指定在CPU內核,存儲器,磁盤空間等的數(shù)量而言,以一個計算單元的可用資源。通常,指定的資源越多,就越有成本。對于金融效率,最大限度地工作的一個昂貴的計算單元執(zhí)行的數(shù)量,而不是讓它變成無活性在較長時間內是很重要的。

如果存在需要大量的 CPU 功率的短脈沖串的任務,考慮合并這些成一個單一的計算單元,其提供所需的電源。然而,重要的是平衡這種需要保持昂貴資源忙對它們是否過分強調指出可能發(fā)生了爭用是重要的。長時間運行,計算密集型任務可能不應該共享相同的計算單位,例如。

問題和注意事項

實施該模式時請考慮以下幾點:

  • 可擴展性和彈性。許多云解決方案實現(xiàn)的可擴展性和彈性,在運算部的通過啟動和停止的情況下,單位的水平。避免了分組在同一計算單元相互矛盾的可擴展性要求的任務。
  • 一生。云計算基礎架構可以定期回收托管的計算單元的虛擬環(huán)境。當執(zhí)行一個計算單元內許多長期運行的任務,可能需要對設備進行配置,以防止它被回收,直到這些任務已經完成??商鎿Q地,通過使用一個檢查指向的方法,使他們停止干凈,并繼續(xù)在在其中,當所述計算單元被重新啟動他們被中斷的點的設計的任務。
  • 釋放節(jié)奏。如果一個任務的執(zhí)行或配置變化頻繁,則可能需要停止計算單位主辦的更新的代碼,重新配置和重新部署的單元,然后重新啟動它。此過程也將需要相同的計算單元中的所有其他任務被停止,重新部署,并重新啟動。
  • 安全性。在相同的計算單元的任務可以共享相同的安全上下文,并能夠訪問相同的資源。必須有高度的任務之間的信任,而且相信,一個任務是不會損壞或其他不利的影響。此外,增加了在一個計算單元可以增加計算單元的攻擊面運行的任務的數(shù)目;每個任務是否安全的一個最脆弱性。
  • 容錯。如果在一個計算單元中的一個任務失敗或異常情況,它可能會影響在同一單元內運行的其他任務。例如,如果有一個任務無法正常啟動它可能會導致對計算單元失敗,整個啟動邏輯,并且防止在同一單元的其他任務的運行。
  • 爭。避免這種情況,在相同的計算單元爭奪資源的任務之間引入的爭用。理想情況下,共享相同的計算單元的任務應該表現(xiàn)出不同的資源利用率??的特征。例如,兩個計算密集型任務可能不應該駐留在同一個計算單元,而且消耗大量的內存也不應該兩個任務。然而,混合使用需要大量的存儲器可以是一個可行的組合任務中計算密集型的任務。

注意

你應該考慮整合計算資源只對已在生產用于在一段時間內,使得操作人員和開發(fā)者能夠監(jiān)控系統(tǒng),并創(chuàng)建熱圖,它標識了每個任務利用別共資源的系統(tǒng)。此圖可以用于確定哪些任務是很好的候選共享計算資源。

  • 復雜性。組合多個任務到一個單一的計算單元增加了復雜性中的代碼單元,可能使得更難以進行測試,調試和維護。
  • 穩(wěn)定的邏輯架構。設計和實施中的代碼中的每個任務,以便它不應該需要改變,即使物理環(huán)境中任務運行不會改變。
  • 其他策略。整合計算資源的方法只有一個,以幫助減少同時運行多個任務相關的成本。這需要仔細的規(guī)劃和監(jiān)測,以確保它仍然是一個有效的辦法。其他策略可能更合適,這取決于所執(zhí)行的工作的性質和所代表這些任務正在運行的用戶的位置。例如,工作負荷(如所描述的計算分區(qū)指南)的功能分解可能是一個更好的選擇。

當使用這個模式

使用這種模式的任務,如果他們在自己的計算單元運行不符合成本效益。如果一個任務花費大量的時間閑置,運行此任務的專用設備可以是昂貴的。

這種模式可能不適合于執(zhí)行關鍵容錯操作處理高度敏感的或私有數(shù)據(jù),并且需要其自身的安全上下文的任務或任務。這些任務應該在他們自己的獨立的環(huán)境中運行,在一個單獨的計算單元。

例子

在 Azure 上構建一個云服務,它可以鞏固多任務的處理成一個單一的角色。通常,這是執(zhí)行的背景或異步處理任務的輔助角色。

注意

在某些情況下它可能會包括在 Web 角色的背景或異步處理任務。這種技術可以有助于降低成本和簡化部署,雖然它可以影響由 web 角色所提供的面向公眾的接口的可擴展性和響應性。該文章合并多個天青工作者角色成天青 Web 角色包含執(zhí)行背景或異步處理任務在 Web 角色的詳細描述。

的作用是負責啟動和停止的任務。當 Azure 結構控制器加載的作用,它引發(fā)的啟動事件中的作用。您可以覆蓋 WebRole 或 WorkerRole 類的 OnStart 方法來處理這個事件,也許是為了初始化數(shù)據(jù)和其他資源,在這種方法中,任務依賴。

當 OnStart 方法完成后,角色就可以開始響應請求。您可以找到有關使用的 OnStart 和運行方式的作用,在 theApplication 啟動進程中的模式與實踐指南移動應用程序到云部分的更多信息和指導。

注意

請 OnStart 方法盡量精簡的代碼。 Azure 不上采取這種方法,完成時間強加任何限制,但作用不能夠啟動響應發(fā)送給它,直到此方法完成的網絡請求。

當 OnStart 方法完成后,執(zhí)行任務的運行方式。在這一點上,該織物控制器能夠開始發(fā)送請求的作用。 將實際的運行方法創(chuàng)建任務的代碼。注意,執(zhí)行命令的方法可以有效地定義角色實例的生命周期。此方法完成,結構控制器將安排的作用被關閉。

當一個角色關機或再循環(huán),結構控制器可以防止從負載平衡器接收任何更多的傳入請求,并提高了停止事件。您可以通過覆蓋作用的 onStop 方法捕獲這個事件和角色終止前需要進行任何整理起來。

注意

在的 onStop 方法執(zhí)行的任何操作須在 5 分鐘(或者,如果您使用的是本地計算機上的天青模擬器 30 秒)內完成;否則 Azure 結構控制器假定的角色已經停止,并會迫使它停下來。

圖 2 示出了一個角色的生命周期,任務和資源,它承載。該任務由運行方法,該方法然后等待任務來完成啟動。任務本身,這實現(xiàn)云服務的業(yè)務邏輯,可以響應通過天青負載平衡器發(fā)布到角色的消息。

http://wiki.jikexueyuan.com/project/cloud-design-patterns/images/cmic.png" alt="" />

圖2 - 任務和資源的作用,在Azure云服務的生命周期

在 ComputeResourceConsolidation.Worker 項目 WorkerRole.cs 文件顯示了一個如何實現(xiàn)這個模式在 Azure 云服務的例子。

注意: 該 ComputeResourceConsolidation.Worker 項目是 ComputeResourceConsolidation 解決方案,可用于下載本指導意見的一部分。 在運行時被初始化的角色創(chuàng)建所需的取消標記和任務來運行的一個列表中的輔助角色,代碼。

public class WorkerRole: RoleEntryPoint  
{  
  // The cancellation token source used to cooperatively cancel running tasks.  
  private readonly CancellationTokenSource cts = new CancellationTokenSource ();  

  // List of tasks running on the role instance.  
  private readonly List<Task> tasks = new List<Task>();  

  // List of worker tasks to run on this role.  
  private readonly List<Func<CancellationToken, Task>> workerTasks    
                        = new List<Func<CancellationToken, Task>>  
    {  
      MyWorkerTask1,  
      MyWorkerTask2  
    };  

  ...  
}  

設置在 MyWorkerTask1 和 MyWorkerTask2 方法來說明如何在同一輔助角色執(zhí)行不同的任務。下面的代碼顯示 MyWorkerTask1。這是休眠 30 秒,然后輸出一個跟蹤消息的簡單任務。重復這個過程,直到無限期的任務被取消。在 MyWorkerTask2 代碼非常相似。

// A sample worker role task.  
private static async Task MyWorkerTask1(CancellationToken ct)  
{  
  // Fixed interval to wake up and check for work and/or do work.  
  var interval = TimeSpan.FromSeconds(30);  

  try  
  {  
    while (!ct.IsCancellationRequested)  
    {  
      // Wake up and do some background processing if not canceled.  
      // TASK PROCESSING CODE HERE  
      Trace.TraceInformation("Doing Worker Task 1 Work");  

      // Go back to sleep for a period of time unless asked to cancel.  
      // Task.Delay will throw an OperationCanceledException when canceled.  
      await Task.Delay(interval, ct);  
    }  
  }  
  catch (OperationCanceledException)  
  {  
    // Expect this exception to be thrown in normal circumstances or check  
    // the cancellation token. If the role instances are shutting down, a  
    // cancellation request will be signaled.  
    Trace.TraceInformation("Stopping service, cancellation requested");  

    // Re-throw the exception.  
    throw;  
  }  
}  

注意: 通過示例代碼示出的方法是一個后臺進程的一個常見的實現(xiàn)。在現(xiàn)實世界的應用程序,你可以按照這個結構相同,不同之處在于,你應該把自己的處理邏輯在等待取消請求的循環(huán)體。

經過工人的角色已初始化它使用的資源,Run 方法啟動兩個任務同時,如下圖所示。

...  
// RoleEntry Run() is called after OnStart().    
// Returning from Run() will cause a role instance to recycle.  
public override void Run()  
{  
  // Start worker tasks and add them to the task list.  
  foreach (var worker in workerTasks)  
    tasks.Add(worker(cts.Token));  

  Trace.TraceInformation("Worker host tasks started");  
  // The assumption is that all tasks should remain running and not return,   
  // similar to role entry Run() behavior.  
  try  
  {  
    Task.WaitAny(tasks.ToArray());  
  }  
  catch (AggregateException ex)  
  {  
    Trace.TraceError(ex.Message);  

    // If any of the inner exceptions in the aggregate exception   
    // are not cancellation exceptions then re-throw the exception.  
    ex.Handle(innerEx => (innerEx is OperationCanceledException));  
  }  

  // If there was not a cancellation request, stop all tasks and return from Run()  
  // An alternative to cancelling and returning when a task exits would be to   
  // restart the task.  
  if (!cts.IsCancellationRequested)  
  {  
    Trace.TraceInformation("Task returned without cancellation request");  
    Stop(TimeSpan.FromMinutes(5));  
  }  
}  
...  

在該示例中,執(zhí)行命令方法等待要完成的任務。如果任務被取消,運行方法假定的角色正在關閉,并等待剩下的任務完成(這在終止前等待最多 5 分鐘)之前被取消。如果任務失敗,由于預期異常,Run 方法將取消該任務。

注意: 需要注意的是,你可以實現(xiàn) Run 方法更全面的監(jiān)測和異常處理策略,如重新啟動已失敗的任務,或者包括代碼,使角色停止和啟動單個任務。 在以下代碼中所示的停止方法時,網絡控制器將關閉角色實例(它是從的 onStop 方法調用)被調用。該代碼通過取消它優(yōu)雅地停止每項任務。如果有任何的工作時間超過五分鐘就能完成,在 Stop 方法取消處理真正地停止等待和作用被終止。

// Stop running tasks and wait for tasks to complete before returning   
// unless the timeout expires.  
private void Stop(TimeSpan timeout)  
{  
  Trace.TraceInformation("Stop called. Canceling tasks.");  
  // Cancel running tasks.  
  cts.Cancel();  

  Trace.TraceInformation("Waiting for canceled tasks to finish and return");  

  // Wait for all the tasks to complete before returning. Note that the   
  // emulator currently allows 30 seconds and Azure allows five  
  // minutes for processing to complete.  
  try  
  {  
    Task.WaitAll(tasks.ToArray(), timeout);  
  }  
  catch (AggregateException ex)  
  {  
    Trace.TraceError(ex.Message);  

    // If any of the inner exceptions in the aggregate exception   
    // are not cancellation exceptions then re-throw the exception.  
    ex.Handle(innerEx => (innerEx is OperationCanceledException));  
  }  
}