场景描述:
在面对需要下载大量文件或同时执行大量任务的挑战时,多线程技术成为提高效率的关键工具。这种方法就像优化了的生产线,各个部分同步协作,使整体工作更为流畅和迅速。
想象一下,你面临一个包含1,000个文件下载或者有多个可以并行处理的任务的时候。在传统的单线程模型中,这将是一个漫长的等待过程。但通过多线程,我们可以将这个大任务拆分成多个小任务并行执行,从而大大缩短完成时间,提高整体效率。
然而,仅仅完成任务是不够的。为了确保用户和其他相关方实时了解进展情况,我们需要一个高效的进度跟踪和报告机制。这可以通过建立实时监控系统或利用进度条、日志和通知来实现。这样用户,都可以在任何时候了解项目的当前状态和预期进度。
下面就思考两种实现方式:多线程和并行库的用法。主要是体会使用模型的使用。
多线程处理实现过程:
示例代码:
using System;
using System.Threading;
using System.Threading.Tasks;
class Program
{
static int currentFile = 0;
static object lockObject = new object();
static void Main(string[] args)
{
const int NUM_FILES = 1000;
const int NUM_THREADS = 20;
// 创建一个计数器,以便在所有线程完成后更新状态。
CountdownEvent countdown = new CountdownEvent(NUM_THREADS);
// 创建20个下载线程
for (int i = 0; i < NUM_THREADS; i++)
{
int threadIndex = i;
Task.Run(() =>
{
// 模拟下载过程
for (int j = threadIndex; j < NUM_FILES; j += NUM_THREADS)
{
DownloadFile(j);
ReportProgress(NUM_FILES); // 报告下载进度
}
// 当前线程完成下载,向计数器发信号。
countdown.Signal();
});
}
// 等待所有线程完成
countdown.Wait();
// 所有线程都已完成,将状态标记为已完成。
Console.WriteLine("所有文件下载已完成!");
}
static void DownloadFile(int fileIndex)
{
// 模拟下载过程
Thread.Sleep(100); // 假设每个文件需要10毫秒下载
Console.WriteLine($"文件 #{fileIndex} 已下载完毕!");
}
static void ReportProgress(int NUM_FILES)
{
lock(lockObject)
{
int current = Interlocked.Increment(ref currentFile);
Console.WriteLine($"当前进度:{current}/{NUM_FILES}");
}
}
}
定义常量:NUM_FILES表示总文件数量,这里设定为1000。NUM_THREADS表示线程数量,这里设定为20。
创建一个CountdownEvent对象countdown,用于在所有线程完成后更新状态。
创建20个下载线程:
- 使用Task.Run()创建一个任务,并在每个任务中执行相应的操作。
- 每个线程根据索引threadIndex来决定从哪个文件开始下载,通过循环递增NUM_THREADS来实现线程间的文件分配。
- 在循环中调用DownloadFile()方法来模拟下载文件,并在下载完成后调用ReportProgress()方法报告下载进度。
- 当线程完成下载后,通过countdown.Signal()向计数器发信号。
使用countdown.Wait()等待所有线程完成。
所有线程都已完成,输出提示信息:“所有文件下载已完成!”
DownloadFile()方法模拟文件下载过程:使用Thread.Sleep()方法来模拟下载耗时,这里假设每个文件需要100毫秒下载。输出下载完毕的文件信息。
ReportProgress()方法用于报告下载进度:
- 使用lock语句加锁,确保多个线程同时操作currentFile变量时不会产生竞争条件。
- 使用Interlocked.Increment()原子地递增currentFile变量,获取当前下载的文件数。
- 输出当前下载进度信息。
总体而言,该程序通过创建多个线程来并行下载文件,并使用计数器来跟踪所有线程的完成状态。每个线程负责下载部分文件,并在完成后报告当前的下载进度。最后,当所有线程都完成时,输出下载完成的提示信息。
使用并行库的处理过程:
示例代码:
using System;
using System.Threading.Tasks;
using System.Collections.Concurrent;
class Program
{
static int currentFile = 0;
static object lockObject = new object();
static void Main(string[] args)
{
const int NUM_FILES = 1000;
// 使用ParallelOptions来跟踪并行任务的进度
var parallelOptions = new ParallelOptions
{
MaxDegreeOfParallelism = 20 // 设置最大并行度
};
// 使用Parallel.ForEach并行下载文件
Parallel.ForEach(
Partitioner.Create(0, NUM_FILES), // 使用分区器创建任务范围
parallelOptions,
(range, loopState) =>
{
for (int j = range.Item1; j < range.Item2; j++)
{
DownloadFile(j);
ReportProgress(NUM_FILES); // 报告下载进度
}
});
// 所有任务完成后输出信息
Console.WriteLine("所有文件下载已完成!");
}
static void DownloadFile(int fileIndex)
{
// 模拟下载过程
Task.Delay(100).Wait(); // 假设每个文件需要100毫秒下载
Console.WriteLine($"文件 #{fileIndex} 已下载完毕!");
}
static void ReportProgress(int NUM_FILES)
{
lock(lockObject)
{
int current = Interlocked.Increment(ref currentFile);
Console.WriteLine($"当前进度:{current}/{NUM_FILES}");
}
}
}
初始化并行任务:使用并行库,你可以利用Parallel.For或Parallel.ForEach来简化并行任务的创建和管理。这些方法会自动处理任务的分发和管理,无需手动管理线程。
分发任务:Parallel.For或Parallel.ForEach会根据可用的处理器核心数或任务的工作量自动分发任务。你只需指定任务的起始和结束范围。
报告进度:由于Parallel类提供了内置的机制来跟踪任务的进度,所以你可能需要使用ParallelOptions和ParallelLoopState来跟踪和报告任务的进度。
在这个版本中,我们使用Parallel.ForEach来并行处理文件的下载任务。我们使用了Partitioner.Create来创建任务的范围,并使用ParallelOptions来控制并行度。此外,进度报告也被稍微简化,因为Parallel类本身提供了一个更简洁的方法来处理这种情况。