多线程技术应用之并行下载并通知运行状态

开发 后端
在这个版本中,我们使用Parallel.ForEach来并行处理文件的下载任务。我们使用了Partitioner.Create来创建任务的范围,并使用ParallelOptions来控制并行度。

场景描述:

在面对需要下载大量文件或同时执行大量任务的挑战时,多线程技术成为提高效率的关键工具。这种方法就像优化了的生产线,各个部分同步协作,使整体工作更为流畅和迅速。

想象一下,你面临一个包含1,000个文件下载或者有多个可以并行处理的任务的时候。在传统的单线程模型中,这将是一个漫长的等待过程。但通过多线程,我们可以将这个大任务拆分成多个小任务并行执行,从而大大缩短完成时间,提高整体效率。

然而,仅仅完成任务是不够的。为了确保用户和其他相关方实时了解进展情况,我们需要一个高效的进度跟踪和报告机制。这可以通过建立实时监控系统或利用进度条、日志和通知来实现。这样用户,都可以在任何时候了解项目的当前状态和预期进度。

下面就思考两种实现方式:多线程和并行库的用法。主要是体会使用模型的使用。

多线程处理实现过程:

示例代码:

using System;
using System.Threading;
using System.Threading.Tasks;

class Program
{
    static int currentFile = 0;
    static object lockObject = new object();

    static void Main(string[] args)
    {
        const int NUM_FILES = 1000;
        const int NUM_THREADS = 20;

        // 创建一个计数器,以便在所有线程完成后更新状态。
        CountdownEvent countdown = new CountdownEvent(NUM_THREADS);

        // 创建20个下载线程
        for (int i = 0; i < NUM_THREADS; i++)
        {
            int threadIndex = i;
            Task.Run(() =>
            {
                // 模拟下载过程
                for (int j = threadIndex; j < NUM_FILES; j += NUM_THREADS)
                {
                    DownloadFile(j);
                    ReportProgress(NUM_FILES);  // 报告下载进度
                }

                // 当前线程完成下载,向计数器发信号。
                countdown.Signal();
            });
        }

        // 等待所有线程完成
        countdown.Wait();

        // 所有线程都已完成,将状态标记为已完成。
        Console.WriteLine("所有文件下载已完成!");
    }

    static void DownloadFile(int fileIndex)
    {
        // 模拟下载过程
        Thread.Sleep(100);   // 假设每个文件需要10毫秒下载
        Console.WriteLine($"文件 #{fileIndex} 已下载完毕!");
    }

    static void ReportProgress(int NUM_FILES)
    {
        lock(lockObject)
        {
            int current = Interlocked.Increment(ref currentFile);
            Console.WriteLine($"当前进度:{current}/{NUM_FILES}");
        }
    }
}

定义常量:NUM_FILES表示总文件数量,这里设定为1000。NUM_THREADS表示线程数量,这里设定为20。

创建一个CountdownEvent对象countdown,用于在所有线程完成后更新状态。

创建20个下载线程:

  • 使用Task.Run()创建一个任务,并在每个任务中执行相应的操作。
  • 每个线程根据索引threadIndex来决定从哪个文件开始下载,通过循环递增NUM_THREADS来实现线程间的文件分配。
  • 在循环中调用DownloadFile()方法来模拟下载文件,并在下载完成后调用ReportProgress()方法报告下载进度。
  • 当线程完成下载后,通过countdown.Signal()向计数器发信号。

使用countdown.Wait()等待所有线程完成。

所有线程都已完成,输出提示信息:“所有文件下载已完成!”

DownloadFile()方法模拟文件下载过程:使用Thread.Sleep()方法来模拟下载耗时,这里假设每个文件需要100毫秒下载。输出下载完毕的文件信息。

ReportProgress()方法用于报告下载进度:

  • 使用lock语句加锁,确保多个线程同时操作currentFile变量时不会产生竞争条件。
  • 使用Interlocked.Increment()原子地递增currentFile变量,获取当前下载的文件数。
  • 输出当前下载进度信息。

总体而言,该程序通过创建多个线程来并行下载文件,并使用计数器来跟踪所有线程的完成状态。每个线程负责下载部分文件,并在完成后报告当前的下载进度。最后,当所有线程都完成时,输出下载完成的提示信息。

使用并行库的处理过程:

示例代码:

using System;
using System.Threading.Tasks;
using System.Collections.Concurrent;

class Program
{
    static int currentFile = 0;
    static object lockObject = new object();
    static void Main(string[] args)
    {
        const int NUM_FILES = 1000;

        // 使用ParallelOptions来跟踪并行任务的进度
        var parallelOptions = new ParallelOptions
        {
            MaxDegreeOfParallelism = 20 // 设置最大并行度
        };

        // 使用Parallel.ForEach并行下载文件
        Parallel.ForEach(
            Partitioner.Create(0, NUM_FILES), // 使用分区器创建任务范围
            parallelOptions,
            (range, loopState) =>
            {
                for (int j = range.Item1; j < range.Item2; j++)
                {
                    DownloadFile(j);
                    ReportProgress(NUM_FILES);  // 报告下载进度
                }
            });

        // 所有任务完成后输出信息
        Console.WriteLine("所有文件下载已完成!");
    }

    static void DownloadFile(int fileIndex)
    {
        // 模拟下载过程
        Task.Delay(100).Wait(); // 假设每个文件需要100毫秒下载
        Console.WriteLine($"文件 #{fileIndex} 已下载完毕!");
    }

    static void ReportProgress(int NUM_FILES)
    {
        lock(lockObject)
        {
            int current = Interlocked.Increment(ref currentFile);
            Console.WriteLine($"当前进度:{current}/{NUM_FILES}");
        }
    }
}

初始化并行任务:使用并行库,你可以利用Parallel.For或Parallel.ForEach来简化并行任务的创建和管理。这些方法会自动处理任务的分发和管理,无需手动管理线程。

分发任务:Parallel.For或Parallel.ForEach会根据可用的处理器核心数或任务的工作量自动分发任务。你只需指定任务的起始和结束范围。

报告进度:由于Parallel类提供了内置的机制来跟踪任务的进度,所以你可能需要使用ParallelOptions和ParallelLoopState来跟踪和报告任务的进度。

在这个版本中,我们使用Parallel.ForEach来并行处理文件的下载任务。我们使用了Partitioner.Create来创建任务的范围,并使用ParallelOptions来控制并行度。此外,进度报告也被稍微简化,因为Parallel类本身提供了一个更简洁的方法来处理这种情况。

责任编辑:姜华 来源: 今日头条
相关推荐

2009-08-28 16:16:02

线程运行状态

2022-02-15 15:34:10

大数据天体系统技术

2011-04-01 16:23:14

Cacti监控Nginx

2009-07-17 17:57:20

NPetShop iBATIS.Net

2014-08-13 14:48:01

LinuxShell脚本

2012-03-06 09:20:02

ibmdw

2023-10-10 09:19:59

日志Java

2021-12-26 18:22:30

Java线程多线程

2009-08-17 14:08:33

C#进度条使用

2010-04-27 17:23:34

AIX系统

2024-01-09 08:28:44

应用多线程技术

2020-07-03 07:59:01

Linux服务systemd

2015-02-03 15:06:23

android多线程下载

2021-09-09 07:16:00

C#多线程开发

2021-12-28 09:10:55

Java线程状态

2023-10-26 21:44:02

Java多线程方法

2011-05-31 13:29:40

Android 多线程

2014-12-31 15:42:21

Android多线程软件下载

2012-12-25 11:39:20

Pythoncrawler

2024-09-27 19:42:09

工具C#Task​
点赞
收藏

51CTO技术栈公众号