这样学 Python 多线程与进程(一)

第一时间获取 Python 技术干货!
阅读文本大概需要 5 分钟。
众所周知,Python 中的多线程是一个假的多线程,对于多核 CPU,由于受限于 GIL 全局解释锁,同一时刻只能有一个线程在运行。
但是对于经常爬虫网络请求、下载图片等 IO 密集型操作,多线程变的很实用,能在一定程度上提高程序运行的效率。
下面带大家从零开始学习 Python 多线程。
1、单线程
在单线程程序中可能包含多个方法,运行程序后,默认是在一个主线程里按顺序运行。
import time

def exe_time(func):
    def new_func(*args, **args2):
        t0 = time.time()
        print("@%s, {%s} start" % (time.strftime("%X", time.localtime()), func.__name__))
        back = func(*args, **args2)
        print("@%s, {%s} end" % (time.strftime("%X", time.localtime()), func.__name__))
        print("@%.3fs taken for {%s}" % (time.time() - t0, func.__name__))
        return back

return new_func

@exe_time
def func1():
    time.sleep(1)
    print('执行方法1')
    time.sleep(2)

@exe_time
def func2():
    time.sleep(1)
    print('执行方法2')
    time.sleep(2)

if __name__ == "__main__":
    func1()
    func2()

很明显,如果方法内部都是耗时的操作,会显得效率很低下。
2、IO 密集型和 CPU 密集型
涉及到网络、磁盘 IO 任务的都属于IO 密集型,比如:读写文件、网络请求等任务,计算量小。
CPU 密集型主要消耗 CPU 资源,比如:复杂的计算操作、视频高清解码等。
对于爬虫来说,大部分操作时间都花在 IO 上,CPU 运算的时间很少,因此多线程还是很实用。
3、多线程
只有在 IO 操作时,线程才会主动释放掉 GIL,对于爬虫操作来说,网络请求和文件下载都属于 IO 操作。
多线程最常见的用法是自定义 threading.Thread 的子类,重写 run() 方法,然后调用 start() 函数启动线程。
import threading
import time

class thread1(threading.Thread):

def run(self):
          # IO操作1
          pass

class thread2(threading.Thread):
    def run(self):
          # IO操作2
          pass

if __name__ == '__main__':
    t1 = thread1()
    t2 = thread2()

t1.start()
    t2.start()

4、全局变量和线程锁
多线程都是在同一个进程中运行的,对于进程中的全局变量也是共享的。
由于线程执行的无序性,多个线程如果要修改全局变量时,可能导致脏数据,因此需要利用到线程锁。
import threading

global_value = 0

# 线程锁
thread_lock = threading.Lock()

def add_value():
    # 全局变量
    global global_value

# 上锁
    gLock.acquire()

# 修改全局变量的操作
    pass

# 释放锁
    gLock.release()

if __name__ == '__main__':
    # 定义两个线程,同时去调用一个方法去改变全局变量的值
    thread1 = threading.Thread(target=add_value)
    thread2 = threading.Thread(target=add_value)

thread1.start()
    thread2.start()

(0)

相关推荐

  • Python 中用多线程进行多任务处理

    Python 中用多线程进行多任务处理

  • 第48天:初识 Python 多线程

    我们知道,多线程与单线程相比,可以提高 CPU 利用率,加快程序的响应速度. 单线程是按顺序执行的,比如用单线程执行如下操作: 6秒读取文件19秒处理文件15秒读取文件28秒处理文件2 总共用时 28 ...

  • 图解|为什么 Python 多线程无法利用多核

    (给Python开发者加星标,提升Python技能) 来源:后端技术指南针 1.全局解释锁 如题: Python的多线程为什么不能利用多核处理器? 全局解释器锁(Global Interpreter ...

  • 零基础学python,看完这篇文章,你的python基础就差不多了!

    Python基础语法 1. 认识Python 1.1 Python 简介 Python 的创始人为吉多·范罗苏姆(Guido van Rossum). Python 的设计目标: 一门 简单直观的语言 ...

  • 学Python用哪个开发环境好?【推荐】!

    Python是一门非常简单的编程语言,而且它的起源也很早,拥有很多开发软件,其中包含代码编辑器.IDE集成环境等,那么学Python下载什么软件呢?推荐这几个不错的软件. VS Code:这是一个免费 ...

  • 零基础学Python:数值类型和运算符

    数值类型 1.int(整形) 在 Python 中定义变量是 不需要指定类型(在其他很多高级语言中都需要) 整形,也被称之为整数.整数就是数学中的数字. 整形在Python中不受长度限制大小范围 定义 ...

  • 零基础学Python:列表推导式及深浅拷贝

    列表推导式 Python里面有个很棒的语法糖(syntactic sugar),它就是 list comprehension ,有人把它翻译成"列表推导式",也有人翻译成" ...

  • 学Python需要哪些工具?五大工具推荐!

    Python是一门非常友好.功能强大的编程语言,学习之后Python可以从事多个领域,可以为我们未来开启无限可能.当然了想要学习好Python,必不可少的就是Python开发工具,今天小编为大家介绍几 ...

  • 非计算机专业学Python能找到工作吗?

    近期,有人咨询小编说:我没有计算机基础,想要通过自学Python进入IT行业发展,能否找到工作呢?其实很多人都有这样的想法,之前也有人问过小编,今天统一回复大家一下. 关于这个问题,视情况而决定,很多 ...

  • 零基础学Python:函数精讲

    前言 本文的文字及图片来源于网络,仅供学习.交流使用,不具有任何商业用途,如有问题请及时联系我们以作处理. 1. 位置参数与关键字参数 尽管这种方式很常见,但是位置参数的一个弊端是必须熟记每个位置的参 ...

  • 为什么要学Python呢?

    幸好您看到这里,表明您正在为python学习.同时,我也很高兴地告诉您,python的入门学习非常简单,如何走出python学习的这一步非常重要,希望这篇原创文章能对您有所帮助,如果对您有帮助,请与我 ...

  • 理解Python多线程:通过易懂的小例子展开

    4天前 1 默认启动主线程 一般的,程序默认执行只在一个线程,这个线程称为主线程,例子演示如下: 导入线程相关的模块 threading: import threading threading的类方法 ...