进程、线程和协程进程的定义:进程,是计算机中已运行程序的实体。程序本身只是指令、数据及其组织形式的描述,进程才是程序的真正运行实例。线程的定义:操作系统能够进行运算调度的最小单位。它被包含在进程之中,是进程中的实际运作单位。进程和线程的关系:一条线程指的是进程中一个单一顺序的控制流,一个进程中可以并发多个线程,每条线程并行执行不同的任务。CPU的最小调度单元是线程不是进程,所以单进程多线程也可以利用多核CPU.协程的定义:协程通过在线程中实现调度,避免了陷
系统 2019-09-27 17:52:14 2103
官方文档:https://elasticsearch-py.readthedocs.io/en/master/1、介绍python提供了操作ElasticSearch接口,因此要用python来操作ElasticSearch,首先要安装python的ElasticSearch包,用命令pipinstallelasticsearch安装或下载安装:https://pypi.python.org/pypi/elasticsearch/5.4.02、创建索引假如
系统 2019-09-27 17:51:01 2103
zip在python3中,处于优化内存的考虑,只能访问一次!!!(python2中可以访问多次),童鞋们一定要注意,*coding:utf-8*zip()函数的定义:从参数中的多个迭代器取元素组合成一个新的迭代器;返回:返回一个zip对象,其内部元素为元组;可以转化为列表或元组;传入参数:元组、列表、字典等迭代器。当zip()函数中只有一个参数时,zip(iterable)从iterable中依次取一个元组,组成一个元组。在python3.0中有个大坑,z
系统 2019-09-27 17:50:58 2103
使用paramiko库:https://github.com/paramiko/paramiko简单封装SSH类importparamikoclassSSH:def__init__(self,host,port,user,ssh_key_path,timeout=1800):self.host=hostself.port=portself.user=userself.ssh_key_path=ssh_key_pathself.timeout=timeout
系统 2019-09-27 17:50:38 2103
Python正则表达式简介正则表达式是一个特殊的字符序列,它能帮助你方便的检查一个字符串是否与某种模式匹配。Python自1.5版本起增加了re模块,它提供Perl风格的正则表达式模式。re模块使Python语言拥有全部的正则表达式功能。compile函数根据一个模式字符串和可选的标志参数生成一个正则表达式对象。该对象拥有一系列方法用于正则表达式匹配和替换。re模块也提供了与这些方法功能完全一致的函数,这些函数使用一个模式字符串做为它们的第一个参数。本章节
系统 2019-09-27 17:49:55 2103
[TOC]一、守护线程无论是进程还是线程,都遵循:守护xx会等待主xx运行完毕后被销毁。需要强调的是:运行完毕并非终止运行。对主进程来说,运行完毕指的是主进程代码运行完毕对主线程来说,运行完毕指的是主线程所在的进程内所有非守护线程统统运行完毕,主线程才算运行完毕1.1详细解释主进程在其代码结束后就已经算运行完毕了(守护进程在此时就被回收),然后主进程会一直等非守护的子进程都运行完毕后回收子进程的资源(否则会产生僵尸进程),才会结束。主线程在其他非守护线程运
系统 2019-09-27 17:49:52 2103
[TOC]一、队列queue队列:使用importqueue,用法与进程Queue一样实际上这里就是Python解释器中的一种数据结构中的类型——队列这里直接使用队列也可以。如果还要类似计数器的功能可以加上task_done和joinFIFO先进先出LIFO后进先出优先级队列二、先进先出(FIFO)classqueue.Queue(maxsize=0)###普通队列q=queue.Queue()###没有计数器进行阻塞FIFOq.put("first")q
系统 2019-09-27 17:49:51 2103
介绍如何使用python的multiprocess和threading模块进行多线程和多进程编程。Python的多进程编程与multiprocess模块python的多进程编程主要依靠multiprocess模块。我们先对比两段代码,看看多进程编程的优势。我们模拟了一个非常耗时的任务,计算8的20次方,为了使这个任务显得更耗时,我们还让它sleep2秒。第一段代码是单进程计算(代码如下所示),我们按顺序执行代码,重复计算2次,并打印出总共耗时。import
系统 2019-09-27 17:49:10 2103
第一招:蛇打七寸:定位瓶颈首先,第一步是定位瓶颈。举个简单的栗子,一个函数可以从1秒优化到到0.9秒,另一个函数可以从1分钟优化到30秒,如果要花的代价相同,而且时间限制只能搞定一个,搞哪个?根据短板原理,当然选第二个啦。一个有经验的程序员在这里一定会迟疑一下,等等?函数?这么说,还要考虑调用次数?如果第一个函数在整个程序中需要被调用100000次,第二个函数在整个程序中被调用1次,这个就不一定了。举这个栗子,是想说明,程序的瓶颈有的时候不一定一眼能看出来
系统 2019-09-27 17:48:04 2103
目录Python并发编程06/同步/异步调用/异步调用+回调函数1.如何看源码2.昨日回顾3.阻塞、同步调用、异步调用3.1概念3.2异步调用3.3同步调用3.4异步如何取结果4.异步调用+回调函数4.1浏览器工作原理4.2什么叫爬虫4.3异步调用+回调函数Python并发编程06/同步/异步调用/异步调用+回调函数1.如何看源码2.昨日回顾#1.递归锁:RLock,同一把锁,引用一次计数+1,释放一次计数-1,只要计数不为零,其他线程就抢不到,能解决死锁
系统 2019-09-27 17:47:25 2103