我们直接用Requests、Selenium等库写爬虫，如果爬取量不是太大，速度要求不高，是完全可以满足需求的。但是写多了会发现其内部许多代码和组件是可以复用的，如果我们把这些组件抽离出来，将各个功能模块化，就慢慢会形成一个框架雏形，久而久之，爬虫框架就诞生了。利用框架我们可以不用再去关心某些功能的具体实现，只需要去关心爬取逻辑即可。有了它们，可以大大简化代码量，而且架构也会变得清晰，爬取效率也会高许多。所以如果对爬虫有一定基础，上手框架是一种好的选择。本
系统 2019-09-27 17:53:32 2160
在整个学生选课系统里面，最核心的就是选课页面了。我们设定目标为：1、已经选修的课程，不能重复选修；2、每个学生最多可选修不超过2门课程。3、可选课程数量过多的时候，页面自动分页，每页默认最多显示10条数据。为了实现目标，这里需要使用3个东西：1、后端业务逻辑查询数据库，得出可以选修的课程，返回给前端页面，前端页面需要使用dataTable这个JS组件，实现即时搜索，自动分页等功能。2、点击前端选修按钮之后，会弹出确认的框，这个要使用弹层。3、弹出里面点击确
系统 2019-09-27 17:52:47 2160
如题、学习、保存1源码#-*-coding:utf-8-*-'''time:2019-8-21author:Bing'''importmatplotlib.pyplotasplt#num_list=[1.5,0.6,7.8,6]fig,ax=plt.subplots()num_list=[7870,81937,17529598,6225227]name_list=['Eviction','Failed','Finished','Killed']b=ax.b
系统 2019-09-27 17:51:29 2160
首先进入python官网下载：https://www.python.org/downloads/release/python-373/这里目前最新版本为3.73，点击下载。打开程序。按如下步骤操作：验证是否安装成功，打开cmd，输入python：写一个helloworld程序：至此，python的环境部署完毕。
系统 2019-09-27 17:50:52 2160
最近要写一款基于被动式的漏洞扫描器，因为被动式是将我们在浏览器浏览的时候所发出的请求进行捕获，然后交给扫描器进行处理，本来打算自己写这个代理的，但是因为考虑到需要抓取https，所以最后找到Mitmproxy这个程序。安装方法：pipinstallmitmproxy接下来通过一个案例程序来了解它的使用，下面是目录结构sproxy|utils|__init__.py|parser.py|sproxy.pysproxy.py代码#coding=utf-8fro
系统 2019-09-27 17:50:22 2160
目录一、进程之间的数据共享1.1Manager模块介绍1.2Manager例子一、进程之间的数据共享展望未来，基于消息传递的并发编程是大势所趋即便是使用线程，推荐做法也是将程序设计为大量独立的线程集合，通过消息队列交换数据。这样极大地减少了对使用锁定和其他同步手段的需求，还可以扩展到分布式系统中。但进程间应该尽量避免通信，即便需要通信，也应该选择进程安全的工具来避免加锁带来的问题。以后我们会尝试使用数据库来解决现在进程之间的数据共享问题。1.1Manage
系统 2019-09-27 17:49:06 2160
一、推荐安装Anaconda官方介绍：AnacondaisacompletelyfreePythondistribution(includingforcommercialuseandredistribution).Itincludesmorethan400ofthemostpopularPythonpackagesforscience,math,engineering,anddataanalysis.下载页面：https://www.continuum.i
系统 2019-09-27 17:48:09 2160
下面这样的一串代码相信很多人都写过，但可能除了你自己没有人看得懂：forrangeinrange（n）：forjinrange（m）：forkinrange（l）：temp_value=X[i][j][k]*12.5new_array[i][j][k]=temp_value+150这并不是一段好的的代码，为了图省事，使用了简单而无实际含义的变量及数值，看起来在任何程序中都可以用，对于看的人来说就是灾难，因为要想半天或者查看上下文才知道你写的变量是什么意思，
系统 2019-09-27 17:47:28 2160
PythonScrapy爬虫，听说妹子图挺火，我整站爬取了，上周一共搞了大概8000多张图片。和大家分享一下。核心爬虫代码#-*-coding:utf-8-*-fromscrapy.selectorimportSelectorimportscrapyfromscrapy.contrib.loaderimportItemLoader,Identityfromfun.itemsimportMeizituItemclassMeizituSpider(scrapy
系统 2019-09-27 17:46:19 2160
列表是包含0个或多个对象应用的有序序列，列表的长度和内容都是可变的；列表没有长度限制，元素类型可以不同；所有元素放在一对方括号中，相邻元素之间用逗号分隔开。使用赋值运算符“=”创建列表如a-list=[‘physics’,‘chemistry’,2017,2.5]b-list=[‘wade’,3.0,81,[‘bosh’,‘haslem’]]c-list=[1,2,(3.0,‘helloworld!’)]d-list=[]e-list=list()使用列表
系统 2019-09-27 17:46:18 2160
