爬虫的概念：爬虫就是获取网页并提取和保存信息的自动化程序爬虫的分类：主要有四类：通用网络爬虫，聚焦网络爬虫，增量式网络爬虫，深层网络爬虫爬虫的流程：常见的几种爬虫问题：主要有五类：静态网页的爬取，Ajax数据的爬取，动态渲染页面爬取，验证码的识别，代理的使用常见的爬虫框架：pyspider框架，Scrapy框架分布式爬虫：在多台机器上运行爬虫程序爬虫的一些常用"库"：解析库：lxml;BeautifulSoup;pyquery;tesserocr请求库：r
系统 2019-09-27 17:56:05 2137
这篇文章主要介绍了python检测服务器端口代码实例,文中通过示例代码介绍的非常详细，对大家的学习或者工作具有一定的参考学习价值,需要的朋友可以参考下importsocketsk=socket.socket(socket.AF_INET,socket.SOCK_STREAM)sk.settimeout(10)try:sk.connect(('127.0.0.1',80))print('Serverport80OK!')exceptException:pri
系统 2019-09-27 17:55:41 2137
点击上方“开发者技术前线”，选择“星标”21：15在看真作者：JahongirRahmonov|机器之心编译参与：魔王PyCharm是一种PythonIDE，可以帮助程序员节约时间，提高生产效率。那么具体如何使用呢？本文从PyCharm安装到插件、外部工具、专业版功能等进行了一一介绍，希望能够帮助到大家。机器之心之前也没系统地介绍过PyCharm，怎样配置环境、怎样DeBug、怎样同步GitHub等等可能都是通过经验或者摸索学会的。在本文中，我们并不会提供
系统 2019-09-27 17:55:36 2137
1、合并列表（extend）跟元组一样，用加号（+）将两个列表加起来即可实现合并：In[1]:x=list(range(1,13,2))In[2]:x+['b','a']Out[2]:[1,3,5,7,9,11,'b','a']对于已定义的列表，可以用extend方法一次性添加多个元素：In[7]:x2=[3,6,1]In[8]:x.extend(x2)In[9]:xOut[9]:[1,3,5,7,9,11,3,6,1,3,6,1,3,6,1]需要说明的是
系统 2019-09-27 17:55:28 2137
前言玩ctf经常遇到进制转换的问题，就正好做一个进制转换总结，分享出来供大家参考学习，下面来一起看看详细的介绍：字符串与十六进制转换例如百度ctf12月的第二场第一个misc666C61677B65633862326565302D336165392D346332312D613031322D3038616135666137626536377D比较简单的一种做法就是直接调用字符串的.decode('hex')解密即可,但如果不用这个函数你会怎么解呢？一种思路就
系统 2019-09-27 17:55:09 2137
阅读更多####if语句###cars=['audi','bmw','subaru','toyota']forcarincars:ifcar=='bmw':#==检查是否相等即相等时返回Ture，不相等时返回Flaseprint(car.upper())else:print(car.title())cars=['audi','bmw','subaru','toyota']forcarincars:ifcar!="bmw":#!=检查是否不相等即不相等时返回
系统 2019-09-27 17:54:53 2137
MD5消息摘要算法（英语：MD5Message-DigestAlgorithm），一种被广泛使用的密码散列函数，可以产生出一个128位（16字节）的散列值（hashvalue），用于确保信息传输完整一致。MD5由美国密码学家罗纳德·李维斯特（RonaldLinnRivest）设计，于1992年公开，用以取代MD4算法。概述MD5校验码通过散列函数计算而成，可以生成任何数据的数据“指纹”，即我们可以利用MD5将消息或者数据压缩成摘要，是的数据量变小，便于比较
系统 2019-09-27 17:54:19 2137
前言树是数据结构中非常重要的一种，主要的用途是用来提高查找效率，对于要重复查找的情况效果更佳，如二叉排序树、FP-树。另外可以用来提高编码效率，如哈弗曼树。用Python实现树的构造和几种遍历算法。实现功能如下：树的构造递归实现先序遍历、中序遍历、后序遍历堆栈实现先序遍历、中序遍历、后序遍历队列实现层次遍历#-*-coding=utf-8-*-classNode(object):"""节点类"""def__init__(self,element=-1,l_
系统 2019-09-27 17:54:16 2137
安装方法pipinstallScrapy如果顺利的话不用管直接一路下来就OK验证是否安装成功安装成功不顺利的情况1）lxml安装不成功使用whl进行安装，不过需要先安装whlpipinstallwheel安装完成后下载lxml的whl文件网址：http://www.lfd.uci.edu/~gohlke/pythonlibs/whl版本挑选进入cmd――>importpip――>printpip.pep425tags.get_supported()，按照截
系统 2019-09-27 17:54:03 2137
Pandas中对时间这个属性的处理有非常非常多的操作。而本文对其中一个大家可能比较陌生的方法进行讲解。其他的我会陆续上传。应用情景是这样的：考虑到有一个数据集，数据集中有用户注册账号的时间（年-月-日），如下图格式。如果我们希望对用户账号注册时间转为具体的天数，我们可以用如下代码。importpandasaspdtd=data['user_reg_tm']Time=pd.to_datetime(td)Start=pd.datetime(2016,4,16)
系统 2019-09-27 17:53:59 2137
