爬虫的概念：爬虫就是获取网页并提取和保存信息的自动化程序爬虫的分类：主要有四类：通用网络爬虫，聚焦网络爬虫，增量式网络爬虫，深层网络爬虫爬虫的流程：常见的几种爬虫问题：主要有五类：静态网页的爬取，Ajax数据的爬取，动态渲染页面爬取，验证码的识别，代理的使用常见的爬虫框架：pyspider框架，Scrapy框架分布式爬虫：在多台机器上运行爬虫程序爬虫的一些常用"库"：解析库：lxml;BeautifulSoup;pyquery;tesserocr请求库：r
系统 2019-09-27 17:56:05 2227
数据库的安装和连接PyMySQL的安装pipinstallPyMySQLpython连接数据库importpymysqldb=pymysql.connect("数据库ip","用户","密码","数据库")#打开数据库连接cursor.execute("SELECTVERSION()")#使用execute()方法执行SQL查询data=cursor.fetchone()#使用fetchone()方法获取单条数据print("Databaseversion
系统 2019-09-27 17:56:03 2227
1.说一说Redis是什么Redis是一种「Key-Value」的内存型、非关系型数据库，属于NoSQL的一种。Redis的读写速度特别快，特别适合读写频繁的场景。Redis支持主从复制，支持数据持久化。2.知道Redis有哪些常用数据类型吗StringListHashSetZset3.说一下Redis用来做什么利用String，可以很容易实现「计数器」功能。利用List，可以实现「粉丝列表」功能。利用Hash，可以实现「浏览记录」功能。利用Set的并集、
系统 2019-09-27 17:55:50 2227
本文实例讲述了Python常用模块之requests模块用法。分享给大家供大家参考，具体如下：一.GET请求1.访问一个页面importrequestsr=requests.get('http://www.so.com')print(r.status_code)print(r.text)2.带参数importrequestsparams={'a':1,'b':2}r=requests.get('http://www.so.com',params=param
系统 2019-09-27 17:55:46 2227
写爬虫似乎没有比用Python更合适了，Python社区提供的爬虫工具多得让你眼花缭乱，各种拿来就可以直接用的library分分钟就可以写出一个爬虫出来，今天就琢磨着写一个爬虫，将廖雪峰的Python教程爬下来做成PDF电子书方便大家离线阅读。开始写爬虫前，我们先来分析一下该网站1的页面结构，网页的左侧是教程的目录大纲，每个URL对应到右边的一篇文章，右侧上方是文章的标题，中间是文章的正文部分，正文内容是我们关心的重点，我们要爬的数据就是所有网页的正文部分
系统 2019-09-27 17:55:45 2227
那么什么这两个到底有什么区别和联系呢？我在网上搜了一下，发现很多说法，虽然大同小异，但是似乎只有下面这一段来自微软网站的比较高度抽象，而且意义涵盖深远。我摘抄过来，看官读一读，是否理解，虽然是针对VB而言的，一样有启发。复制代码代码如下:参数和变量之间的差异(VisualBasic)多数情况下，过程必须包含有关调用环境的一些信息。执行重复或共享任务的过程对每次调用使用不同的信息。此信息包含每次调用过程时传递给它的变量、常量和表达式。若要将此信息传递给过程，
系统 2019-09-27 17:55:33 2227
Python跟Python3完全就是两种语言1、importcaffeFAILED环境为Ubuntu16cuda8.0NVIDIA361.77Anaconda2。昨天莫名其妙Caffe不能用了：>>>importcaffeTraceback(mostrecentcalllast):File"",line1,inFile"/home/duchengyao/project/caffe/python/caffe/__init__.py",line1,infrom
系统 2019-09-27 17:55:11 2227
Python入门之内置模块--hashlib模块1、hashlib摘要算法，加密算法（1）主要用途：<1>加密:md5sha1sha256sha512md5，加密速度快，安全系数低sha512加密速度慢，安全系数高<2>校验:md5sha1sha256sha512值importhashlib（2）hashlib的特征以及使用要点：<1>bytes类型数据--->通过hashlib算法--->固定长度的字符串<2>当要加密的内容相同时，得到的密文一定是一样的
系统 2019-09-27 17:54:48 2227
使用pythonbrew复制代码代码如下:easy_installpythonbrew[root@li637-23schirm]#pythonbrew_installWell-done!Congratulations!Thepythonbrewisinstalledas:/root/.pythonbrewPleaseaddthefollowinglinetotheendofyour~/.bashrc[[-s"$HOME/.pythonbrew/etc/ba
系统 2019-09-27 17:54:27 2227
本文实例讲述了Python读写文件模式和文件对象方法。分享给大家供大家参考，具体如下：一.读写文件模式利用open()读写文件时，将会返回一个file对象，其基本语法格式如:open（filename，mode）其中，filename变量是一个包含了你要访问的文件名称的字符串值。而mode决定了你打开文件的模式：只读，写入，追加等。所有可取值见如下的完全列表。注：这个参数是非强制的，默认文件访问模式为只读模式(r)例如，我们现在将一个字符串写入到test.
系统 2019-09-27 17:54:20 2227
