前面十章爬虫笔记陆陆续续记录了一些简单的Python爬虫知识，用来解决简单的贴吧下载，绩点运算自然不在话下。不过要想批量下载大量的内容，比如知乎的所有的问答，那便显得游刃不有余了点。于是乎，爬虫框架Scrapy就这样出场了！Scrapy=Scrach+Python，Scrach这个单词是抓取的意思，Scrapy的官网地址：点我点我。那么下面来简单的演示一下Scrapy的安装流程。具体流程参照：//www.jb51.net/article/48607.htm
系统 2019-09-27 17:54:46 1729
#!/usr/bin/python#coding:utf-8importnumpyasnpa=np.array([1,2,3])b=np.array([[1,2,3],[4,5,6],[7,8,9]])#shape是维度，dtype是元素的类型printa.shapeprinta.dtype#使用函数生成等差数列数组x1=np.arange(1,11,2)x2=np.linspace(1,9,5)printx1,x2#求数组中的最大值和最小值printnp
系统 2019-09-27 17:54:45 1729
主要逻辑是判断文件的最后修改时间与创建时间是否在秒级别上一致，此代码适用于Python2.importtimeimportos#ReadfimenameFileName='D:/scapegoat/xx.csv'#printfilecreationtimeprinttime.strftime('%Y-%m-%d%H:%M:%S',time.localtime(os.stat(FileName).st_ctime))#printfilemodifiedtim
系统 2019-09-27 17:54:41 1729
SQLite是一款轻型的数据库，是遵守ACID的关系型数据库管理系统。不像常见的客户-服务器范例，SQLite引擎不是个程序与之通信的独立进程，而是连接到程序中成为它的一个主要部分。所以主要的通信协议是在编程语言内的直接API调用。Python标准库包含一个SQLite包装器：使用模块sqlite3实现的PySQLite。下面是一个操作SQLite数据库的例子：创建表、插入记录、查询记录。importsqlite3#创建直接到数据库文件的连接，如果文件不存
系统 2019-09-27 17:54:40 1729
今天我们来介绍下Python基础教程学习之iter()方法另外的用法。据说很少有人知道这个用法！一、上代码、学用法我们都比较熟悉iter(obj)，会返现一个迭代器，如果obj不是可迭代对象，则会报错。但其实如果仔细看官方文档，会发现iter()方法其实是接受两个参数的，文档说明如下iter(object[,sentinel])sentinel英文翻译为哨兵。sentinel参数是可选的，当它存在时，object不再传入一个可迭代对象，而是一个可调用对象，
系统 2019-09-27 17:54:30 1729
python里面可以将路径里面的\替换成/避免转义。os.walk方法可以将目标路径下文件的root，dirs，files提取出来。后面对每个文件进行操作。切片操作[:]判断是否为.jpg或.JPG文件。shutil的copy方法将文件从旧路径复制到新路径。glob的glob方法提取目标文件夹的所有图片，对每张图片进行显示保存等操作。详细代码及注释如下：importosimportshutilimportglobimportcv2path='C:/User
系统 2019-09-27 17:54:30 1729
【摘要】在前一章中，我们已经成功尝试分析Ajax来抓取相关数据，但是并不是所有页面都可以通过分析Ajax来完成抓取。比如，淘宝，它的整个页面数据确实也是通过Ajax获取的，但是这些Ajax接口参数比较复杂，可能会包含加密密钥等，所以如果想自己构造Ajax参数，还是比较困难的。对于这种页面，最方便快捷的抓取方法就是通过Selenium。本节中，我们就用Selenium来模拟浏览器操作，抓取淘宝的商品信息，并将结果保存到MongoDB。1.本节目标本节中，我们
系统 2019-09-27 17:54:29 1729
原文链接：https://edu.csdn.net/topic/python115?utm_source=yjs我一直认为，敢裸辞的只有2种人：1、能力足够强，即使裸辞也不会被财务问题所困，更不愁找工作。2、年轻气盛，遇到傻X领导和傻X同事，绝对0容忍！但是最近我在刷某乎的时候，发现了第三种人。为了方便面试而裸辞。裸辞面试11家python公司一口气拿到4个offer这无疑是一种高效的方式，但是如果底气不够，还是很容易陷入焦虑的。还好的是，这位up主后续更
系统 2019-09-27 17:54:29 1729
一：从各种不同的格式文件中导入数据,总结目前最常用的文件格式导入数据的一些方法:#-*-coding:utf-8-*-fromnumpyimport*defloadDataSet(fileName):'''导入数据'''numFeat=len(open(fileName).readline().split('\t'))-1dataMat=[]labelMat=[]fr=open(fileName)forlineinfr.readlines():lineAr
系统 2019-09-27 17:54:24 1729
如下所示：importosos.system()os.popen().read().strip()#上面2种方法是python执行终端/控制台命令的常见方法#os.system('pingwww.baidu.com')执行成功返回0#ping=os.popen('pintwww.baidu.com').read().strip()返回输出结果#注：os.system()执行完成会关闭所以当执行后续命令需要依赖前面的命令时，请将多条命令写到一个os.syst
系统 2019-09-27 17:54:00 1729
