一、什么是SeleniumSelenium是一个自动化测试工具，对各种浏览器都能很好地支持，包括Chrome、Firefox这些主流浏览器。使用它就可以模拟浏览器进行各种各样的操作，包括爬取一些网页内容。当你看到浏览器自己运行并且在网页上翻页或者跳转的时候，应该会觉得很有趣的。安装selenium先安装好Selenium库和对应浏览器的WebDriver驱动,比如我用的是Chrome，则相对应安装的是ChromeDriver。1.安装selenium#打开
系统 2019-09-27 17:56:45 2454
抓取猫眼电影上面Top100榜单，抓取的内容有电影名称，主演，上映时间，图片，得分等信息。抓取的内容以文件形式保存，地址为https://maoyan.com/board/41.分析该榜单页面如下拉到底部点击下一页，发现此时的URL变化了。此时的URL变为https://maoyan.com/board/4?offset=10，比之前的URL多了参数offset=10，再点击下一页的URL为https://maoyan.com/board/4?offset
系统 2019-09-27 17:56:34 2454
1、在Python中以相对路径或者绝对路径来导入文件或者模块的方法今天在调试代码的时候，程序一直提示没有该模块，一直很纳闷，因为我导入文件一直是用绝对路径进行导入的。按道理来讲是不会出现模块找不到的情况的。最后仔细分析了整个代码的目录结构，才发现了问题。下面依次来说明一下今天的情况先看导入的代码：在demo――mnist.py文件中执行以下两种导入操作#第一处fromgcforest.gcforestimportGCForestfromgcforest.u
系统 2019-09-27 17:56:27 2454
准备工作基础环境准备win10pycharmpython3（同时保证有pip环境）scrapy环境准备打开网址https://www.lfd.uci.edu/~gohlke/pythonlibs/下载Twisted（按python版本+系统位数对应）（浏览器下ctrl+f直接搜索）下载scrapy（截止本文撰写，当前版本是：Scrapy-1.6.0-py2.py3-NONE-any.whl）（不区分系统和python版本）准备好这两个whl文件（我习惯在桌
系统 2019-09-27 17:54:59 2454
前言python的时间格式分为多种，几种格式之间的转换方法时常是我们遇到的而且是经常忘记的点，python不像php，时间字符串和datetime是一起的，只需要strtotime和date函数就可以相互转化。虽然网上已经有很多python时间转换的文章，但是由于作者本人经常做海外业务，需要各种时区之间的转换，所以这篇文章会对按时区转换各种时间格式做一个总结。转换方法图示(图片转自网络)：一、字符串转时间戳1、默认：importtimedeftime_st
系统 2019-09-27 17:54:33 2454
'''date:2019-06-28autor:wangxc功能:1.写日志功能，当没有传入日志写入路径时，他会将本文件名.log的日志文件存放到脚本同路径下例子：脚本路径在c:logger.py，那么生成的日志文件logger.log将会在c:下存在2.可以传入日志的级别，控制日志输出的形式，如何配置日志输出形式，可以看下面注释'''importloggingimportos,sysfromlogging.handlersimportRotatingFi
系统 2019-09-27 17:53:27 2454
类命名空间在一个类中它的函数(方法)属于动态属性,直接定义的变量属于静态属性首先先定义一个类,并在这个类里面加入静态变量、属性等然后将一个对象实例化classFighter:#定义一个战机的类price=5000#静态变量def__init__(self,name,speed,atk,hp):self.name=nameself.speed=speedself.atk=atkself.hp=hpdefAttack(self):print('本次攻击造成了%
系统 2019-09-27 17:50:58 2454
在Python中，很多对象都是可以通过for语句来直接遍历的，例如list、string、dict等等，这些对象都可以被称为可迭代对象。至于说哪些对象是可以被迭代访问的，就要了解一下迭代器相关的知识了。迭代器迭代器对象要求支持迭代器协议的对象，在Python中，支持迭代器协议就是实现对象的__iter__()和next()方法。其中__iter__()方法返回迭代器对象本身；next()方法返回容器的下一个元素，在结尾时引发StopIteration异常。
系统 2019-09-27 17:45:46 2454
一、中国大学排名爬虫案例的步骤如下：步骤1：从网络上获取大学排名网页内容getHTMLText()步骤2：提取网页内容中信息到合适的数据结构fillUnivList()步骤3：利用数据结构展示并输出结果printUnivList()查看http://www.zuihaodaxue.cn/zuihaodaxuepaiming2019.html的源码，部分如下：实现本案例的参考代码如下：importrequestsimportbs4frombs4importB
系统 2019-09-27 17:45:37 2454
在python中可以根据字符串来调用函数：1、使用getattr从字符串来调用函数在多进程中，可能传递过来的是一个字符串，那么我怎么来调用一个已经存在的函数呢，主要就是使用到getattr函数的作用，这个函数就是在使用字符串得到这个字符串对应的函数的对象，然后就可以进行执行，如下所示：在模块中，存在两个函数：[root@python530]#catattr.py#!/usr/bin/envpythondefkel():print'thisisakelfun
系统 2019-09-27 17:38:23 2454
