抓取动态的网页内容主要有两种办法，一种是通过开发者工具找到动态内容的接口，然后分析接口的参数和返回值来爬取网站的数据。另外一种是通过模拟浏览器来抓取数据。python的Selenium库就可以通过代码来模拟浏览器抓取数据。一、概述运行Selenium需要依赖于Python的selenium库，以及浏览器对应驱动器（WebDriver）。安装selenium库pipinstallselenium项目地址：https://pypi.org/project/se
系统 2019-09-27 17:47:10 1989
cookie:PHPSESSID=et4a33og7nbftv60j3v9m86cro;Hm_lvt_51e3cc975b346e7705d8c255164036b3=1561553685;Hm_lpvt_51e3cc975b346e7705d8c255164036b3=1561553685首先分析一下浏览器中cookie的结构基本上是：key=value;key=value;key=value其中key=value之间用一个分号和一个空格分开首先写一下不
系统 2019-09-27 17:47:05 1989
set无序排序且不重复，是可变的，有add（），remove（）等方法。既然是可变的，所以它不存在哈希值。基本功能包括关系测试和消除重复元素.集合对象还支持union(联合),intersection(交集),difference(差集)和sysmmetricdifference(对称差集)等数学运算。sets不支持indexing。frozenset是不可变的Set。set的形式是{1,2}，有点像字典。set.add(1),set.update([3,
系统 2019-09-27 17:45:55 1989
判断字符串s.isalnum()#所有字符都是数字或者字母s.isalpha()#所有字符都是字母s.isdigit()#所有字符都是数字s.islower()#所有字符都是小写s.isupper()#所有字符都是大写s.istitle()#所有单词都是首字母大写，像标题s.isspace()#所有字符都是空白字符、\t、\n大小写转换s.upper()#把所有字符中的小写字母转换成大写字母s.lower()#把所有字符中的大写字母转换成小写字母s.cap
系统 2019-09-27 17:45:51 1989
美空网数据----简介从今天开始，我们尝试用2篇博客的内容量，搞定一个网站叫做“美空网”网址为：http://www.moko.cc/，这个网站我分析了一下，我们要爬取的图片在下面这个网址http://www.moko.cc/post/1302075.html然后在去分析一下，我需要找到一个图片列表页面是最好的，作为一个勤劳的爬虫coder，我找到了这个页面http://www.moko.cc/post/da39db43246047c79dcaef44c2
系统 2019-09-27 17:45:41 1989
IPython+ptpython，完美体验首先是安装pipinstallipythonptpython然后使用ptipython有什么好处1.IPython是非常强大的Python增强工具2.ptpython提供了类似IDE的自动补全功能3.当你在命令行输入pyipython时，便结合了这两者的功能，无比强大！virtualenv+virtualenvwrapper，轻松创建隔离环境首先安装pipinstallvirtualenvwrapper（会自动把v
系统 2019-09-27 17:38:45 1989
首先来描述下环境，在机器上有很多个JAVA程序，我们在每个JAVA程序里都配置了一个启动|停止|重启的脚本举个例子：我们现在要同时运行这些脚本，来达到快速启动所有的JAVA程序，如果我们只用多线程的话，线程是不会返回消息给父进程，我们如何才能知道这些程序是启动成功了呢？所以我们用到了队列来管理。"""我试过gevent,但是会在command这里造成阻塞"""gevent代码如下如果有朋友知道如何优化，请您告诉我#!/usr/bin/python2.7#-
系统 2019-09-27 17:38:36 1989
核心代码：#!/usr/bin/python#-*-coding:gbk-*-#设置源文件输出格式importsysimportgetoptimportjsonimportcreateDictimportmyConToXMLimportmyConToTabledefgetRsDataToDict():#获取控制台中输入的参数，并根据参数找到源文件获取源数据csDict={}try:#通过getopt获取参数opts,args=getopt.getopt(s
系统 2019-09-27 17:38:33 1989
Python是用于编码图形界面的极佳语言。由于可以迅速地编写工作代码并且不需要费时的编译周期，所以可以立即使界面启动和运行起来，并且不久便可使用这些界面。将这一点与Python易于链接本机库的能力结合起来，就可以形成一个出色的环境。gnome-python是为Python封装GNOME及其相关库的软件包。这使您能够用Python编写外观与核心GNOME应用程序完全相同的应用程序，而所花的时间只是用C编写该应用程序所花的一部分。然而，不用C进行编程会有一个缺
系统 2019-09-27 17:38:29 1989
前言任何应用都离不开数据，所以在学习python的时候，当然也要学习一个如何用python操作数据库了。MySQLdb就是python对mysql数据库操作的模块。今天写了个工具，目的是把csv中的数据插入到数据库中去。其中有一部分，是需要分别向两张表中插入两条数据，如果第二张表中的数据已经存在，那么第一张表中的数据也不需要插入。然后通过百度查找发现，其实MySQLdb库，自带了事务处理的功能，pymysql库也是一样。conn=MySQLdb.conne
系统 2019-09-27 17:38:06 1989
