上一期博客，我本来想爬取美团美食的，但是由于请求头太复杂，没有破解开其中的几个参数，所以放弃，这次我们来用selenium来模式浏览器抓取数据，我们先来简单看一下流程：1，利用selenium驱动浏览器，得到美食列表2，分析网页，并给予翻页后续的美食列表3，分析提取数据（pyQuery）项目一：美团美食项目地址：https://gitee.com/dwyui/pyQuery_selenium.git由于美团反扒严重，只爬取到部分数据，可以尝试修改间隔时间来
系统 2019-09-27 17:45:51 2535
这是一篇机器学习岗位的笔试题，题目大概就是：给定了数据特征和数据标签(二分类)，使用机器学习算法对数据进行分类，并优化两个重要的参数，计算AUC指标，画出参数优化和AUC指标变化图。本文选择的是SVM(支持向量机)来实现这一过程，SVM是非常强大、灵活的有监督学习的算法，既可以用于分类，也可以用于回归。实现过程：1.导入需要的包importpandasaspdimportnumpyasnpimportmatplotlib.pyplotaspltfrommp
系统 2019-09-27 17:56:06 2534
and和or是python的两个逻辑运算符，可以使用and,or来进行多个条件内容的判断。下面通过代码简单说明下andor的用法：1.or：当有一个条件为真时，该条件即为真。逻辑图如下：测试代码如下：a=raw_input('pleaseinputsomting:')ifa=='a'ora=='b':print'itisaorb'else:print'itisnotaorb'执行代码，输入a，b,ac,结果如下：pleaseinputsomting:ait
系统 2019-09-27 17:55:27 2534
常用：type()函数，查看当前变量类型id()函数，查看当前变量地址help()函数，查找帮助文档Python3中有六个标准的数据类型：Number（数字）String（字符串）List（列表）Tuple（元组）Set（集合）Dictionary（字典）Python3的六个标准数据类型中：不可变数据（3个）：Number（数字）、String（字符串）、Tuple（元组）；可变数据（3个）：List（列表）、Dictionary（字典）、Set（集合）N
系统 2019-09-27 17:53:28 2534
多线程原理：TCP服务器会创建一个线程池，每当有客户端请求连接的时候，它便会从线程池中分配一个线程同客户端建立连接，当客户端中断连接后，线程便销毁。SocketServer是标准库中一个高级别的模块。用于简化网络客户与服务器的实现。socketserver模块中分两大类：server类(解决连接问题)和request类(解决通信问题)我们将服务器做为中转站来处理信息，一方面与客户端互动，另一方面进行消息转发。大体思路确定下来后，需要确定一些通信规则：1.客
系统 2019-09-27 17:52:19 2534
本文实例为大家分享了python批量爬取下载抖音视频的具体代码，供大家参考，具体内容如下importosimportrequestsimportreimportsysimportasyncioimportaiohttpheaders={'user-agent':'Mozilla/5.0(iPhone;CPUiPhoneOS11_0likeMacOSX)AppleWebKit/604.1.38(KHTML,likeGecko)''Version/11.0Mo
系统 2019-09-27 17:49:26 2534
由于我经常需要备份文件夹下的内容到邮件里面，每个打开邮件，上传文件，发送，太过麻烦，其实每次发送的文件都是放在固定置的，只是邮件标题不同而已，于是用python为自己写了个发送文件到邮箱的小工具，在任意目录下执行该脚本，并指定邮件标，就将指定文件夹下的文件发送到邮箱中备份起来。#!/usr/bin/envpython#coding:utf-8fromsmtplibimportSMTP,quotedata,CRLF,SMTPDataErrorfromemai
系统 2019-09-27 17:48:07 2534
作者：AIBoys-TXW链接：https://zhuanlan.zhihu.com/p/76865341来源：知乎著作权归作者所有。商业转载请联系作者获得授权，非商业转载请注明出处。1安装OpenCV1.1、安装必要的依赖sudoapt-getinstallcmakesudoapt-getinstallbuild-essentiallibgtk2.0-devlibavcodec-devlibavformat-devlibjpeg-devlibswscal
系统 2019-09-27 17:47:29 2534
conda虚拟环境安装Listitemcondaenvlist#查看已安装虚拟环境coda创建虚拟环境非常方便：官方教程：https://conda.io/projects/conda/en/latest/user-guide/tasks/manage-environments.html下面以storm_control的安装为例1.查看已安装虚拟环境condaenvlist可以发现已经安装的虚拟环境都是默认在Anaconda3/envs/“my_name”
系统 2019-09-27 17:46:32 2534
想把python提取出来的加载点反力和某个单元的应力画在同一个XY曲线图上，由于两者数量级差太远，故而需要建立有两个Y轴的XY曲线图。效果为：代码如下：#创建Quatype，作为标记，用于判断是否需要创建多条Y轴（或X轴）#label会变成默认的坐标轴名type是一个枚举，“type”相同的合并成同一个轴Quatype1=xyPlot.QuantityType(label='应力',type=STRESS)Quatype2=xyPlot.QuantityT
系统 2019-09-27 17:45:54 2534
导语由于之前遇到过几次有关于参数类型的坑，以及经常容易把一些参数类型搞混淆，现在做一下有关参数类型的总结记录以及对之前踩坑经历的分析。参数类型首先我们列举一下有关于Python的参数类型，以及实际上的运用和原理。位置参数（必选参数）默认参数可变参数关键字参数位置参数（必选参数）首先是位置参数，同时也被称作必选参数，位置参数很好理解，只要记住这点：在函数定义时直接给定的此参数名称，调用时按照参数的位置顺序，依次赋予参数值。示例：defperson_info(
系统 2019-09-27 17:57:36 2533
(1)先在官网下载linux版本的python包找到对应的版本，比如我这里下载的是3.6.8，进行点击第一个就是linux版本，点击下载即可(2)将下载的压缩包上传到linux服务器中。(3)在linux中切换到root用户，解压该文件夹，并进行配置安装1)[root@fangjlfangjl]#tar-xvzfPython-3.6.8.tgz2)进入解压的目录下进行配置安装3)[root@fangjlPython-3.6.8]#./configurepr
系统 2019-09-27 17:56:25 2533
前情提要：Python爬虫初体验（1）：利用requests和bs4提取网站漫画前几天有些放松懈怠，并没有做多少事情……这几天要加油了！7月的计划要抓紧时间完成！今天疯狂肝这个程序，算是暑假睡得最晚的一天了……（不过程序仍然有问题）好的废话不多说，进入正题总结了下上次的爬虫体验。虽然能保证稳定下载，但是下载50张XKCD漫画花费的时间达到了将近10分钟，效率比较低。所以这次学习了多线程，以求达到较快下载完全部2000余张漫画的目标。（另外配合V姓网络加速工
系统 2019-09-27 17:55:07 2533
这里就不给大家废话了，直接上代码，代码的解释都在注释里面，看不懂的也别来问我，好好学学基础知识去！复制代码代码如下:#-*-coding:utf-8-*-#---------------------------------------#程序：百度贴吧爬虫#版本：0.1#作者：why#日期：2013-05-14#语言：Python2.7#操作：输入带分页的地址，去掉最后面的数字，设置一下起始页数和终点页数。#功能：下载对应页码内的所有页面并存储为html文件
系统 2019-09-27 17:54:50 2533
本文实例为大家分享了python3射线法判断点是否在多边形内的具体代码，供大家参考，具体内容如下#!/usr/bin/python3.4#-*-coding:utf-8-*-defisPointinPolygon(point,rangelist):#[[0,0],[1,1],[0,1],[0,0]][1,0.8]#判断是否在外包矩形内，如果不在，直接返回falselnglist=[]latlist=[]foriinrange(len(rangelist)-
系统 2019-09-27 17:54:05 2533
