前情提要：Python爬虫初体验（1）：利用requests和bs4提取网站漫画前几天有些放松懈怠，并没有做多少事情……这几天要加油了！7月的计划要抓紧时间完成！今天疯狂肝这个程序，算是暑假睡得最晚的一天了……（不过程序仍然有问题）好的废话不多说，进入正题总结了下上次的爬虫体验。虽然能保证稳定下载，但是下载50张XKCD漫画花费的时间达到了将近10分钟，效率比较低。所以这次学习了多线程，以求达到较快下载完全部2000余张漫画的目标。（另外配合V姓网络加速工
系统 2019-09-27 17:55:07 2556
在python中，实现循环写入的功能：txt_file=open("D:/文本文档.txt","a",encoding="utf-8")#将w换成a案例：fortempinimage_name:txt_file=open("D:/文本文档.txt","a",encoding="utf-8")#以写的格式打开先打开文件iftemp.endswith(".jpg"):txt_file.write(temp.replace('.jpg',''))txt_file
系统 2019-09-27 17:55:05 2556
练习介绍要求：请使用多协程和队列，爬取时光网电视剧TOP100的数据（剧名、导演、主演和简介），并用csv模块将数据存储下来。时光网TOP100链接：http://www.mtime.com/top/tv/top100/目的：1.练习掌握gevent的用法2.练习掌握queue的用法fromgeventimportmonkey#gevent从库里导入monkey模块monkey.patch_all()#能把程序变成协作式运行，就是可以帮助程序实现异步imp
系统 2019-09-27 17:50:08 2556
在利用Python进行系统管理的时候，特别是同时操作多个文件目录，或者远程控制多台主机，并行操作可以节约大量的时间。当被操作对象数目不大时，可以直接利用multiprocessing中的Process动态成生多个进程，10几个还好，但如果是上百个，上千个目标，手动的去限制进程数量却又太过繁琐，这时候进程池Pool发挥作用的时候就到了。Pool可以提供指定数量的进程，供用户调用，当有新的请求提交到pool中时，如果池还没有满，那么就会创建一个新的进程用来执行
系统 2019-09-27 17:48:11 2556
上一期博客，我本来想爬取美团美食的，但是由于请求头太复杂，没有破解开其中的几个参数，所以放弃，这次我们来用selenium来模式浏览器抓取数据，我们先来简单看一下流程：1，利用selenium驱动浏览器，得到美食列表2，分析网页，并给予翻页后续的美食列表3，分析提取数据（pyQuery）项目一：美团美食项目地址：https://gitee.com/dwyui/pyQuery_selenium.git由于美团反扒严重，只爬取到部分数据，可以尝试修改间隔时间来
系统 2019-09-27 17:45:51 2556
常见错误1：错误地将表达式作为函数的默认参数在Python中，我们可以为函数的某个参数设置默认值，使该参数成为可选参数。虽然这是一个很好的语言特性，但是当默认值是可变类型时，也会导致一些令人困惑的情况。我们来看看下面这个Python函数定义：>>>deffoo(bar=[]):#bar是可选参数，如果没有提供bar的值，则默认为[]，...bar.append("baz")#但是稍后我们会看到这行代码会出现问题。...returnbarPython程序员常
系统 2019-09-27 17:38:35 2556
最近公司产品和百度贴吧合作搞活动，为了增加人气，打算做个自动签到的小程序。这个是测试登录的代码，写的比较随意，仅实现了登录并读取关注贴吧列表，下边的就比较简单。百度登录还是有点麻烦的，由于用的ssl，所以要先获取token，然后再登录，这个用finddle2分析下，还是比较好解决的。#-*-coding:utf8-*-importurllib2importurllibimportcookielibimportreimportbs4URL_BAIDU_IND
系统 2019-09-27 17:38:35 2556
相对于自动化测试工具QTP来说，selenium小巧、免费，而且兼容Google、FireFox、IE多种浏览器，越来越多的人开始使用selenium进行自动化测试。我是使用的python2.7，下面说一下selenium+Python的自动化测试环境搭建。安装Python环境，从python官网下载安装包双击安装包，进行安装可以选择python的安装目录，按步骤安装，直至完成。在早期的版本中，需要单独安装setuptools和pip，在新的python安
系统 2019-09-27 17:37:51 2556
想在我的项目中使用Lua脚本语言。最初知道Lua是通过CEGUI，后来因为一些原因不打算使用CEGUI了，只好单独使用Lua。在网上看到LuaPlus，貌似比较简单。在此记录学习过程。可以到这里http://luaplus.org/tiki-index.php?page=LuaPlus+Home+Page下载LuaPlus的win32二进制文件和源码包。从源码包提取头文件，从二进制包提取DLL文件。LuaPlus对Lua做了修改和封装，使得Lua和C++的
系统 2019-08-29 23:44:22 2556
在flash以前的版本中，缺泛支持各个方面的视频导出。动态连接如ActionScript，按钮元件和影片剪辑不能被导出这固定的帧的视频格式。这些flash对象类型能被flashplayer运行时支持。任何一个被嵌套在影片剪辑中的动画都不能在它们的第1帧播放，任何在影片中的ActionScript都因导出为视频时失败而导致错误。动态连接和渲染的视频总是两个不同的动物，决不肯一起很地合作演出。欢迎来到新的flashcs3QuickTime导出，你现在可以很智能
系统 2019-08-29 23:36:03 2556
