前一段时间一直在研究如何用python抓取搜索引擎结果，在实现的过程中遇到了很多的问题，我把我遇到的问题都记录下来，希望以后遇到同样问题的童鞋不要再走弯路。1.搜索引擎的选取选择一个好的搜索引擎意味着你能够得到更准确的搜索结果。我用过的搜索引擎有四种：Google、Bing、Baidu、Yahoo!。作为程序员，我首选Google。但当我看见我最爱的Google返回给我的全是一堆的js代码，根本没我想要的搜索结果。于是我转而投向了Bing的阵营，在用过一段
系统 2019-09-27 17:48:21 1973
因为目前python非常火，应用非常的广泛，是目前最火的行业之一，竞争很大，工资很高，未来发展也极好。我个人建议：如条件还可以，负担不是那么大，可以选择培训，培训一定会比你自学的好，如果培训都学好，自学肯定更难。目前python的培训费用都是2W+，这还只是培训费而已，加上一些其他的东西，四个月时间要小三万吧！所以建议选择线上培训，成本低，可以反复学。如果条件不允许，选择自学，自学肯定会难，但是只要你决心够用，自学也可以找到工作，但是从比例来看会很低，其实
系统 2019-09-27 17:48:21 1973
WindowsError的错误代码详解0操作成功完成。1功能错误。2系统找不到指定的文件。3系统找不到指定的路径。4系统无法打开文件。5拒绝访问。6句柄无效。7存储控制块被损坏。8存储空间不足，无法处理此命令。9存储控制块地址无效。10环境错误。11试图加载格式错误的程序。12访问码无效。13数据无效。14存储器不足，无法完成此操作。15系统找不到指定的驱动器。16无法删除目录。17系统无法将文件移到不同的驱动器。18没有更多文件。19介质受写入保护。20
系统 2019-09-27 17:48:16 1973
0x00:使用xpath进行网页解析#coding:utf-8importrequestsimportosimportrefromlxmlimportetreeimporttimedefget_title(title):#获取标题，创建文件path=r"./Pic/"+titleifos.path.exists(path):#文件夹存在，返回returnpathelse:os.makedirs(path)#创建空文件夹returnpathdefpic_ge
系统 2019-09-27 17:48:14 1973
并发与锁a.多个线程共享数据的时候，如果数据不进行保护，那么可能出现数据不一致现象，使用锁，信号量、条件锁b.c.互斥锁1.互斥锁，是使用一把锁把代码保护起来，以牺牲性能换取代码的安全性，那么Rlock后必须要relase解锁不然将会失去多线程程序的优势2.互斥锁的基本使用规则：1importthreading2#声明互斥锁3lock=threading.Rlock();4defhandle(sid):#功能实现代码5lock.acquire()#加锁6#
系统 2019-09-27 17:48:09 1973
API:statuses/public_timeline返回最新的200条公共微博，返回结果非完全实时CODE:#!/usr/bin/python#-*-coding:utf-8-*-'''Createdon2014-7-3@author:guaguastd@name:statuses_public_timeline.py'''defpublic_timeline(weibo_api,count):#public_timeline=weibo_api.st
系统 2019-09-27 17:48:06 1973
Ruby和Python太相似了，取舍大部分都是个人喜好上的原因。比如我就觉得Python的“Thereisonlyonewaytodoit.”比Ruby的“Therearemanywaystodoit.”要好，这不光是考虑团队协作的问题，更重要的是自己能很快明白自己三个月前写的没有任何注释的代码是在干什么。当然也有很多人觉得自由和灵活要比可读性来的重要，所以我说这个是个人喜好的原因。客观上的Ruby比Python的优势我想到的有这么几个：Block应该是语
系统 2019-09-27 17:48:04 1973
下面是实现代码#coding:utf-8importtime,serialfromstructimport*importbinasciifile=open('E:\\1.bin','rb')i=0while1:c=file.read(1)#将字节转换成16进制；ssss=str(binascii.b2a_hex(c))[2:-1]print(str(binascii.b2a_hex(c))[2:-1])ifnotc:breakser=serial.Seri
系统 2019-09-27 17:48:02 1973
为了提高工作效率（偷懒），用python去解决。工作需要，需要将excel文件转化为csv文件，要是手工的一个个去转换，每个sheet页不但有几十个字段，中间还夹杂着空格，然后按顺序转换成csv文件，这要是手工完成，一两个还行，多了那就是要死人的节奏了，这时候想到了python，走起。__author__='zxl'importpandasaspdimportosimportxlrdpath=r'/Users/zhangxl/Desktop/'filena
系统 2019-09-27 17:47:56 1973
还是分析一下大体的流程：首先还是Chrome浏览器抓包分析元素，这是网址：https://www.douyu.com/directory/all发现所有房间的信息都是保存在一个无序列表中的li中，所以我们可以先获取一个装有li的element对象的列表，然后在对每个element逐一操作分析斗鱼的翻页，有一个下一页按钮，是个li，class="dy-Pagination-item-custom"，但是当烦到最后一页的时候，class="dy-Paginat
系统 2019-09-27 17:47:21 1973
