前一段时间一直在研究如何用python抓取搜索引擎结果，在实现的过程中遇到了很多的问题，我把我遇到的问题都记录下来，希望以后遇到同样问题的童鞋不要再走弯路。1.搜索引擎的选取选择一个好的搜索引擎意味着你能够得到更准确的搜索结果。我用过的搜索引擎有四种：Google、Bing、Baidu、Yahoo!。作为程序员，我首选Google。但当我看见我最爱的Google返回给我的全是一堆的js代码，根本没我想要的搜索结果。于是我转而投向了Bing的阵营，在用过一段
系统 2019-09-27 17:48:21 1889
因为Python是自带文档，可以通过help函数来查询每一个系统函数的用法解释说明。一般来说，关键的使用方法和注意点在这个系统的文档中都说的很清楚。我试图在网上找过系统文档的中文版的函数功能解释，但是都没有找到，所以我决定将就使用英文版的系统自带的函数解释来学习。如果你想进行Tkinter和wxPython编程，想要知道一般的widget的使用方法和属性介绍，英文又不是太好的话，我推荐你，你可以去看看《Python与Tkinter编程》这本书，里面392页
系统 2019-09-27 17:47:58 1889
1.首先定义一个log文件#-*-coding:utf-8-*-importosimporttimeimportloggingimportsyslog_dir1=os.path.join(os.path.dirname(os.path.dirname(__file__)),"logs")today=time.strftime('%Y%m%d',time.localtime(time.time()))full_path=os.path.join(log_di
系统 2019-09-27 17:47:58 1889
抓取动态的网页内容主要有两种办法，一种是通过开发者工具找到动态内容的接口，然后分析接口的参数和返回值来爬取网站的数据。另外一种是通过模拟浏览器来抓取数据。python的Selenium库就可以通过代码来模拟浏览器抓取数据。一、概述运行Selenium需要依赖于Python的selenium库，以及浏览器对应驱动器（WebDriver）。安装selenium库pipinstallselenium项目地址：https://pypi.org/project/se
系统 2019-09-27 17:47:10 1889
将音频文件拷贝到程序所在目录即可。如下所示：#!/usr/bin/envpython#encoding:utf-8"""@Company：华中科技大学电气学院聚变与等离子研究所@version:V1.0@author:Victor@contact:1650996069@qq.comoryexin@hust.edu.cn2018--2020@software:PyCharm@file:VoiceDataProcessing.py@time:2018/9/81
系统 2019-09-27 17:47:00 1889
这次只演示了，如何在真实项目内用到BeautifulSoup库来解析网页，而新浪的新闻是ajax加载过来的数据，在这里我们只演示解析部分数据（具体反扒机制没做分析）。代码地址：https://gitee.com/dwyui/BeautifulSoup_xinlang.git。关于的爬虫的博客已经越来越多，使用到的技术也越来越多，后期我还会持续写下去，大概从几个角度去写，多线程爬取（提高效率），如何更好的做到爬取数据（破解反扒）。用redis管理多线程和代理
系统 2019-09-27 17:45:54 1889
闭包(closure)是函数式编程的重要的语法结构。函数式编程是一种编程范式(而面向过程编程和面向对象编程也都是编程范式)。在面向过程编程中，我们见到过函数(function)；在面向对象编程中，我们见过对象(object)。函数和对象的根本目的是以某种逻辑方式组织代码，并提高代码的可重复使用性(reusability)。闭包也是一种组织代码的结构，它同样提高了代码的可重复使用性。不同的语言实现闭包的方式不同。Python以函数对象为基础，为闭包这一语法结
系统 2019-09-27 17:45:45 1889
1.编译nginx在网上买了一本《实战nginx-取代Apache的高性能服务器》，写的比较浅，主要是些配置方面的东西，不过却正是目前我所需要的。由于需要支持https和rewrite，所以除了nginx的源码之外，又下载了openssl-0.9.8r.tar.gz和pcre-8.12.tar.gz，把他们和nginx-1.0.4.tar.gz放到同一个目录。为了方便编译，笔者写了一个脚本，代码如下:#!/bin/bash#================
系统 2019-09-27 17:38:47 1889
如果某类里没有__init__方法函数，通过类名字创建的实例对象为空，切没有初始化；如果有此方法函数，通常作为类的第一个方法函数，有点像C++等语言里的构造函数。classCa:def__init__(self,v):#注意前后各两个下划线self.name=vdefpr(self):print"a--->",self.nameia=Ca("Jeapedu")#本质调用的是__init__方法函数ia.pr()Ca.pr(ia)输出结果a--->Jeape
系统 2019-09-27 17:38:41 1889
在使用google或者baidu搜图的时候会发现有一个图片颜色选项，感觉非常有意思，有人可能会想这肯定是人为的去划分的，呵呵，有这种可能，但是估计人会累死，开个玩笑，当然是通过机器识别的，海量的图片只有机器识别才能做到。那用python能不能实现这种功能呢？答案是：能利用python的PIL模块的强大的图像处理功能就可以做到，下面上代码：importcolorsysdefget_dominant_color(image):#颜色模式转换，以便输出rgb颜色
系统 2019-09-27 17:38:08 1889
