搜索到与相关的文章
Python

python多线程+代理池爬取天天基金网、股票数据过程解析

简介提到爬虫,大部分人都会想到使用Scrapy工具,但是仅仅停留在会使用的阶段。为了增加对爬虫机制的理解,我们可以手动实现多线程的爬虫过程,同时,引入IP代理池进行基本的反爬操作。本次使用天天基金网进行爬虫,该网站具有反爬机制,同时数量足够大,多线程效果较为明显。技术路线IP代理池多线程爬虫与反爬编写思路首先,开始分析天天基金网的一些数据。经过抓包分析,可知:./fundcode_search.js包含所有基金的数据,同时,该地址具有反爬机制,多次访问将会

系统 2019-09-27 17:57:51 2649

Python

python识别图像并提取文字的实现方法

前言python图像识别一般基础到的就是tesseract了,在爬虫中处理验证码广泛使用。安装安装教程网上大都差不多,Windows下确实比较麻烦,涉及到各种路径、环境变量甚至与linux不同的路径分隔符,所以这里的安装是基于Centos7。1.依赖安装yuminstall-yautomakeautoconflibtoolgccgcc-c++2.安装leptonicaLeptonica主要用于图像处理和图像分析原则上所有的库文件都是可以直接用yum安装的,

系统 2019-09-27 17:54:02 2649

Python

python爬虫刷访问量 2019 7月

看着自己少得可怜的访问量,突然有一个想用爬虫刷访问量的想法,主要也是抱着尝试的心态,学习学习。其实市面上有一些软件可以代刷流量比如流量精灵,使用感确实比我们自己写的代码要好一些第一版:网上借鉴了一下以下代码运行在python3importurllib.requestimporttime#使用build_opener()是为了让python程序模仿浏览器进行访问opener=urllib.request.build_opener()opener.addhea

系统 2019-09-27 17:52:39 2649

Python

centos7误删除python2.7导致的python和yum不可用处理

centos7误删除python2.7后导致yum不可用:问题截图解决方法:1、在opt目录下创建site_package/python3递归目录,然后下载以下RPM包,并存入/opt/site_package/python3目录中http://vault.centos.org/7.5.1804/os/x86_64/Packages/lvm2-python-libs-2.02.177-4.el7.x86_64.rpmhttp://vault.centos.

系统 2019-09-27 17:46:51 2649

编程技术

xml解析之DOM

DOM是DocumentObjectModel的缩写,即文档对象模型。XML将数据组织为一颗树,所以DOM就是对这颗树的一个对象描叙。通俗的说,就是通过解析XML文档,为XML文档在逻辑上建立一个树模型,树的节点是一个个对象。我们通过存取这些对象就能够存取XML文档的内容。下面我们来看一个简单的例子,看看在DOM中,我们是如何来操作一个XML文档的。这是一个XML文档,也是我们要操作的对象:

系统 2019-08-29 23:34:23 2649

编程技术

Moblin v2开发环境设置——创建一个新应用程序

(翻译:徐诚http://blog.csdn.net/shizhebsys保留版权)这里是开始Moblin开发重要起点。本页描述如何创建一个简单的应用程序,并且介绍少数有用的工具帮助你快速启动开发动作。注意:这不是一个Linux软件开发指南,而是假设你已经懂得如何在Linux上开发软件,包括使用(你最喜欢的编辑器)、gcc、gdb和Makefile程序来编译和调试。Moblin兼容性和应用程序Moblin兼容性是一个通过矫正函数库和函数版本来改善应用程序兼

系统 2019-08-29 23:09:06 2649

Oracle

Sun被Oracle收购有感: 开源软件做不久, 顶级软

今天,2009-4-21,惊闻Sun被Oracle收购,有感.以前写过一片小文:也谈所谓的开源–Eclipse,本文的思路和那篇文章基本一致.有句话叫钱不是万能的,没有钱是万万不能的.这句话放在开源软件上,一点也不差.还有句话叫天下没有免费的午餐.开源,是那些不差钱的公司用来做免费广告和简装版软件的一种手段,是一些有野心的个人扬名立万然后加入XX公司的捷径,当然,也有一些同志是真心的为了造福人类来做开源.然而,除非您不差钱,开源软件总是做不久.而做一流产品

系统 2019-08-29 22:55:16 2649

编程技术

Rectangle应用实战+Array中被你忽略的方法

玩过《红警》或者《帝国时代》的朋友应该都知道,这类游戏有一个框选功能。鼠标在屏幕上拉一个框,处在方框之内的都被选中。如图:[1b]我们这个例子的原型是这样的:[/1b]1、坦克的选择有框选和点击选择两种方式。2、坦克被选中后会显示自己被选中。3、鼠标在屏幕上点击时,如果有坦克被选中,坦克将移动到鼠标点击位置附近(是附近不是鼠标点击位置),同时选择状态自动取消。4、如果有新的选择,则之前选择的坦克的选择状态将取消。先看一下完成后的效果:[1b]讲解:[/1b

系统 2019-08-29 22:23:51 2649

Android

Android中实现应用切换主题机制

一直很想弄清楚好多应用中是如何实现换皮肤这项功能的,花了下午点时间,查了下资料也实现了个切换主题的Demo;首先要感谢下这位大哥,参阅了下他写的文件http://www.eoeandroid.com/forum-viewthread-tid-31756-highlight-%E7%9A%AE%E8%82%A4.html好了,废话不多说了,该切换主题的demo里面一共实现了两个功能,其一,搜索已经安装的皮肤,其二,应用安装的皮肤。主项目包名为org.leep

系统 2019-08-29 22:18:19 2649

MySql

mysql学习笔记五(常用函数)

1日期函数mysql>selectcurrent_date()fromdual;mysql>selectcurrent_time()fromdual;mysql>selectmonth(current_date())fromdual;mysql>selectyear(current_date())fromdual;mysql>selectmonth(current_date())fromdual;mysql>selectday(current_date()

系统 2019-08-29 22:10:31 2649