简介提到爬虫,大部分人都会想到使用Scrapy工具,但是仅仅停留在会使用的阶段。为了增加对爬虫机制的理解,我们可以手动实现多线程的爬虫过程,同时,引入IP代理池进行基本的反爬操作。本次使用天天基金网进行爬虫,该网站具有反爬机制,同时数量足够大,多线程效果较为明显。技术路线IP代理池多线程爬虫与反爬编写思路首先,开始分析天天基金网的一些数据。经过抓包分析,可知:./fundcode_search.js包含所有基金的数据,同时,该地址具有反爬机制,多次访问将会
系统 2019-09-27 17:57:51 2651
我的Python学习之路(一)跟着廖雪峰的Python教程学习Task1:输入和输出Task2:打印变量Task3:格式化输出Task4:按要求打印tuple元素Task5:if分支练习Task6:循环练习Task7:调用函数Task8:定义函数Task9:可变参数Task10:递归函数实现Task11:切片练习Task12:迭代练习Task13:列表生成式练习Task14:生成器练习Task15:map/reduceTask16:Filter练习Task
系统 2019-09-27 17:57:00 2651
任务目标:1.输入两个数2.打印这两个数的最大公约数3.打印这两个数的最小公倍数实验环境:pycharm的python3.6实现代码:#最大公约数和最小公倍数a=int(input('请输入第一个数:'))b=int(input('请输入第二个数:'))Min=min(a,b)Gys=1foriinrange(1,int(Min+1)):ifa%i==0andb%i==0:Gys=iprint('最大公约数为:%d'%Gys)Gbs=a*b/Gysprin
系统 2019-09-27 17:55:56 2651
看着自己少得可怜的访问量,突然有一个想用爬虫刷访问量的想法,主要也是抱着尝试的心态,学习学习。其实市面上有一些软件可以代刷流量比如流量精灵,使用感确实比我们自己写的代码要好一些第一版:网上借鉴了一下以下代码运行在python3importurllib.requestimporttime#使用build_opener()是为了让python程序模仿浏览器进行访问opener=urllib.request.build_opener()opener.addhea
系统 2019-09-27 17:52:39 2651
本文转发自博客园非真的文章,内容略有改动本文已收录至博客专栏linux安装各种软件及配置环境教程中linux系统本身默认安装有2.x版本的python,版本x根据不同版本系统有所不同,通过python--V或python--version查看系统自带的python版本。有一些系统命令时需要用到python2,不能卸载,但是实际开发中往往是python3,所以在此记录下安装python3的过程,本文以python3.7.0为示例。一、安装依赖包1、首先安装g
系统 2019-09-27 17:49:46 2651
上一篇文章中我们介绍了python语言的几个特点,并在最后留了一个问题,python除了上下执行以外有没有其他的执行方式。今天我们就来介绍python中的数据类型和控制流。数据类型python中包含六个标准数据类型分别为:Number(数字)、String(字符串)、List(列表)、Tuple(元组)、Set(集合)、Dictionary(字典)。不同的数据类型往往对应不同的用途。这个很好理解。比如你可以用一个字符串用来储存一个人的名字。name="六小
系统 2019-09-27 17:48:08 2651
对于map()它的原型是:map(function,sequence),就是对序列sequence中每个元素都执行函数function操作。比如之前的a,b,c=map(int,raw_input().split()),意思就是说把输入的a,b,c转化为整数。再比如:a=['1','2','3','4']printmap(list,a)printmap(int,a)第一个map是把列表a中每个元素转化为列表,第二个map是把a中每个元素转化为整数。而对于z
系统 2019-09-27 17:37:54 2651
在weblogic10中部署了MinAn的工程,访问时报错:javax.naming.NoPermissionException:Userdoesnothavepermissiononweblogic.management.adminhometoperformlookupoperation.之前在我自己的机器上部署就出现了这问题,未能解决,这次在服务器上也出现了,最后查到解决方法:在控制台中左侧的树形结构中选择
系统 2019-08-29 23:31:24 2651
PEAR::HTML_QuickForm与Smarty的结合应用Haohappy2005-12-28http://blog.csdn.net/Haohappy2004Haohappy在《PHP&More》第三期的《PEAR::HTML_QuickForm入门》一文中说过要写QuickForm和Smarty的结合应用,一直没写,今天看到PHPE论坛上有朋友在询问,为自己的懒惰而惭愧。现在补上,希望对大家有点帮助。在我看来,PEAR::HTML_QuickFo
系统 2019-08-29 23:30:02 2651
大年初一很多人都是在欢笑中度过这一天而我选择在这一天看一部感人的电影《狗狗和我得十个约定》。对于喜欢宠物的人来说狗狗和我的十个约定,绝对值得一看。1请对我耐心一点.2请你相信我,只要这样我就感到很幸福了.3请不要忘记我也有心.4我不听你的话是有原因的.5请多和我说说话,虽然我不会说人类的语言,但我能明白你的意思.6别打我,请别忘了如果要动起真格来我比你厉害.7如果我老了,请照顾我.8我只能活十年左右,所以请尽量和我在一起.9你能去上学,有很多朋友,但我只有
系统 2019-08-29 23:21:12 2651