文章目录一.爬虫简介二.简单爬虫架构三.URL管理器3.1url管理器应具有的最小功能：3.2实现方式四.网页下载器4.1urllib简单的获取一个网页。4.2使用Request4.3添加特殊情景的处理五.网页解析器5.1安装beautifulsoup45.2beautifulsoup语法5.3示例代码：六.完整实例6.1分析目标为什么是轻量级爬虫？因为复杂的爬虫需要考虑的场景和问题非常的多，比如有些网页需要登录后才能访问、而有些网页使用javascrip
系统 2019-09-27 17:46:04 1830
前言相信对于python开发人员来说，机器上有不同的python版本是很正常的，因为开发的项目有的用2.6或2.7，有的就要用3.0+版本，如何把这些不同的版本管理好，保持每个环境的干净和独立，方便不同版本之间的切换，这时候就要用到我们的虚拟环境了，所以今天我们就来看看python虚拟环境搭建工具pyenv的使用。1、安装gitclonehttps://github.com/yyuu/pyenv.git~/.pyenvecho‘exportPYENV_RO
系统 2019-09-27 17:38:00 1830
一.安装pythonmac系统其实自带了一个python的执行执行环境，用来运行python还行，但是开发可能就不够了，因此我们需要重新安装python。这里有两种方案安装：1.homebrewbrewinstallpython这个方案比较简单,如果出错的话可以给前面加sudo试试,这个安装的python可能不是最新版.2.从官网下载安装大家可以从https://www.python.org/download下载安装最新版的python,安装比较无脑,一路
系统 2019-09-27 17:37:37 1830
UrlRewrite有什么用处？1、满足搜索引擎的要求某些搜索引擎不能支持动态页面的抓取，大量的信息就不能被潜在用户搜索到。用UrlRewrite技术你可以把http://server/news.asp?id=111变成http://server/news/111.htm这样他们就会被搜索引擎收录了。google虽然可以抓取动态页面，但是google对动态页面的评分一般低于静态页面。所以，对大量信息发布的网站，把网站地址改变成静态的绝对是值得的。2、隐藏技
系统 2019-08-29 23:43:29 1830
《Delphi网络应用开发技术与实例》Delphi教程系列书籍(052)《Delphi网络应用开发技术与实例》网友（邦）整理EMail:shuaihj@163.com下载地址：Pdf作者：黄超罗宏宇等丛书名：程序开发人员进阶与提高黑皮书出版社：清华大学出版社ISBN：7900641386上架时间：2002-3-29出版日期：2002年3月页码：576版次：1-1内容简介2001年4月，Borland已经正式发布了Delphi6．0，它在网络应用程序开发方面
系统 2019-08-29 23:43:18 1830
FreeMarker是QuakeWang推荐我使用的。刚学FreeMarker的时候，发现freemarker真的很棒！简单易用，功能强大。但是用它做了几个项目以后开始不爽了。一宗罪：freemarker的变量必须有值，没有被赋值的变量就会抛出异常，那个黄黄的freemarker出错页面，真是让人看了太难过了。freemarker的FAQ上面冠冕堂皇的说，未赋值的变量强制抛错可以杜绝很多潜在的错误，如缺失潜在的变量命名，或者其他变量错误。但是实际的效果是：
系统 2019-08-29 23:30:00 1830
注意：文中代码有误，为保留历史痕迹在本文不做修改，正确代码详见《纠错》在做系统的时候有意识的用到了抽象工厂这个设计模式，主要解决的是数据库更换的问题。下面就以简单的登录来逐步的分析一下这个模式。经典的三层架构数据库如下1.一般的数据库连接方式界面层1:PublicClassLogin2:PrivateSubbtnLogin_Click(ByValsenderAsSystem.Object,ByValeAsSystem.EventArgs)Handlesbt
系统 2019-08-29 23:01:41 1830
DWR（DirectWebRemoting）是一个开源的类库，可以帮助开发Ajax技术。它可以允许在浏览器里的代码使用运行在Web服务器上的Java函数，就像它在浏览器里一样。DWR包含两个主要的部分，其一是运行在浏览器客户端的Javascript，这部分被用来与服务器通信，并更新页面内容；其二是运行在服务器端的JavaServlet，这部分被用来处理请求并将响应结果发送给浏览器。DWR采取了一种动态生成基于Java类的Javascript代码的新方法来实
系统 2019-08-29 22:58:12 1830
vs2008对js的支持达到了一个新高度（在vs系列中）。不仅仅是调试。但是很多人在编写js时还不能充分利用vs2008的功能来提高编写js的效率。这里有一些tips，希望跟大家分享。也希望有更好的解决方案或建议。首先，当然是要利用智能感知（Intellisense）,不仅对普通的JavaScript代码提供了Intellisense，还对新的ASP.NETAJAX客户端JavaScript框架和用它编写的JavaScript代码提供了丰富的支持。当然，还
系统 2019-08-29 22:53:04 1830
这几天在做安卓比武场第三上的定时设置壁纸效果（这个活动不错，希望大家踊跃参加），想要达到多定时的效果，就是设置多个换壁纸的效果。我使用AlarmManager进行进行定时发送换壁纸广播，出现了一个问题就是onreceive收到都是第一个广播的intent.下面我给出关键代码而原代码，有兴趣的读者可以下载代码去运行下，你会发现一个让我昨天到两点多才睡的问题这些是发送信息的代码main.javapackagecom.wjh.test;importjava.ut
系统 2019-08-29 22:39:37 1830
