所谓爬虫，首先要通过各种手段爬取到想要站点的数据。web2.0之后，各种网络站点类型越来越多，早期的站点多为静态页面【html、htm】，后来逐步加入jsp。asp，等交互性强的页面。再后来随着js的兴起，也处于站点的美观和易于维护，越来越多的ajax异步请求方式数据站点。[不扯犊子了，马上上示例]参与工作时间不是很长，但工作期间一直做不同的爬虫项目。对常见的页面数据获取，有一些简单的认识。接触到的页面分为三类。A静态页面（数据在源码中直接可以获取到）B数
系统 2019-08-12 01:33:24 2617
经过漫长的等待，InfoQ中文站（http://www.infoq.com/cn/）终于粉墨登场。尽管还处在预启动测试阶段，但InfoQ中文站已经带来了让中国读者眼前一亮的优质技术内容。什么是InfoQ中文站InfoQ中文站是全球著名软件技术门户网站InfoQ的中文子站点。InfoQ是于2006年6月8日正式发布的企业软件开发高端社区门户网站，专门针对技术团队领导者、技术架构师、项目经理和企业架构师等高层技术人群。InfoQ的创始人是拥有多年企业软件开发咨
系统 2019-08-12 01:33:22 2617
摘要：本篇博客没有新东西，只不过是把去年在珠三角技术沙龙做的一次演讲的其中一张ppt展开讲一讲。本文标题中的“易于维护”指的是supportability，不是maintainability。前者是从运维人员角度说，程序管理起来很方便，日常的劳动负担小；后者是从开发人员的角度说，代码好读好改。前文《分布式系统中的进程标识》我提到一个观点：分布式系统中的每个长期运行的、会与其他机器打交道的进程都应该提供一个管理接口，对外提供一个维修探查通道，可以查看进程的全
系统 2019-08-12 01:32:57 2617
http://blog.sina.com.cn/s/blog_622a99700100pjv3.html尝试解答以下问题：1.为什么cp的方式更新运行中进程的so，程序会coredump2.采用什么方式更新已经加载了的so,就可以避免coredump我们的公共组件绝大部分都支持so形式的自定义插件，比如s++,qzhttp,ttc。在不停进程更新so的时候往往会产生coredump，并且肯定core得莫名其妙，core得让人心碎。先看一下用cp的方式更新s
系统 2019-08-12 01:32:50 2617
原文:《BI那点儿事》Cube的存储关系OLAP(ROLAP)ROLAP的基本数据和聚合数据均存放在关系数据库中；ROLAP存储模式使得分区的聚合存储在关系数据库的表(在分区数据源中指定)中。但是，可为分区数据使用ROLAP存储模式，而不在关系数据库中创建聚合。使用ROLAP的维度的数据实际上存储在用于定义维度的表中。相对查询性能低。多维OLAP(MOLAP)MLOAP的基本数据和聚合数据均存放在多维数据库中；MOLAP存储模式使得分区的聚合和其源数据的复
系统 2019-08-12 01:32:49 2617
本人使用的Tomcat版本为apache-tomcat-6.0.18（用的是解压包），在eclipse下能够正常启动，可是当手动通过cmd进入bin目录启动startup.bat个时候提示：TheJAVA_HOMEenvironmentvariableisnotdefinedcorrectlyThisenvironmentvariableisneededtorunthisprogramNB:JAVA_HOMEshouldpointtoaJDKnotaJRE
系统 2019-08-12 01:32:36 2617
我们知道VIM中，普通的复制和粘贴都是YY和PP。那么怎么将vim以外的文件插入到vim编辑器中呢！这是个问题：首先我们要选中想要插入的文字，如：然后进入vim插入模式：SHIFT+Insert就可以插入选中的文字了。如图：vim文字插入
系统 2019-08-12 01:32:29 2617
通常我们用Python绘制的都是二维平面图，但有时也需要绘制三维场景图，比如像下面这样的：这些图怎么做出来呢？今天就来分享下如何一步步绘制出三维矢量（SVG）图。八面体我们先以下面这个八面体为例。1安装相关包首先安装两个必备包：importpyrr#NumPy的3D函数库importsvgwrite#svg图形处理库2定义3D图生成环境接下来定义几个类设置好3维图基础环境：viewport：矩形图范围camera：包括视图矩阵和投影矩阵mesh：svg矢量
系统 2019-09-27 17:53:27 2616
作业车间调度问题描述作业车间调度(Jobshopschedulingproblem,JSP)是车间调度中最常见的调度类型，是最难的组合优化问题之一，应用领域极其广泛，涉及航母调度，机场飞机调度，港口码头货船调度，汽车加工流水线等，因此对其研究具有重大的现实意义。科学有效的生产调度不但可以提高生产加工过程中工人、设备资源的高效利用，还可缩短生产周期，降低生产成本。作业车间调度问题描述：一个加工系统有M台机器，要求加工N个作业，其中，作业i包含工序数为。令，则
系统 2019-09-27 17:51:19 2616
今天在pycharm（我用的python3）练习的时候，发现报了个AttributeError:module'urllib'hasnoattribute'urlencode'的错误。后来发现python2和python3的urllib结构不一样。下面我用pycharm中python3演示一下：错误例子：importurllibimporturllib.parsewd={"wd":"传智播客"}print(urllib.urlencode(wd))结果：C:
系统 2019-09-27 17:50:47 2616
