我们开始来谈谈python的爬虫。1，什么是爬虫：网络爬虫是一种按照一定的规则，自动地抓取万维网信息的程序或者脚本。另外一些不常使用的名字还有蚂蚁、自动索引、模拟程序或者蠕虫。互联网犹如一个大蜘蛛网，我们的爬虫就犹如一个蜘蛛，当在互联网遇到所需要的资源，我们就会爬取下来，即为爬虫是一个请求网站并且提取数据的自动化程序。2，下面我们来提到两个名词：1）请求，request即为我们的请求，当我们在浏览器内输入网址，敲击回车时，这时浏览器就会发送消息给该网址所在
系统 2019-09-27 17:50:56 2260
Python编程语言已经成为IT中使用的最流行的语言之一。成功的一个原因是它可以用来解决各种问题。从网站开发到数据科学、机器学习到任务自动化，Python生态系统有丰富的框架和库。本文将介绍一些有用的Pythonshell来简化我们的开发。PythonShellPythonShell即原生的Python交互环境，可以让你以交互模式使用Python解释器。这在测试代码或尝试新库时非常有用。在Ubuntu中，你可以通过在终端会话中输入python来调用默认的s
系统 2019-09-27 17:50:52 2260
概述如果你已经阅读过上一个章节,那么你应该已经完成了充分的准备工作并且创建了一个很简单的具有如下文件结构的Web应用:microblog|-flask文件夹|-<一些虚拟环境的文件>|-app文件夹||-static文件夹||-templates文件夹||-__init__.py文件||-views.py文件|-tmp文件夹|-run.py文件亲,想要运行这个程序么?那就运行这个run.py文件,然后在你的浏览器里边打开http://localhost:5
系统 2019-09-27 17:49:00 2260
字符编码一、ascii码：基于拉丁字母的一套电脑编码系统，主要用于显示现代英语和其他西欧语言，最多只能用8位标识，即2**8=256-1,所以最多只能表示255个字符。计算机沿用中国，中文显然远大于255字符，必须要对中文进行编码二、中文编码为处理汉字，程序设计用于简体中文GB2132和繁体中文big5GB2312(1980年)共7445个字符，包括6763个汉字和682个其它符号，GBK1.0（1995年）收录了21886个符号，它分为汉字区和图形符号区
系统 2019-09-27 17:48:01 2260
一、说明类似json将xml解析为python对象，可以使用第三方库untangle或xmltodict实现。将以下内容保存为xml2obj.xml，后我我们就使用该文件。1.第一行的是xml文件的声明，它定义了xml的版本(1.0)和所使用编码为UTF-8。2.接下来就是xml文件的内容了，这些内容按一个树状结构进行组织摆放，形式如下：section1contentsection2content其中，每一个.叫做一个节点，也叫一个元素，节点可以嵌套放置，
系统 2019-09-27 17:46:25 2260
今天遇到一个问题，在同事随意的提示下，用了itertools.groupby这个函数。不过这个东西最终还是没用上。问题就是对一个list中的新闻id进行去重，去重之后要保证顺序不变。直观方法最简单的思路就是：ids=[1,2,3,3,4,2,3,4,5,6,1]news_ids=[]foridinids:ifidnotinnews_ids:news_ids.append(id)printnews_ids这样也可行，但是看起来不够爽。用set另外一个解决方案
系统 2019-09-27 17:38:46 2260
对于一个net开发这爬虫真真的以前没有写过。这段时间开始学习python爬虫，今天周末无聊写了一段代码爬取上海租房图片，其实很简短就是利用爬虫的第三方库Requests与BeautifulSoup。python版本：python3.6,IDE：pycharm。其实就几行代码，但希望没有开发基础的人也能一下子看明白，所以大神请绕行。第三方库首先安装我是用的pycharm所以另为的脚本安装我这就不介绍了。如上图打开默认设置选择ProjectInterprect
系统 2019-09-27 17:38:40 2260
如果你是个学生,你应该会C，C++和Java。还会一些VB，或C#/.NET。多少你还可能开发过一些Web网页，你知道一些HTML，CSS和JavaScript知识。总体上说，我们很难发现会有学生显露出掌握超出这几种语言范围外的语言的才能。这真让人遗憾，因为还有很多种编程语言，它们能让你成为一个更好的程序员。在这篇文章里，我将会告诉你，为什么你一定要学习Python或Ruby语言。跟C/C++/Java相比―Python/Ruby能让你用少的多的多的代码写
系统 2019-09-27 17:37:56 2260
目的：导出的Excel模板，某些单元格要是文本形式，如下图我之前想当然的用cell.setCellType(HSSFCell.CELL_TYPE_STRING)，但是发现没有效果。实际POI对Excel单元格格式的设置是用HSSFDataFormat这个类。如下代码可以实现设置为文本格式：HSSFCellStylecellStyle=workbook.createCellStyle();HSSFDataFormatformat=workbook.creat
系统 2019-08-29 23:33:06 2260
别为大公司拼命作者：PaulGraham译者：阮一峰本文为HowtoMakeWealth的节选1.大公司最大的困扰，就是无法准确测量每个员工的贡献。它会把所有人的贡献平均化。在大公司中，你只要一般性地努力工作，就能得到意料之中的薪水。你不能明显的无能或懒惰，但是谁也没觉得你会把全部精力投入工作。你不能对老板说，我打算十倍努力地工作，请你把我的薪水也增加十倍吧！因为公司已经假定你在全力工作了，而且更重要的是，实际上，公司无法测量你的贡献。2.假设有一家公司制
系统 2019-08-29 23:16:47 2260
