文章目录一.爬虫简介二.简单爬虫架构三.URL管理器3.1url管理器应具有的最小功能：3.2实现方式四.网页下载器4.1urllib简单的获取一个网页。4.2使用Request4.3添加特殊情景的处理五.网页解析器5.1安装beautifulsoup45.2beautifulsoup语法5.3示例代码：六.完整实例6.1分析目标为什么是轻量级爬虫？因为复杂的爬虫需要考虑的场景和问题非常的多，比如有些网页需要登录后才能访问、而有些网页使用javascrip
系统 2019-09-27 17:46:04 2131
前言由于笔者近期的研究课题与图像后处理有关，需要通过图像处理工具对图像进行变换和处理，进而生成合适的训练图像数据。该系列文章即主要记录笔者在不同的环境下进行图像处理时常用的工具和库。在Python环境下，对图像的处理笔者主要使用Pillow库，主要操作包括对图像的读取、存储和变换等。实际应用中，Pillow中提供的Image模块适合对图像整体进行变换处理操作。注：以下介绍仅包括对应模块和函数的基础用法，故而在介绍时省略了部分参数和选项，更完备的用法和介绍可
系统 2019-09-27 17:45:53 2131
问题背景：同一个python脚本项目同时处理elasticseach6.2.1.和elasticseach5.1.1中存储的数据解决因为包冲突带来的问题解决思路：开一个python虚拟环境python安装虚拟环境：https://www.jianshu.com/p/4c898236cf35.3、创建虚拟环境mkvirtualenves5附：切换虚拟环境：workones5退出虚拟环境：deactivate4、查看当前虚拟环境安装的插件piplist5、py
系统 2019-09-27 17:45:40 2131
1.查找图像中出现的人脸代码示例：#导入face_recognition模块importface_recognition#将jpg文件加载到numpy数组中image=face_recognition.load_image_file(“your_file.jpg”)#查找图片中人脸（上下左右）的位置，图像中可能有多个人脸#face_locations的值类似[(135，536，198，474),()]Face_locations=face_recognit
系统 2019-09-27 17:38:24 2131
cmp()方法比较两个列表的元素。语法以下是cmp()方法的语法：cmp(list1,list2)参数list1--这是要进行比较的第一个列表list2--这是要进行比较的第二个列表返回值如果元素是相同类型的，执行比较，并返回结果。如果元素是不同的类型，检查，看看他们是否是数字如果是数字必要时强制进行数字比较如果任一元素是数字，然后在另一元素是“大”(数字是“最小”)否则，类型是按名称字母顺序排序如果到达了列表中的一个的结束，较长的列表是“大”。如果耗尽列
系统 2019-09-27 17:38:03 2131
1.使用测量工具，量化性能才能改进性能，常用的timeit和memory_profiler，此外还有profile、cProfile、hotshot等，memory_profiler用了psutil，所以不能跟踪cpython的扩展；2.用C来解决费时的处理，c是效率的代名词，也是python用来解决效率问题的主要途径，甚至有时候我都觉得python是c的完美搭档。常用的是Cython，直接把py代码c化然后又能像使用py包一样使用，其次是ctypes，效
系统 2019-09-27 17:37:43 2131
在crnn训练的时候需要用到lmdb格式的数据集，下面是python生成lmdb个是数据集的代码，注意一定要在linux系统下，否则会读入图像的时候出问题，可能遇到的问题都在代码里面注释了，看代码即可。#-*-coding:utf-8-*-importosimportlmdb#先pipinstall这个模块哦importcv2importglobimportnumpyasnpdefcheckImageIsValid(imageBin):ifimageBin
系统 2019-09-27 17:32:50 2131
关于遮罩的教程很多了，这里结合我的摸索过程及创意给大家尤其是初学者作一简单讲解。一.原理部分--羽化的美眉效果flash的遮罩原理在于使用一个图形作为透过光线的区域，当这个图形所在层转为遮罩层时，图形区域下一层的物体可见，而图形区域外的物体不可见。但是再往下一层的物体仍然可见，也就是说，遮罩层只对它下面一层物体起作用。好，下面就步入正题，介绍一个羽化美眉效果，这在photoshop中是很容易实现的。1.从图片库中找个漂亮的美眉，导入到舞台上，放在合适的位置
系统 2019-08-29 23:34:59 2131
导读：在本书前7章中，已经讲述了ASP的有关内容，以及ASP如何为Web站点带来动态的内容。已经见到其脚本程序允许自定义Web页面，使我们能够构建功能更为强大的ASP页面。现在，将研究ASP和数据的集成。虽然对用于网页中的脚本数量并无任何限制，但如果没有某种形式的数据，很快就会进入一个死胡同。数据构成了Web站点的实际内容，或者指出了如何设置Web站点，因此总的说来数据是非常重要的。如果围绕数据存储建立Web站点，改变Web站点时只需要改变相应的数据即可。
系统 2019-08-29 23:24:48 2131
80后男人认为女人的性感，是根据什么准则呢？身体匀称之美美国新墨西哥大学进化生物学家过去15年对女性身体匀称性进行相关研究。学者们将不同女性面孔及身体用扫描仪器记录于电脑内，以测定对称比例。大部分男性通过访问后表示，身体匀称度标准的女性会获得男性垂青，因为他们眼中，这种女性拥有不可言喻的吸引力，也即一般男性所称的“性感”。所以，女性拥有匀称之美，与性感画上等号。臀部丰满之美哪一类女人令男人觉得有诱惑性？为什么见到某一类女性会产生性幻想呢？科学家一直努力尝试
系统 2019-08-29 23:10:22 2131
