引入:Python中有个logging模块可以完成相关信息的记录,在debug时用它往往事半功倍一、日志级别(从低到高):DEBUG:详细的信息,通常只出现在诊断问题上INFO:确认一切按预期运行WARNING:一个迹象表明,一些意想不到的事情发生了,或表明一些问题在不久的将来(例如。磁盘空间低”)。这个软件还能按预期工作。ERROR:更严重的问题,软件没能执行一些功能CRITICAL:一个严重的错误,这表明程序本身可能无法继续运行注:这5个等级,也分别对
系统 2019-09-27 17:54:25 2064
安装方法pipinstallScrapy如果顺利的话不用管直接一路下来就OK验证是否安装成功安装成功不顺利的情况1)lxml安装不成功使用whl进行安装,不过需要先安装whlpipinstallwheel安装完成后下载lxml的whl文件网址:http://www.lfd.uci.edu/~gohlke/pythonlibs/whl版本挑选进入cmd――>importpip――>printpip.pep425tags.get_supported(),按照截
系统 2019-09-27 17:54:03 2064
Python面向对象编程——简介编程范式编程是程序员用特定的语法+数据结构+算法组成的代码来告诉计算机如何执行任务的过程。一个程序是程序员为了得到一个任务结果而编写的一组指令的集合,正所谓条条大路通罗马,实现一个任务的方式有很多种不同的方式,对这些不同的编程方式的特点进行归纳总结得出来的编程方式类别,即为编程范式。不同的编程范式本质上代表对各种类型的任务采取的不同的解决问题的思路,大多数语言只支持一种编程范式,当然也有些语言可以同时支持多种编程范式。两种最
系统 2019-09-27 17:54:01 2064
目录基础知识学习(MOOC嵩天+零散知识)无基础不能高楼,合抱之木,生于毫末,九层之台,起于累土1.1PythonMOOC练习31.2PythonMOOC练习41.3python中的随机函数random的用法示例1.4Python文本词频统计的编码问题-MOOC嵩天1.5Python中的复数和误区1.6Python计算圆周率的两种方法1.7Python实现七段数码管显示效果1.8Python实现科赫图形设计1.9Python基本统计值计算1.10Pytho
系统 2019-09-27 17:53:52 2064
解决Python抓HTML结构存入数据库转义报错问题首先需求是这样的,抓一些资讯(带有标准的html结构入库),然后研究了半天,各种手动转义,尝试了很多种方法都没有效的解决,下面是有效的最后转义的方案,下面这种入库是没有转义符号的,和原html是一样的,如果前台需要带转义符号需要手动替换一下newSql=db.escape(param)sql='INSERTINTOzhixun(htmls)VALUES({})'.format(newSql)数据库比较懒了
系统 2019-09-27 17:53:17 2064
这篇博客做一个爬虫的实例今天刚看到一个新闻,在7月26日上映的《哪吒之魔童降世》,密钥第二次延期至10月26日。截止至9月17日,《哪吒之魔童降世》票房已超49亿票房,在豆瓣上对该电影的评价有好有坏。说实话,博主看了这个电影真的觉得蛮不错的,因此把短评中的差评爬取下来,看下差评包括哪些方面。目录一、BeautifulSoup二、xpath三、正则表达式一、BeautifulSoup首先需要了解下差评文字内容在哪些标签下:进入豆瓣该电影短评界面,检查元素:可
系统 2019-09-27 17:53:05 2064
守护进程(daemon)是指在UNIX或其他多任务操作系统中在后台执行的电脑程序,并不会接受电脑用户的直接操控。此类程序会被以进程的形式初始化。通常,守护进程没有任何存在的父进程(即PPID=1),且在UNIX系统进程层级中直接位于init之下。守护进程程序通常通过如下方法使自己成为守护进程:对一个子进程调用fork,然后使其父进程立即终止,使得这个子进程能在init下运行。�C维基百科守护进程区别于普通用户登陆系统后运行的进程,它是直接由系统初始化,和系
系统 2019-09-27 17:52:33 2064
技术要点:把sklearn中模型的训练结果保存为文件,然后再从文件中加载训练结果直接使用,不需要反复进行训练。查看原文
系统 2019-09-27 17:52:15 2064
缘由日常工作中经常遇到类似的问题:把某个服务器上的某些指定的表同步到另外一台服务器。类似需求用SSIS或者其他ETL工作很容易实现,比如用SSIS的话,就会会存在相当一部分反复的手工操作。建源的数据库信息,目标的数据库信息,如果是多个表,需要一个一个地拉source和target,然后一个一个地mapping,然后运行实现数据同步。然后很可能,这个workflow使用也就这么一次,就寿终正寝了,却一样要浪费时间去做这个ETL。快速数据同步实现于是在想,可不
系统 2019-09-27 17:52:07 2064
运行本示例前,请确保chrome和chromedriver版本一致fromseleniumimportwebdriverimporttime#调用Chromdriver驱动driver=webdriver.Chrome()#打开百度页面driver.get("https://www.baidu.com")#在百度页面停留3秒time.sleep(3)#关闭浏览器driver.quit()附:chrome和chromedriver各版本下载地址https:/
系统 2019-09-27 17:50:53 2064