搜索到与相关的文章
Python

浅析python实现scrapy定时执行爬虫

项目需要程序能够放在超算中心定时运行,于是针对scrapy写了一个定时爬虫的程序main.py,直接放在scrapy的存储代码的目录中就能设定时间定时多次执行。最简单的方法:直接使用Timer类importtimeimportoswhileTrue:os.system("scrapycrawlNews")time.sleep(86400)#每隔一天运行一次24*60*60=86400s或者,使用标准库的sched模块importsched#初始化sched

系统 2019-09-27 17:52:04 2534

Python

从 Python 之父的对话聊起,关于知识产权、知识共享与文章翻译

一、缘起前不久,我在翻译GuidovanRossum(Python之父)的文章时,给他留言,申请非商业用途的翻译授权。过程中起了点小误会,略去不表,最终的结果是:他的文章以CCBY-NC-SA4.0许可协议进行授权。部分对话如下:CC协议是一种授权许可协议,我曾看到过几次,但了解不多,所以便查阅了相关的内容。本文主要是作个记录,既是加深自己的理解,也给有需要的同学一个参考。二、著作权、著佐权与自由版权对于知识产权,通常有如下几种说法:AllRightsRe

系统 2019-09-27 17:50:17 2534

Python

python实现最小二乘法线性拟合

本文python代码实现的是最小二乘法线性拟合,并且包含自己造的轮子与别人造的轮子的结果比较。问题:对直线附近的带有噪声的数据进行线性拟合,最终求出w,b的估计值。最小二乘法基本思想是使得样本方差最小。代码中self_func()函数为自定义拟合函数,skl_func()为调用scikit-learn中线性模块的函数。importnumpyasnpimportmatplotlib.pyplotaspltfromsklearn.linear_modelimp

系统 2019-09-27 17:48:53 2534

Python

简单解决Python文件中文编码问题

读写中文需要读取utf-8编码的中文文件,先利用sublimetext软件将它改成无DOM的编码,然后用以下代码:withcodecs.open(note_path,'r+','utf-8')asf:line=f.readline()printline这样就可以正确地读出文件里面的中文字符了。同样的,如果要在创建的文件中写入中文,最好也和上面差不多:withcodecs.open(st,'a+','utf-8')asbook_note:book_note.

系统 2019-09-27 17:37:45 2534

编程技术

使用Google Font API

Google在5月20日宣布推出GoogleFontDirectory和GoogleFontAPI两项服务。在GoogleFontDirectory中,Google联合了众多的字体设计者为用户提供了多种漂亮的字体,但现在全部是英文字体,相信今后会有中文字体。GoogleFontAPI和GoogleFontDirectory是相辅相成的,用户正是通过GoogleFontAPI来使用GoogleFontDirectory中的字体。下面让我们看看如何使用Goog

系统 2019-08-29 23:03:18 2534

编程技术

GreenJVM-0.1.5及其应用示例集成发布

GreenJVM是一系列jre精简实现集合,它能够轻松的令java虚拟机实现绿色应用。项目地址:http://code.google.com/p/greenvm/GreenJVM的实现原理非常简单,主要操作过程可分为三部分:1、去除虚拟机中不被程序调用的类。2、压缩虚拟机体积,减少空间占用。3、制作一个能够检测本地环境的启动壳,取代java.exe加载jvm,并在执行时释放虚拟机。就技术角度而言,这三项可说毫无新意可言,但从实用角度来说,却能令臃肿的虚拟机

系统 2019-08-29 23:01:04 2534

编程技术

【密码破解-绿色合集】

软件名称:OFFICE文档密码破解器绿色版软件语言简体中文软件大小1000K应用平台windows98/NT/2000/XP/2003软件简介OFFICE文档密码破解器绿色版从PasswarePasswordRecoveryKitv5.7零售版提取出来的绿色OFFICE文档密码破解器,只有两个文件,在XP下测试无误!由于PasswarePasswordRecoveryKit是一套密码恢复软件包。能恢复十七种密码软件。我们基本上不需要用到全部十七种密码恢复软

系统 2019-08-29 22:46:53 2534

Android

Android实现号码归属地查询

我们通过发送XML访问WebService就可以实现号码的归属地查询,我们可以使用代理服务器提供的XML的格式进行设置,然后请求提交给服务器,服务器根据请求就会返回给一个XML,XML中就封装了我们想要获取的数据。发送XML1.通过URL封装路径打开一个HttpURLConnection2.设置请求方式,Content-Type和Content-LengthXML文件的Content-Type为:application/soap+xml;charset=u

系统 2019-08-29 22:37:05 2534

Android

Android开发之又见Hello World!

量变产生质变,如果你从第一篇一直看到了这篇,可以说这就是你的质变点之一。回顾及展望经过数篇对Android应用程序的原理的讲述,现在我们大概回顾一下。首先我们利用HelloWorld程序介绍了一个Android应用程序的目录结构,包括src文件夹、gen文件夹、Androidx文件夹、assets文件夹、AndroidMainifest.xml、default.properties;接下来我们又站在架构的高度分析了一下Android系统的主要组成部分,包括

系统 2019-08-29 22:32:07 2534

Linux

linux 进程查看下(top)

top:动态查看进程的变化转载请出自出处:http://eksliang.iteye.com/blog/2166641相对于ps是选取一个时间点的进程状态,top则可以持续检测进程运行的状态。使用方法如下:top[-d数字]|top[-bnp]参数:-d:后面可以接秒数,就是整个进程界面更新的秒数。默认是5秒-n:与-b搭配,意义是,需要进行几次top的输出结果。-p:指定某些个PID来进行查看监测而已。在top执行过程当中可以使用的按键命令:?:显示在t

系统 2019-08-12 09:30:36 2534