这节我们主要讲讲我的游戏交易数据分析项目的ETL(数据抽取、加载、转换)具体是怎么做的。先来讲下源系统吧,因为我们的交易主站的服务器不是架在公司的,因此不能直接从源系统直接抽取数据了。事实上我们已经存在一个简单的数据分析系统了,只不过这个是以前人家做的,没有采用sqlserver2005的BI平台来做,而是直接写winform程序来弄的。原来的数据抽取是主站那边提供导出的excel文件过来,然后到我们这边,导入到我们的分析库中去。好了,为了简便,事实上我只
系统 2019-08-12 01:33:11 2397
referenceURL:http://www.tracefact.net/Software-Design/A-Sample-Design.aspx本文是《Object-OrientedAnalysisandDesign》一书第一章和第五章的读书笔记。我对书中提供的一个范例程序进行了总结和整理,通过逐步优化这个乐器管理的范例程序,分析了进行程序设计时需要注意到的一些问题。1.简单直接的实现这个程序起初的需求很简单:我们需要创建一个吉他管理程序,它能够保存所
系统 2019-08-12 01:33:10 2397
公司内设备管理系统中设备建账功能,功能目的是对新进设备进行记录并入库。其中设备编号一项定义为自己修改(查看之前的设备号,取一个不重复的值来填写),感觉特别麻烦!用存储过程自动生成编码岂不是更效率。需求:根据设备组代码(PC)+递增数字,构成编码,编码中数字必须为三位数,无三位数的,以‘0’占位。代码如下:1--测试数据库准备2usemaster3go4ifexists(select*fromdbo.sysdatabaseswherename='hzf')5
系统 2019-08-12 01:32:47 2397
因为工作的须要,须要安装一个XP系统和一个CentOS系统。依照在网上找到的一些方法尝试了下,结果都不是非常理想。最后,经过尝试和寻找,找到了一个比較方便的方法。一、分区本人的电脑硬盘是500G,分成了4个盘。C、D、E格式化成NTFS格式,为XP系统准备。还有50G的未分配的空间。这部分空间是给CentOS准备的。二、安装本人的安装过程是先安装XP系统,然后安装CentOS。XP系统的安装没有什么须要注意的,将系统安装到C盘就可以。CentOS系统安装的
系统 2019-08-12 01:32:01 2397
王昱yuwang881@gmail.com博客地址http://yuwang881.blog.sohu.com摘要:单点登录(SSO)的技术被越来越广泛地运用到各个领域的软件系统其中。本文从业务的角度分析了单点登录的需求和应用领域;从技术本身的角度分析了单点登录技术的内部机制和实现手段,而且给出Web-SSO和桌面SSO的实现、源码和具体解说;还从安全和性能的角度对现有的实现技术进行进一步分析,指出对应的风险和须要改进的方面。本文除了从多个方面和角度给出了
系统 2019-08-12 01:31:52 2397
摘要数据分析与建模的时候大部分时间在数据准备上,包括对数据的加载、清理、转换以及重塑。pandas提供了一组高级的、灵活的、高效的核心函数,能够轻松的将数据规整化。这节主要对pandas合并数据集的merge函数进行详解。(用过SQL或其他关系型数据库的可能会对这个方法比较熟悉。)码字不易,喜欢请点赞!!!1.merge函数的参数一览表2.创建两个DataFrame3.pd.merge()方法设置连接字段。默认参数how是inner内连接,并且会按照相同的
系统 2019-09-27 17:56:16 2396
这是一篇机器学习岗位的笔试题,题目大概就是:给定了数据特征和数据标签(二分类),使用机器学习算法对数据进行分类,并优化两个重要的参数,计算AUC指标,画出参数优化和AUC指标变化图。本文选择的是SVM(支持向量机)来实现这一过程,SVM是非常强大、灵活的有监督学习的算法,既可以用于分类,也可以用于回归。实现过程:1.导入需要的包importpandasaspdimportnumpyasnpimportmatplotlib.pyplotaspltfrommp
系统 2019-09-27 17:56:06 2396
讲到UDP和TCP之前咱们先了解一下socketSocketsocket简称套接字,是进程间通信的一种方式。与其他的方式的进程间的通讯的方式不同的是,socket是实现了主机间进程间的通讯。我们网络上的各种服务都是基于socket来完成的。例如QQ.微信。怎么样创建socket呢。创建一个tcpsocket:s=socket.socket(socket.AF_INET,socket.SOCK_STREAM)创建一个UDP类型的socket;##创建套接字#
系统 2019-09-27 17:50:45 2396
Pythonlist在介绍Pythontuple时,我使用了类比的方法,将其比做一个袋子,您可以在袋子中存放不同的东西。Pythonlist与此非常类似,因此,它的功能与袋子的功能也非常类似。但有一点是不同的,即您可以使用方括号创建list,如清单1所示。清单1.在Python中创建一个list>>>l=[0,1,2,3,4,5,6,7,8,9]>>>l[0,1,2,3,4,5,6,7,8,9]>>>type(l)>>>el=[]#Createanempt
系统 2019-09-27 17:49:47 2396
一、软件测试大型软件系统的开发是一个很复杂的过程,其中因为人的因素而所产生的错误非常多,因此软件在开发过程必须要有相应的质量保证活动,而软件测试则是保证质量的关键措施。正像软件熵(softwareentropy)所描述的那样:一个程序从设计很好的状态开始,随着新的功能不断地加入,程序逐渐地失去了原有的结构,最终变成了一团乱麻(其实最初的"很好的状态"得加个问号)。测试的目的说起来其实很简单也极具吸引力,那就是写出高质量的软件并解决软件熵这一问题。可惜的是,
系统 2019-09-27 17:49:30 2396