ITeye博客

互联网软件开发学习

kenblog · 共 26 篇文章

Hadoop MapReduce表关联

假设有两个文件,分别对应要关联的两张表(部门表,员工表) 部门表文件格式如下: 部门ID 部门名称 1 技术部 2 市场部 员工表文件格式如下: 部门ID 员工ID 员工姓名 1 1 小明 1 2 张三 2 3 李四 2 4 王五 我们希望根据上面两个文件找出部门和员工的对应关系: 部门名称 员工姓名 技术部 小明 技术部 张三 市场部 李四 市场部 王五 如果是关系型数据库,很容易通过表关联查询出上面的结果,通过Hadoop MapReduce也能实现同样的表关联。 思路: 关系型数据库是通过左右表的连接来实现两个表的关联,考虑到MapReduce的shuffle过程会将相同key值的va…

2015-11-17 23:25 · 大数据 · 评论(0)

CAP与BASE

分布式领域CAP理论: Consistency(一致性), 数据一致更新,所有数据变动都是同步的 Availability(可用性), 好的响应性能 Partition tolerance(分区容错性) 可靠性 定理:任何分布式系统只可同时满足二点,没法三者兼顾。 忠告:架构师不要将精力浪费在如何设计能满足三者的完美分布式系统,而是应该进行取舍。 关系数据库的ACID模型拥有 高一致性 + 可靠性 丧失可用性: Atomicity原子性:一个事务中所有操作都必须全部完成,要么全部不完成。 Consistency一致性. 在事务开始或结束时,数据库应该在一致状态。 Isolation隔离层. …

2015-11-16 21:24 · 分布式架构 · 评论(0)

系统状态监控

load:通过top和uptime命令来查看系统load,系统的load定义为特点时间间隔内运行队列的平均线程数。 CPU利用率:top | grep Cpu top -p 28654:指定查看的进程 磁盘剩余空间:df -h 磁盘占用:du -d 1 -j /home/gpgong 网络Traffic:sar -n DEV 1 1 磁盘IO :iostat -d -k 内存使用: free -m SWAP IO: vmstat

2015-11-16 21:19 · 系统监控 · 评论(0)

Linux日志分析常用命令

日志分析常用命令: 基础命令: ls, cp, mv, rm, mkdir, touch cat:查看文件内容 more:分页显示 less:分页显示,支持查找 tail:显示文件尾 head:显示文件头 sort:内容排序 wc:字符统计 grep:字符串查找 find:文件查找 tar:压缩,解压文件 curl:URL访问工具 wget:下载工具 sz:下载 rz:上传 文本编辑器: vim,sed, awk

2015-11-16 21:13 · Linux命令 日志分析 · 评论(0)

Java 接口 (interface) and Scala 特质 (trait)

摘要:本文将简要介绍Java中的接口(interface),Java 8中接口default方法,以及Scala中的特质(trait),同时会比较Java接口与Scala特质的相似与差异。 1. Java 接口 (interface) 介绍 1.1 Java传统的接口 (interface) Java接口是一系列方法的声明,是一些方法特征的集合,一个接口只有方法的特征没有方法的实现,因此这些方法可以在不同的地方被不同的类实现,而这些实现可以具有不同的行为(功能)。 Java接口本身没有任何实现,因为Java接口不涉及表象,而只描述public行为,所以Java接口比Java 抽象类 更抽象化…

2015-04-19 20:11 · Java Scala interface trait · 评论(0)

Swing event-dispatch model

First, when the user interacts with Swing components, whether it is clicking on a button or resizing a window, the Swing toolkit generates event objects that contain relevant event information, such as event source and event ID. The event objects are then placed onto a single event queue ordered by…

2010-08-25 13:58 · Java · 评论(0)

进程间通信方式

Windows下的进程间通信方式: 文件映射、共享内存、管道(匿名管道和命名管道)、邮件槽、剪贴板、动态数据交换、对象链接与嵌入OLE、动态链接库、远程过程调用、Netbios函数、套接字Socket、IPCWM_COPYDATA消息。 Linux下的进程间通信方式: 管道(匿名管道和命名管道)、信号、报文Message、共享内存、信号量、套接字Socket。 Java进程间通信方式: 套接字Socket、远程方法调用RMI、异步消息JMS、Web Service、Pipe、CORBA。

2009-09-16 06:33 · 计算机与 Internet · 评论(0)

用户需求和产品需求

需求获取和分析是软件开发至关重要的一环,对于一个大的软件项目来说,需求的不确定性将导致后期软件开发的被动,甚至是失败,相信大家对这一点都深有体会。目前一个比较大的问题是,很多公司并没有将用户需求和产品需求分开。一些公司做需求的时候,仅仅局限于外部需求,恰恰忘了更重要的如何将外部需求即用户需求转换为产品需求。很多的需求人员对软件本身体系缺乏了解,无法完成此转换,而开发人员对领域知识又缺乏了解,对用户的需求理解上可能不到位。因此,一个好的需求人员除了理解用户需求之外,还要结合本公司的内部情况,将用户需求转化为产品需求。

2009-09-02 10:34 · 计算机与 Internet · 评论(0)

StringBuffer与StringBuilder

StringBuffer与 StringBuilder中的方法和功能完全是等价的,只是StringBuffer 中的方法大都采用了 synchronized 关键字进行修饰,因此是线程安全的,而 StringBuilder没有这个修饰,可以被认为是线程不安全的。 StringBuffer 始于 JDK 1.0 StringBuilder 始于 JDK 1.5 从 JDK 1.5 开始,带有字符串变量的连接操作(+),JVM 内部采用的是StringBuilder来实现的,而之前这个操作是采用 StringBuffer 实现的。

2009-07-30 01:18 · Java · 评论(0)

OSS系统的定位与边界

如下图所示,OSS系统由资源管理系统、网管系统(包括综合网管系统和专业网管系统——EMS/NMS)和运维管理系统三部分构成,是一个统一的业务支撑 和业务保障系统。它的主要任务是管理全专业的通信资源和业务资源,对业务提供与保障提供监控和管理的手段,并与BSS、财务、建设、采购等部门有着明确的 界面与分工。在OSS系统中,资源管理系统负责实现自动/半自动化的资源调配;综合/专业网管系统完成对故障和服务质量的管理;运维管理系统完成单据流 转、专家库等其它运维功能。 综合网管系统与多个外部系统存在着数据交换: 专业网管系统(EMS/NMS):综合网管系统从专业网管采集得到网络配置、告警与性能等数据;…

2009-07-28 02:02 · Telecom · 评论(0)

开源的网络管理平台

Hyperic : http://www.hyperic.com/ Zenoss: http://zenoss.com/ GroundWorks: http://www.groundworkopensource.com/ OpenQRM: http://openqrm.org/ Nagios: http://nagios.org/ OpenNMS: http://www.opennms.org/ Zabbix: http://www.zabbix.org/ 以上几个提供功能相对完整的综合解决方案,也即所谓的“企业级网管软件”

2009-07-28 01:28 · 评论(0)

电信网管体系

1) 基于TMN的网络管理体系 2) 基于CORBA的网络管理体系 3) 基于SNMP的网络管理体系 4) 基于Web的网络管理体系

2009-07-28 01:18 · Telecom · 评论(0)

Java Memory Model(JMM)

内存模型 (memory model) 内存模型描述的是程序中各变量(实例域、静态域和数组元素)之间的关系,以及在实际计算机系统中将变量存储到内存和从内存取出变量这样的低层细节. 不同平台间的处理器架构将直接影响内存模型的结构. 在C或C++中, 可以利用不同操作平台下的内存模型来编写并发程序. 但是, 这带给开发人员的是, 更高的学习成本. 相比之下, java利用了自身虚拟机的优势, 使内存模型不束缚于具体的处理器架构, 真正实现了跨平台. (针对hotspot jvm, jrockit等不同的jvm, 内存模型也会不相同) 内存模型的特征: a, Visibility 可视性 (多核,…

2009-07-27 01:41 · 计算机与 Internet · 评论(0)

Double-Checked Locking失效问题

双重检查锁定失效问题,一直是JMM无法避免的缺陷之一.了解DCL失效问题, 可以帮助我们深入JMM运行原理. 要展示DCL失效问题, 首先要理解一个重要概念- 延迟加载(lazy loading). 非单例的单线程延迟加载示例: class Foo { private Resource res = null; public Resource getResource() { //普通的延迟加载 if (res == null) res = new Resource(); return res; } } 非单例的多线程延迟加载示例: Class Foo { private Resource re…

2009-07-27 01:33 · 计算机与 Internet · 评论(0)

What is FCAPS

FCAPS is the ISO Telecommunications Management Network model and framework for network management . FCAPS is an acronym for Fault, Configuration, Accounting, Performance, Security which are the management categories into which the ISO model defines network management tasks. In non-billing organizat…

2009-06-10 06:14 · 评论(0)