ITeye博客

写自己的博客,让别人看去吧

lxm63972012 · 共 23 篇文章

[置顶] synchronized 实例

synchronized Java语言的关键字,当它用来修饰一个方法或者一个代码块的时候,能够保证在同一时刻最多只有一个线程执行该段代码。 先看几个例子: 实例一: import java.util.ArrayList; import java.util.List; public class MyThread { public void printNum(List list) { synchronized (list) { if (null != list) { for (int i = 0; i < list.size(); i++) { System.out.println(Thread…

2011-06-29 22:57 · java · 评论(0)

Hadoop 文件追加(断点继传)

hadoop 0.20之前的版本应该不支持文件追加功能,我用的是1.0版本的。 要想使用文件追加写入功能,先配置hdfs-site.xml,如下: <property> <name>dfs.support.append</name> <value>true</value> </property> dfs.support.append默认是关闭的。 然后程序打开文件时用: FileSystem fs = FileSystem.get(URI.create(dst), conf); FSDataOutputStream out = fs.append(new Path(dst)); 在网上找了一…

2012-03-05 17:46 · hadoop · 评论(0)

Hadoop 应用总结

参考网络众多资料,结合自己的实践,记录了hadoop hdfs应用的一些注意事项和知识点,希望对您有所帮助。 环境配置 1. 安装linux ubuntu系统 2. 安装开启openssh-server:$ sudo apt-get install openssh-server 3. 建立ssh 无密码登录 $ ssh-keygen -t dsa -P '' -f ~/.ssh/id_dsa 直接回车,完成后会在~/.ssh/生成两个文件:id_dsa 和id_dsa.pub。 这两个是成对出现,类似钥匙和锁。再把id_dsa.pub 追加到授权key 里面(当前并没有authorized_…

2012-03-01 12:21 · hadoop · 评论(0)

hadoop SecondNamenode详解

本文来源 http://www.oratea.net/?p=827 SecondNamenode名字看起来很象是对第二个Namenode,要么与Namenode一样同时对外提供服务,要么相当于Namenode的HA。 真正的了解了SecondNamenode以后,才发现事实并不是这样的。 下面这段是Hadoop对SecondNamenode的准确定义: * The Secondary Namenode is a helper to the primary Namenode. * The Secondary is responsible for supporting periodic chec…

2012-03-01 10:57 · hadoop · 评论(0)

hadoop小文件操作之SequenceFile

存储文件: import java.io.BufferedInputStream; import java.io.FileInputStream; import java.io.IOException; import java.io.InputStream; import java.net.URI; import org.apache.hadoop.conf.Configuration; import org.apache.hadoop.fs.FileSystem; import org.apache.hadoop.fs.Path; import org.apache.hadoop.io.I…

2012-02-29 12:36 · hadoop · 评论(0)

hadoop 文件操作

存储文件: import java.io.BufferedInputStream; import java.io.FileInputStream; import java.io.InputStream; import java.io.OutputStream; import java.net.URI; import org.apache.hadoop.conf.Configuration; import org.apache.hadoop.fs.FileSystem; import org.apache.hadoop.fs.Path; import org.apache.hadoop.io.…

2012-02-29 12:31 · hadoop · 评论(0)

hadoop 小文件解决方案

基于Hadoop Sequencefile的小文件解决方案 一、 概述 小文件是指文件size小于HDFS上block大小的文件。这样的文件会给hadoop的扩展性和性能带来严重问题。首先,在HDFS中,任何block,文件或者目录在内存中均以对象的形式存储,每个对象约占150byte,如果有1000 0000个小文件,每个文件占用一个block,则namenode大约需要2G空间。如果存储1亿个文件,则namenode需要20G空间。这样namenode内存容量严重制约了集群的扩展。 其次,访问大量小文件速度远远小于访问几个大文件。HDFS最初是为流式访问大文件开发的,如果访问大量小文件,…

2012-02-28 12:36 · hadoop · 评论(0)

hadoop 异常

java.io.IOException: File /user/root/input could only be replicated to 0 nodes, instead of 1 at org.apache.hadoop.hdfs.server.namenode.FSNamesystem.getAdditionalBlock(FSNamesystem.java:1271) at org.apache.hadoop.hdfs.server.namenode.NameNode.addBlock(NameNode.java:422) at sun.reflect.GeneratedMetho…

2012-02-16 12:26 · hadoop · 评论(0)

jsp 标签 According to TLD or attribute directive in tag file...异常

jstl报 org.apache.jasper.JasperException: /index.jsp(6,0) According to TLD or attribute directive in tag file, attribute items does not accept any expressions异常 在确保jar包已经添加的情况下 把<%@ taglib uri="http://java.sun.com/jstl/core" prefix="c"%> 改为: <%@ taglib uri="http://java.sun.com/jstl/core_rt" prefix="…

2011-11-14 13:04 · java · 评论(0)

数字转对应的excel列字母

String[] str = new string[]{"A","B","C","D","E","F","G", "H","I","J","K","L","M","N", "O","P","Q","R","S","T","U", "V","W","X","Y","Z"}; public String numToLetter(int num){ if(num>=26){ return str[num/26-1]+str[num%26]; } else { return str[num]; } }

2011-10-31 21:44 · java · 评论(0)

equals()与==的区别

1. equals只能对对象进行比较,不能用于基本类型的比较,==则没有限制。 2. equals方法比较的是对象内容,==比较的是对象的引用。 3. 比较对象一般用equals方法,大多数java类库都实现了该方法。 4. 如果是自己实现的类,必须重写equals和hashCode方法才能正确的使用该方法,否则与==效果一样。

2011-07-12 20:48 · java · 评论(0)

js浮点数验证

<html> <head> <meta http-equiv="Content-Type" content="text/html; charset=UTF-8"> <title>validateNum</title> <script type="text/javascript"> function validateNum(){ var regNum = /^-?([1-9]+\d*\.?|0\.)\d*$/; //浮点数验证 var regZero=/^(0|0.)0*$/;//零验证 var v = document.getElementById("num").value; if(regN…

2011-07-01 21:39 · web前端 · 评论(0)

买了几本书

突然间发现,作为一个软件开发人员,竟然没有买过技术之类的任何书籍。因为所有学习资料都是在网上找的,所有问题都能在网上解决。以前也没有觉得有啥问题,现在却发现,如果离开电脑,就只能无聊到睡觉了。 惭愧之余,刚才就在淘宝上花了90大洋,买了java2核心技术卷一+卷二第8版+Java编程思想中文版4版三本知名书籍。

2011-06-28 22:04 · IT闲话 · 评论(0)

粗心造成的错误

系统一期已经上线了好久了,二期已经开始开发。可今天一测试人员却发现有一个导出与查询的数据不一致,在前台查询到的数据才几天,导出的数据却有几百条。我开始还以为是测试人员理解错了呢,因为导出的数据本来就是查询出来的头和行的乘积,后来才发现是以前程序中传的日期参数不对,没有取到对应的值。因为这个查询条件过多,当时也没有每个条件都测试,一期测试时也没有发现。 仔细想想如果不是自己粗心,也不会把参数写错。即使开始写错,只要一一对照一下肯定能检查出来的。 还好错误不很严重,不然就亏大了。 以后一定要细心再细心,不能犯那些低级的错误。

2011-06-28 20:54 · 工作点滴 · 评论(0)

三种类型的技术人员

有一种技术人员,在工作之余会总结一下经验,钻研老技术,关注一下新技术,然后写下博客,方便自己,也方便别人。 有一种技术人员,在工作之余却下个电影,看下小说,只顾吃喝玩乐。 有一种技术人员,在上两种之间,一会学一会玩。

2011-06-28 12:52 · IT闲话 · 评论(0)