1.Hadoop 2.7.4,hbase 1.2.6
2.目的,從hbase 查詢數(shù)據(jù)到hdfs中
3.運行結(jié)果如下
Map-Reduce Framework
Map input records=2
Map output records=0
Input split bytes=62
Spilled Records=0
Failed Shuffles=0
Merged Map outputs=0
GC time elapsed (ms)=38
CPU time spent (ms)=1450
Physical memory (bytes) snapshot=213590016
Virtual memory (bytes) snapshot=2123476992
Total committed heap usage (bytes)=99090432
Map 一直輸出0,不知道怎么看中間過程,hbase user表中兩條記錄,所以input=2是對的
代碼如下:
public class Hdfs {
private static Logger logger = Logger.getLogger(Mysql.class);
public static class HbaseMapper extends TableMapper<Text, Text> {
@Override
protected void map(ImmutableBytesWritable key, Result value, Context context) throws IOException, InterruptedException {
StringBuffer sb = new StringBuffer("");
context.write(new Text("test"),new Text("value"));
for(Cell kv : value.listCells()){
context.write(new Text(key.get()), new Text(new String(kv.getValue()+"sss")));
}
}
}
public static class HdfsReducer extends Reducer<Text,Text,Text,Text>{
private Text result = new Text();
@Override
protected void reduce(Text key, Iterable<Text> values, Context context) throws IOException, InterruptedException {
for(Text val:values){
result.set(val);
}
context.write(key, result);
}
}
public static void main(String[] args)throws Exception{
String output = "hdfs://*.*.*.*:9000/output";
System.setProperty("hadoop.home.dir","/Users/*/hadoop-2.7.4");
Configuration conf = HBaseConfiguration.create();
conf.set("hbase.zookeeper.quorum","master");
conf.set("fs.default.name","hdfs://*.*.*.*:9000");
conf.set("mapreduce.app-submission.cross-platform","true");
conf.set("mapreduce.framework.name","yarn");
conf.set("mapred.jar","/Users/*/Downloads/WordCount/target/hadoop_m2-1.0-SNAPSHOT.jar");
FileSystem fs = FileSystem.get(conf);
Path p = new Path(output);
if(fs.exists(p)){fs.delete(p,true);}
Job job = Job.getInstance(conf,"hbase2hdfs");
job.setJarByClass(Hdfs.class);
Scan s = new Scan();
TableMapReduceUtil.initTableMapperJob("user", s,HbaseMapper.class, Text.class, Text.class, job);
job.setReducerClass(HdfsReducer.class);
job.setOutputKeyClass(Text.class);
job.setOutputValueClass(Text.class);
job.setNumReduceTasks(0);
FileOutputFormat.setOutputPath(job, p);
System.exit(job.waitForCompletion(true)?0:1);
}
}
北大青鳥APTECH成立于1999年。依托北京大學優(yōu)質(zhì)雄厚的教育資源和背景,秉承“教育改變生活”的發(fā)展理念,致力于培養(yǎng)中國IT技能型緊缺人才,是大數(shù)據(jù)專業(yè)的國家
北大青鳥中博軟件學院創(chuàng)立于2003年,作為華東區(qū)著名互聯(lián)網(wǎng)學院和江蘇省首批服務外包人才培訓基地,中博成功培育了近30000名軟件工程師走向高薪崗位,合作企業(yè)超4
中公教育集團創(chuàng)建于1999年,經(jīng)過二十年潛心發(fā)展,已由一家北大畢業(yè)生自主創(chuàng)業(yè)的信息技術與教育服務機構(gòu),發(fā)展為教育服務業(yè)的綜合性企業(yè)集團,成為集合面授教學培訓、網(wǎng)
達內(nèi)教育集團成立于2002年,是一家由留學海歸創(chuàng)辦的高端職業(yè)教育培訓機構(gòu),是中國一站式人才培養(yǎng)平臺、一站式人才輸送平臺。2014年4月3日在美國成功上市,融資1
曾工作于聯(lián)想擔任系統(tǒng)開發(fā)工程師,曾在博彥科技股份有限公司擔任項目經(jīng)理從事移動互聯(lián)網(wǎng)管理及研發(fā)工作,曾創(chuàng)辦藍懿科技有限責任公司從事總經(jīng)理職務負責iOS教學及管理工作。
浪潮集團項目經(jīng)理。精通Java與.NET 技術, 熟練的跨平臺面向?qū)ο箝_發(fā)經(jīng)驗,技術功底深厚。 授課風格 授課風格清新自然、條理清晰、主次分明、重點難點突出、引人入勝。
精通HTML5和CSS3;Javascript及主流js庫,具有快速界面開發(fā)的能力,對瀏覽器兼容性、前端性能優(yōu)化等有深入理解。精通網(wǎng)頁制作和網(wǎng)頁游戲開發(fā)。
具有10 年的Java 企業(yè)應用開發(fā)經(jīng)驗。曾經(jīng)歷任德國Software AG 技術顧問,美國Dachieve 系統(tǒng)架構(gòu)師,美國AngelEngineers Inc. 系統(tǒng)架構(gòu)師。