皮皮网

1.要成为一名大数据开发工程师必备哪些技能？
2.如何在windows平台上用Eclipse调试运行HBase
3.java做网站用什么软件？
4.eclipse中Java程序实现对HBase操作报错:java.io.IOException: Attempt to start meta tracker failed.

要成为一名大数据开发工程师必备哪些技能？

       首先我们要了解Java语言和Linux操作系统，这两个是学习大数据的基础，学习的顺序不分前后。

       大数据

       Java ：只要了解一些基础即可，做大数据不需要很深的Java 技术，学java SE 就相当于有学习大数据基础。2020棋牌游戏源码

       Linux：因为大数据相关软件都是在Linux上运行的，所以Linux要学习的扎实一些，学好Linux对你快速掌握大数据相关技术会有很大的帮助，能让你更好的理解hadoop、hive、hbase、spark等大数据软件的运行环境和网络环境配置，能少踩很多坑，学会shell就能看懂脚本这样能更容易理解和配置大数据集群。还能让你对以后新出的大数据技术学习起来更快。

       Hadoop：这是现在流行的大数据处理平台几乎已经成为大数据的代名词，所以这个是必学的。Hadoop里面包括几个组件HDFS、webug源码MapReduce和YARN，HDFS是存储数据的地方就像我们电脑的硬盘一样文件都存储在这个上面，MapReduce是对数据进行处理计算的，它有个特点就是不管多大的数据只要给它时间它就能把数据跑完，但是时间可能不是很快所以它叫数据的批处理。

       Zookeeper：这是个万金油，安装Hadoop的HA的时候就会用到它，以后的Hbase也会用到它。它一般用来存放一些相互协作的契约源码信息，这些信息比较小一般不会超过1M，都是使用它的软件对它有依赖，对于我们个人来讲只需要把它安装正确，让它正常的run起来就可以了。

       Mysql：我们学习完大数据的处理了，接下来学习学习小数据的处理工具mysql数据库，因为一会装hive的时候要用到，mysql需要掌握到什么层度那?你能在Linux上把它安装好，运行起来，marsgis 源码会配置简单的权限，修改root的密码，创建数据库。这里主要的是学习SQL的语法，因为hive的语法和这个非常相似。

       Sqoop：这个是用于把Mysql里的数据导入到Hadoop里的。当然你也可以不用这个，直接把Mysql数据表导出成文件再放到HDFS上也是一样的，当然生产环境中使用要注意Mysql的cadlisp源码压力。

       Hive：这个东西对于会SQL语法的来说就是神器，它能让你处理大数据变的很简单，不会再费劲的编写MapReduce程序。有的人说Pig那?它和Pig差不多掌握一个就可以了。

       Oozie：既然学会Hive了，我相信你一定需要这个东西，它可以帮你管理你的Hive或者MapReduce、Spark脚本，还能检查你的程序是否执行正确，出错了给你发报警并能帮你重试程序，最重要的是还能帮你配置任务的依赖关系。我相信你一定会喜欢上它的，不然你看着那一大堆脚本，和密密麻麻的crond是不是有种想屎的感觉。

       Hbase：这是Hadoop生态体系中的NOSQL数据库，他的数据是按照key和value的形式存储的并且key是唯一的，所以它能用来做数据的排重，它与MYSQL相比能存储的数据量大很多。所以他常被用于大数据处理完成之后的存储目的地。

       Kafka：这是个比较好用的队列工具，队列是干吗的?排队买票你知道不?数据多了同样也需要排队处理，这样与你协作的其它同学不会叫起来，你干吗给我这么多的数据(比如好几百G的文件)我怎么处理得过来，你别怪他因为他不是搞大数据的，你可以跟他讲我把数据放在队列里你使用的时候一个个拿，这样他就不在抱怨了马上灰流流的去优化他的程序去了，因为处理不过来就是他的事情。而不是你给的问题。当然我们也可以利用这个工具来做线上实时数据的入库或入HDFS，这时你可以与一个叫Flume的工具配合使用，它是专门用来提供对数据进行简单处理，并写到各种数据接受方(比如Kafka)的。

       Spark：它是用来弥补基于MapReduce处理数据速度上的缺点，它的特点是把数据装载到内存中计算而不是去读慢的要死进化还特别慢的硬盘。特别适合做迭代运算，所以算法流们特别稀饭它。它是用scala编写的。Java语言或者Scala都可以操作它，因为它们都是用JVM的。

如何在windows平台上用Eclipse调试运行HBase

       ã€€ã€€æ“ä½œæ­¥éª¤å¦‚下：

       ã€€ã€€1.下载和安装cygwin；

       ã€€ã€€2.下载新的Zookeeper包和HBase包，这里ZooKeeper版本为3.3.1，HBase版本为0..4

       ã€€ã€€3.把利用它们的源码包在Eclipse下生成2个独立的Project,注意：zookeeper工程，要把那个conf目录加入到工程的src中去

       ã€€ã€€4.修改zookeeper工程下的conf目录中的zoo.cfg文件，例子如下：

       ã€€ã€€# The number of milliseconds of each tick

       ã€€ã€€tickTime=

       ã€€ã€€# the directory where the snapshot is stored.

       ã€€ã€€dataDir=D:/zookeeper-3.3.1/data

       ã€€ã€€# the port at which the clients will connect

       ã€€ã€€clientPort=

       ã€€ã€€å°±æ˜¯ç»™zookeeper指定文件存放的地方以及端口

       ã€€ã€€5.启动zookeeper

       ã€€ã€€åœ¨Eclipse中新建一个Run config，main class为：org.apache.zookeeper.server.quorum.QuorumPeerMain

       ã€€ã€€å¯åŠ¨çš„程序参数为：D:/workspace/zookeeper3.3.1/conf/zoo.cfg

       ã€€ã€€å¯åŠ¨çš„虚拟机参数为：

       ã€€ã€€-Dzookeeper.log.dir=D:/workspace/zookeeper3.3.1/log

       ã€€ã€€-Dzookeeper.root.logger=INFO,CONSOLE

       ã€€ã€€å¦‚图所示：

       ã€€ã€€å¥½äº†ï¼Œè¿™æ ·å°±å¯ä»¥åœ¨Eclipse中把ZooKeeper启动起来了。

       ã€€ã€€6.修改HBase project中的一个类

       ã€€ã€€org.apache.hadoop.hbase.LocalHBaseCluster

       ã€€ã€€æ‰¾åˆ°å®ƒçš„main函数，把main函数改成下

       ã€€ã€€public static void main(String[] args) throws IOException {

       ã€€ã€€HBaseConfiguration conf = new HBaseConfiguration();

       ã€€ã€€conf.set("hbase.zookeeper.quorum", "localhost");

       ã€€ã€€conf.set("hbase.zookeeper.property.clientPort", "");

       ã€€ã€€LocalHBaseCluster cluster = new LocalHBaseCluster(conf,1);

       ã€€ã€€cluster.startup();

       ã€€ã€€}　　

       ã€€ã€€æ³¨æ„è¡Œï¼šLocalHBaseCluster cluster = new LocalHBaseCluster(conf,1); 构造函数中的1是代表Region server的个数，在这里只想起一个region server.

       ã€€ã€€7.修改HBase的配置文件

       ã€€ã€€åœ¨HBase project下的src中可以看到hbase-default.xml和hbase-site.xml两个文件，改哪个都可以。直接在hbase-default.xml改的，重要的是下面3个属性hbase.rootdir，hbase.cluster.distributed，hbase.tmp.dir，

       ã€€ã€€æŠŠhbase.rootdir，hbase.tmp.dir都指向了本地的目录，当然可以根据自己的需要调整,当然格式一定一样写。

       ã€€ã€€<property>

       ã€€ã€€<name>hbase.rootdir</name>

       ã€€ã€€<value>file:///D:/hbase-0..3/data </value>

       ã€€ã€€<description>The directory shared by region servers.

       ã€€ã€€Should be fully-qualified to include the filesystem to use.

       ã€€ã€€E.g: hdfs://NAMENODE_SERVER:PORT/HBASE_ROOTDIR

       ã€€ã€€</description>

       ã€€ã€€</property>

       ã€€ã€€<property>

       ã€€ã€€<name>hbase.cluster.distributed</name>

       ã€€ã€€<value>false </value>

       ã€€ã€€<description>The mode the cluster will be in. Possible values are

       ã€€ã€€false: standalone and pseudo-distributed setups with managed Zookeeper

       ã€€ã€€true: fully-distributed with unmanaged Zookeeper Quorum (see hbase-env.sh)

       ã€€ã€€</description>

       ã€€ã€€</property>

       ã€€ã€€<property>

       ã€€ã€€<name>hbase.tmp.dir</name>

       ã€€ã€€<value>D:/hbase-0..3/tmp </value>

       ã€€ã€€<description>Temporary directory on the local filesystem.</description>

       ã€€ã€€</property>

       ã€€ã€€<property>　　

       ã€€ã€€8.启动HBase，直接run org.apache.hadoop.hbase.LocalHBaseCluster就可以，run config不需要没有什么别的配置。当然就也可以debug了。

java做网站用什么软件？

       JAVA语言学习主要可以开发什么？

       1、Java可以做网站

       Java可以用来编写网站，现在很多大型网站都用Jsp写的，JSP全名JavaServerPages。

       å®ƒæ˜¯ä¸€ç§åŠ¨æ€ç½‘页技术，比如我们熟悉的，一些政府网站都是采用JSP编写的。

       æ‰€ä»¥å­¦ä¹ Java的同学可以找开发网站方面的工作，而且现在找这方面的岗位比较多。

       æ¯”如：网站开发，当然就是JSP+Servlet+JavaBean，一直以来都相当流行。

       2、Java可以做Android

       Android是一种基于Linux的自由及开放源代码的操作系统，其源代码是Java。

       æ‰€ä»¥å¸‚场上见到的手机系统例如MIUI,阿里云，乐蛙等，都是修改源代码再发行的。

       Java做安卓不单单是指系统，还有APP对于更多的开发人员来说，他们更多的时间是花在开发APP上面。

       3、Java可以做游戏

       æˆ–者你不知道，在以前诺基亚还很流行的时候，你玩的手机游戏有%以上都是Java开发的。

       å½“然现在已经很少人再去开发了，都转到安卓上去了。

       ç”µè„‘上也有java开发的游戏，最经典的是：《我的世界》(minecraft，简称MC)。

       4、Java可以做软件

       ä¸€èˆ¬ç¼–程语言都可以做软件的，Java也不例外，例如Eclipse，MyEclipse等知名Java开发工具.有关开发软件组件，可以了解JavaSwing编程或者awt相关知识。

       æ¯”如：企业级应用开发，这里是JAVA的天地，大到全国联网的系统，小到中小企业的应用解决方案，Java都占有极为重要的地位。

       å¦å¤–还有移动领域，典型的应用是手机游戏(国内主要是这方面)，这里是J2ME的天地，其实应用范围是很广的。

       å¦‚何用Java做网站？

       java用来制作网站，一般是使用现成的框架，如下：

       java可以用来做网站

       java开发平台一般有三个版本：其中javaee用来网站开发

       *JavaSE（JavaPlatform，StandardEdition）。JavaSE以前称为J2SE。它允许开发和部署在桌面、服务器、嵌入式环境和实时环境中使用的Java应用程序。JavaSE包含了支持JavaWeb服务开发的类，并为JavaPlatform，EnterpriseEdition（JavaEE）提供基础。

       *JavaEE（JavaPlatform，EnterpriseEdition）。这个版本以前称为J2EE。企业版本帮助开发和部署可移植、健壮、可伸缩且安全的服务器端Java应用程序。JavaEE是在JavaSE的基础上构建的，它提供Web服务、组件模型、管理和通信API，可以用来实现企业级的面向服务体系结构（service-orientedarchitecture，SOA）和Web2.0应用程序。

       *JavaME（JavaPlatform，MicroEdition）。这个版本以前称为J2ME。JavaME为在移动设备和嵌入式设备（比如手机、PDA、电视机顶盒和打印机）上运行的应用程序提供一个健壮且灵活的环境。JavaME包括灵活的用户界面、健壮的安全模型、许多内置的网络协议以及对可以动态下载的连网和离线应用程序的丰富支持。基于JavaME规范的应用程序只需编写一次，就可以用于许多设备，而且可以利用每个设备的本机功能。

学习Java可以做什么？

       å­¦ä¹ Java可以做什么？Java并不是为Internet,WWW而设计的，它也可以用来编写独立的应用程序。Java是一种面向对象语言。Java语言类似于C++语言，所以已熟练掌握C++语言的编程人员，再学习Java语言就容易得多！Java程序需要编译。实际上有两种Java程序：一种Java应用程序是一个完整的程序，如Web浏览器。一种Java小应用程序是运行于Web浏览器中的一个程序。下面具体介绍一下学习Java之后可以做什么？

       ä¸€ã€å­¦ä¹ Java可以做什么？Java可以用来做网站

       Java可以用来做网站，很多大型网站都是用JSP写的，JSP全名JavaServerPages。这是一种动态网页技术，比如我们熟悉的B站，很多政府网站都是用这个写的所以想学习Java的同学还可以负责网站方面的制作，这方面的岗位也比较多，比如:网站开发，当然就是JSP+Servlet+JavaBean，一直以来都相当流行。

       äºŒã€å­¦ä¹ Java可以做什么？Java可以做安卓软件

       å®‰å“是一个手机系统基于Linux的操作系统，其中源代码Java，市面上所有的安卓手机，包括小米，oppo，华为手机系统都是修改Java运行的，Java做安卓也不只是只能做系统，对于更多的程序开发人员来说，更多的时间是花在APP上，也就是手机上的各种软件都是用Java写的，Java做安卓不单单是指系统，还有APP对于更多的开发人员来说，他们更多的时间是花在开发APP上面。如果你还在寻找Java在哪运用，你不用东奔西走的寻找，你的身边就是。Android手机，随便打开一个App应用，他们就是用Java语言，从Google上搜索Android的API文档，你就会发现它和Java的JDK文档惊人的相似。

       ä¸‰ã€å­¦ä¹ Java可以做什么？Java可以用来做游戏

       ä»¥å‰è¯ºåŸºäºšæ‰‹æœºé£Žé¡å¤©ä¸‹çš„时候，上面的很多小游戏都是用Java写的，只是现在都多去开发安卓了，电脑上的大多数也是用Java来开发的，最经典的就是《我的世界》，当今世界最具影响力的游戏英雄联盟，吃鸡就是用Java写的

       å››ã€å­¦ä¹ Java可以做什么？Java可以用来写软件

       å¾ˆå¤šç¼–程语言都是可以来写软件的，但Java是现在最适用最广泛的，比如：企业级应用开发，这里是Java的天地。还有OA、邮箱、投票、金融、考试、物流、医疗、矿山等信息方面的系统，Java都占有极为重要的地位。现在国内的最热门的就是手机应用，学习Java去做手机应用还是比较吃香的，比如：企业级应用开发，这里是Java的天地，大到全国联网的系统，小到中小企业的应用解决方案，Java都占有极为重要的地位，另外还有移动领域，典型的应用是手机游戏(国内主要是这方面)，这里是J2ME的天地，其实应用范围是很广的。

       äº”、学习Java可以做什么？Java服务器程序

       Java在金融服务业的应用非常广泛，许多跨国投资银行例如：GoldmanSachs(高盛投资)，Citigroup(花旗集团)，Barclays(巴克莱银行)以及其他银行，都用Java来编写前台和后台的电子交易系统，结算和确认系统，数据处理项目以及其他项目。

       å¤§å¤šæ•°æƒ…况下，Java被用在服务器端开发，但多数没有任何前端，它们通常是从一个服务器(上一级)接收数据，处理后发向另一个处理系统(下一级处理)。

       å…­ã€å­¦ä¹ Java可以做什么？Java大数据技术

       Hadoop以及其他大数据处理技术都是用Java或者其他，例如Apache的基于Java的HBase和Accumulo以及ElasticSearchas。但是Java在此领域并未占太大空间，但只要Hadoop和ElasticSearchas能够成长壮大，Java依旧还有潜力去在这个市场占据一部分。

       é€šè¿‡ä¸Šé¢çš„介绍对于具体Java是做什么的由来一定的了解和认识，那么对于拥有Java技术的程序员来说，职业道路的选择十分的宽广，行业前景之广阔都是可以预见。所以，赶快抓住机遇来昆明北大青鸟Java开发培训班学Java开发吧！

eclipse中Java程序实现对HBase操作报错:java.io.IOException: Attempt to start meta tracker failed.

       我hadoop和Hbase都是采用伪分布式的

       代码如下：

       public class HbaseTest {

       private static Configuration conf;

       static{

       conf = HBaseConfiguration.create();

       conf.set("hbase.rootdir", "hdfs://...2:/hbase");

       //使用eclipse时必须添加这个，否则无法定位

       conf.set("hbase.zookeeper.quorum", "...2");

       conf.set("hbase.zookeeper.property.clientPort", "");

       }

       public static void createTable(String tableName){

       System.out.println("start create table ......");

       try {

       HBaseAdmin hbAdmin = new HBaseAdmin(conf);

       if(hbAdmin.tableExists(tableName)){

       hbAdmin.disableTable(tableName);

       hbAdmin.deleteTable(tableName);

       System.out.println(tableName + " is exist,detele ....");

       }

       // HTableDescriptor htd = new HTableDescriptor(tableName);

       HTableDescriptor htd = new HTableDescriptor(tableName);

       htd.addFamily(new HColumnDescriptor("cf1"));

       htd.addFamily(new HColumnDescriptor("cf2"));

       htd.addFamily(new HColumnDescriptor("cf3"));

       htd.addFamily(new HColumnDescriptor("cf4"));

       hbAdmin.createTable(htd);

       } catch (MasterNotRunningException e) {

       // TODO Auto-generated catch block

       e.printStackTrace();

       } catch (ZooKeeperConnectionException e) {

       // TODO Auto-generated catch block

       e.printStackTrace();

       } catch (IOException e) {

       // TODO Auto-generated catch block

       e.printStackTrace();

       }

       System.out.println("end create table ......");

       }

       public static void main(String[] args) {

       createTable("testTable");

       }

       更多0