中国齐鲁大地新闻网
新闻首页 | 时评 | 国内 | 国际 | 人物 | 专题 | 民生 | 潍坊 | 昌邑 | 经济 | 社会 | 体育 | 文娱 | 图库 | 视频 | 原创 |  
您所在的位置:
主页 > 社会 > 正文
奇葩问题汇总二~
2017-09-13 13:57   

  问题1:sqoop修改源码编译打包后如何配合oozie使用?

  oozie需要依次执行:

  $OOZIE_HOME/bin/oozie.setup.sh prepare-war

  $OOZIE_HOME/bin/oozie.setup.sh sharelib create -fs hdfs://xxxx:9000

  其中第二步是将$OOZIE_HOME/里的oozie-sharelib-4.2.0.tar.gz包含的jar上传到HDFS目录里,而不是lib和libext里面的jar,所以sqoop编译打包后需要把sqoop-1.4.6-xxx.jar放进oozie-sharelib-4.2.0.tar.gz压缩包里,并去掉里面自带的sqoop jar

  那么调用oozie的时候,触发sqoop就是你修改了源码的jar。如图hdfs目录

  问题2: oozie调度sqoop的时候,总提示NoClassDefoundxxxx异常?

  需要把相关jar放进$hadoop_HOME/share/hadoop/下面的目录里面,而不是放进oozie的lib目录里

  问题3:如何远程调试?

  若发现有oozie调度sqoop有问题,最好直接运行sqoop命令来进行调试,这样才能debug进sqoop代码里面,更直观

  调试命令:-agentlib:jdwp=transport=dt_socket,server=y,suspend=n,address=5005

  把上面命令加进 $HADOOP_HOME/bin/hadoop里面

  示例: HADOOP_DEBUG=-agentlib:jdwp=transport=dt_socket,server=y,suspend=y,address=5005

  HADOOP_OPTS="$HADOOP_OPTS $HADOOP_DEBUG"

  suspend=y意思是jvm一启动就等待远程debug连接。

  综上所述:不管oozie还是sqoop都是通过hadoop来运行,所以若有什么问题,在$HADOOP_HOME/logs/userlogs目录下查找log进行问题定位,并且依赖什么的都最好放在$HADOOP_CLASSPATH下面

来源:赌博网    作者:未知    编辑:admin
版权与免责声明:
① 凡本网注明来源的所有文字、图片和音视频稿件,版权均属本网所有,任何媒体、网站或个人未经本网协议授权不得转载、链接、转贴或以其他方式复制发表。已经本网协议授权的媒体、网站,在下载使用时必须注明来源,违者本网将依法追究责任。 ② 本网未注明来源的文/图等稿件均为转载稿,本网转载出于传递更多信息之目的,并不意味着赞同其观点或证实其内容的真实性。如其他媒体、网站或个人从本网下载使用,必须保留本网注明的来源,并自负版权等法律责任。如擅自篡改来源,本网将依法追究责任。如对稿件内容有疑议,请及时与我们联系。 ③ 如本网转载稿涉及版权等问题,请作者在两周内速来电或来函与本网联系。
新闻时评
·赌博网中国首次引进濒危物种大鼻猴
·现金博彩这名厅官被双开时公布了情妇人数
·澳门赌博网河南男子自制“房车” 7年带病妻
·百家乐网址[少校时评]不顾20年代差,印度狂
·赌钱网新华时评:继续推动资金回归实体经
·线上赌博新华时评:力戒“秘书式扶贫”
·百家乐网址开创生机勃勃的质量时代(人民
·百家乐网址时评;综合
·线上赌博【清风时评】对腐败不能有“包容
·澳门赌博网【新华时评】热衷“织网”势必
·新华时评:最短的开学典礼 生动的科学启蒙
图片新闻

澳门赌博网-赌钱

Hadoop集群MYSQL的安

Python赶超R语言,

百余专家齐聚贵

欧洲杯数据帝:

转转携富士康为
热门点击
·《网络购买商品七日无理由退货暂行办法》
·重庆市将构建“外联内畅互通”交通网络
·发展改革委:聚焦深度贫困地区农业农村基
·中科院牵头在天舟一号开展4项科学任务
·国家级藏族文化(玉树)生态保护实验区揭
·辽宁:今年城镇居民医保人均补助提高30元
·浙江省启动首次海洋经济调查
·关于印发《“十三五”铁路集装箱多式联运
热点专题 more
- 赌钱网-考研今起网上预报名 “十一”后正式
- 赌博网-澳门赌博网-现金博彩-童星变学霸:
- 百家乐网址-高三毕业生打暑期工 交300被告知
- 线上赌博-教育部:反对从中西部和东北地区
- 线上赌博-教育部放宽台湾高中生申请大陆高
- 现金博彩-借高考招生诈骗频发 “免试入学”
- 赌博网-澳门赌博网-现金博彩-广东2017年高考
- 百家乐网址-西藏2017年高考录取分数线:一本
- 赌钱网-陕西2017年高考录取分数线:一本文科

网站简介 | 关于我们 | 广告服务 | 建站服务 | 帮助信息 | 网站地图

鲁ICP备10201194号-3
Copyright © 2008-2017 齐鲁大地新闻网 版权所有