请教 hadoop 配置文件中配置项的作用域 - V2EX
V2EX = way to explore
V2EX 是一个关于分享和探索的地方
现在注册
已注册用户请  登录
lcdxiangzi
V2EX    Hadoop

请教 hadoop 配置文件中配置项的作用域

  •  
  •   lcdxiangzi 2019-01-09 10:56:51 +08:00 3238 次点击
    这是一个创建于 2532 天前的主题,其中的信息可能已经有所发展或是发生改变。
    最近在翻 hadoop 权威指南,发现书里面提到有些 property 的 kv 对是针对一个 job 的,有些是针对 node 的,有些是针对 cluster 全局的。
    但是没有一个比较系统的说明,诸多配置选项的生效范围,或者说作用域。

    请问哪里有类似的书或者文章可以参考一下吗?
    是通过将配置内容放在不同的配置文件中来完成作用域的控制,还是有其他的机制?

    新手上路,请多指点,多谢
    4 条回复    2019-01-09 15:09:06 +08:00
    lcdxiangzi
        2
    lcdxiangzi  
    OP
       2019-01-09 13:56:57 +08:00
    @MeiChouchou 你好,问一下你提到的四个配置文件是 core-default mapred-default hdfs-default yarn-default 这四个吗?但是有些配置项,我在这四个里面都搜不到呢?
    MeiChouchou
        3
    MeiChouchou  
       2019-01-09 14:44:44 +08:00
    @lcdxiangzi 在官网 doc 每个版本里面都有,左边导航栏最下面就有,
    lcdxiangzi
        4
    lcdxiangzi  
    OP
       2019-01-09 15:09:06 +08:00
    @MeiChouchou 我看到这个了,我是想说,我想了解的一个配置项,比如,mapreduce.input.pathFilter.class,我在几个链接里面都没有搜到相关的说明呢?
    另外,按照我的理解,这几个配置文件应该都是全局生效的,但是我在书里看到有些配置是针对 job 生效的,我想了解一下,如果有些配置是针对特定 job 生效,那这个配置项应该在哪里进行配置呢?这个配置项的作用域是如何控制的。
    不知道我又没有说清楚
    关于     帮助文档     自助推广系统     博客     API     FAQ     Solana     2622 人在线   最高记录 6679       Select Language
    创意工作者们的社区
    World is powered by solitude
    VERSION: 3.9.8.5 23ms UTC 14:57 PVG 22:57 LAX 06:57 JFK 09:57
    Do have faith in what you're doing.
    ubao msn snddm index pchome yahoo rakuten mypaper meadowduck bidyahoo youbao zxmzxm asda bnvcg cvbfg dfscv mmhjk xxddc yybgb zznbn ccubao uaitu acv GXCV ET GDG YH FG BCVB FJFH CBRE CBC GDG ET54 WRWR RWER WREW WRWER RWER SDG EW SF DSFSF fbbs ubao fhd dfg ewr dg df ewwr ewwr et ruyut utut dfg fgd gdfgt etg dfgt dfgd ert4 gd fgg wr 235 wer3 we vsdf sdf gdf ert xcv sdf rwer hfd dfg cvb rwf afb dfh jgh bmn lgh rty gfds cxv xcv xcs vdas fdf fgd cv sdf tert sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf shasha9178 shasha9178 shasha9178 shasha9178 shasha9178 liflif2 liflif2 liflif2 liflif2 liflif2 liblib3 liblib3 liblib3 liblib3 liblib3 zhazha444 zhazha444 zhazha444 zhazha444 zhazha444 dende5 dende denden denden2 denden21 fenfen9 fenf619 fen619 fenfe9 fe619 sdf sdf sdf sdf sdf zhazh90 zhazh0 zhaa50 zha90 zh590 zho zhoz zhozh zhozho zhozho2 lislis lls95 lili95 lils5 liss9 sdf0ty987 sdft876 sdft9876 sdf09876 sd0t9876 sdf0ty98 sdf0976 sdf0ty986 sdf0ty96 sdf0t76 sdf0876 df0ty98 sf0t876 sd0ty76 sdy76 sdf76 sdf0t76 sdf0ty9 sdf0ty98 sdf0ty987 sdf0ty98 sdf6676 sdf876 sd876 sd876 sdf6 sdf6 sdf9876 sdf0t sdf06 sdf0ty9776 sdf0ty9776 sdf0ty76 sdf8876 sdf0t sd6 sdf06 s688876 sd688 sdf86