V2EX = way to explore

V2EX 是一个关于分享和探索的地方

已注册用户请登录

请不要在回答技术问题时复制粘贴 AI 生成的内容

这是一个创建于 2818 天前的主题，其中的信息可能已经有所发展或是发生改变。

前言

雅虎日本是日本最大的互联网公司，无论从技术，规模，还是对日本这个国家的影响力，都是顶级水平，和日本乐天并称为日本互联网双雄。

昨日，一年一度的技术大会如期举行，本人去参加并把看到的，得到的信息记录下来，分享给国内同行。虽然他们的水平跟国内相差很远，但根据他们的现状信息，对国内更好地发展有可取之处，也是好事。

官方信息

Yahoo! JAPAN Tech Conference 2018 官方网站

Yahoo Japan Youtube 频道: YahooJAPANTech

Twitter 账号: ydnjp

大会内容

基调演讲
数据中心网络与大规模服务器基础设施的战略
Kotlin 的导入情况与展望
有效利用 Web 资源去应用
放心安全的下一代认证
支撑雅虎日本开发平台的 PaaS
大规模业务工具刷新的实施方法
雅虎日本首页的编程
雅虎日本的动画内容
雅虎日本为 OSS 的开发
用户位置信息分析的最前沿
AnnexML：从最近的地方搜索用的 extreme multi-label 分类的高速化
雅虎日本应用的开发方法：极限编程
建立提高视觉设计师技能的机制
实现应用程序高速部署的技术 - 雅虎日本的 Kubernetes 即服务
保护日本的互联网！雅虎日本的欺诈性使用对策 - 通过 Splunk 检测非法登录
雅虎日本的 Node.js
技术和品牌技术吸引人
创造一个移动性和互联网融合在一起的自动驾驶时代
kukai：世界第二的节能超级计算机
支撑雅虎日本的广告技术
雅虎日本应用的制作方法
雅虎购物服务数据利用示例

本人参加了如下会场：

基调演讲
数据中心网络与大规模服务器基础设施的战略
支撑雅虎日本开发平台的 PaaS
实现应用程序高速部署的技术 - 雅虎日本的 Kubernetes 即服务
雅虎日本的 Node.js
支撑雅虎日本的广告技术

基调演讲

主题是创造未来。

首席技术官的开场超出对日本一如既往死板的印象，先播放一段 5 分钟的视频介绍 2028 年 1 月 27 日（十年后）的一个日本女孩的一天。

Youtube 网视频已上传： Shape the Future - through the Power of Technology https://www.youtube.com/watch?v=I6qeGfswc_w

这一天的所有活动，科技（互联物联）无处不在。

起床，眼前看到科幻电影中的虚拟化屏幕，显示新闻，天气，距离电车发车的时间；
早餐，打开冰箱看到的是各种食物的营养分配，是否过期等，并给出最佳建议；
出发，骑自行车到车站有导航屏实施指示;
坐公交，看车窗就可以看新闻，看美食推荐，用手一划就拿到眼前呈现，人们看新闻都是只需要伸出手而已；
距离会议时间还有几分会及时提示，买咖啡时和老板隔空对话，眼前只需要展开虚拟屏幕，随即关闭；
人们看新闻，看电车时刻表，看股价，到超市购物，虚拟屏幕无处不在，时刻给出最佳方案；
晚上看电视时，即时和父母通视频电话等。

视频播放完毕后，CTO 说，"十年后的样子，有些人说不会达到这样，有些人说达到这样是理所当然的"。然后引出雅虎日本的使命和愿景：

Mission: 解决问题的引擎
Vision: 更新日本

接下来的内容是雅虎日本的数据介绍：

月 PV: 757 亿
最大每秒访问数: 200 万
大数据基础设施：RDS：900 DBs ； KVS：2000 nodes 等; Hadoop 集群自称是亚洲最大规模，不太信，能有中国大吗？
开发 7 处地点：日本东京，名古屋，大阪，福冈，美国华盛顿，圣弗兰西斯科，越南胡志明
工程师：2400 名以上，美工 400 名以上

然后介绍从 HTTP 到 HTTPS 的转换过程。起初的困难：服务数 100 以上，服务相关的企业很多都需要调整，域名 1000 以上（日本域名最大数的公司）当初公司内的工程师办不到。决定做的时候，从 2016 年 4 月 1 日到 2017 年 3 月 31 日，一年时间处理 1000 域名完成。

后半程介绍以下几方面内容：

雅虎日本使用用户，数据，人工智能的循环链路提供服务。
雅虎日本的技术栈介绍，从数据中心到应用开发，所有的一切都自己做。控制自由。
对开源社区的贡献，如 Docker，Kubernetes，Kafka，Node.js ，Presto 等。

最后表示雅虎日本是给用户新体验的技术企业。

Yahoo! JAPAN Tech Conference 基演全程

数据中心网络与大规模服务器基础设施的战略

数据中心地点：日本东京，大阪，福冈，东北；美国两处。东京和大阪网络 Swtich，CDN 互通，一处节点断，另一处仍可以工作。

硬件管理使用 Facebook 创办基金会(后有 Google，微软加入)的 OpenCompute，简单易用，强烈推荐参会者使用。

支撑雅虎日本开发平台的 PaaS

从 2016 年讨论，2017 年引入 Cloud Foundry，2018 年计划扩大范围，这个速度很慢了，日本乐天在 2014 年时已经使用 Cloud Foundry 作为 PaaS 平台。

Cloud Foundry 的 CTO 的英文演讲让很多人入睡，语调低沉，却讲了未来软件的开发方式。

实现应用程序高速部署的技术 - 雅虎日本的 Kubernetes 即服务

Kubernetes as a Service 在雅虎日本的一家子公司 Z Lab 开发，从 2017 年初开始，现在有部分雅虎日本的服务运行在上面。这在日本已经是不错的有成绩的，相比之下，国内的容器服务如火如荼，遥遥领先。

他们的做法是，在 IaaS 层用 OpenStack 调度 Kubernetes 节点，根据应用规模实现负载均衡，自动扩容。然而还是很初级，他们（全日本）对新技术的谨慎，文化导致创新速度很慢，大多不创新。

雅虎日本的 Node.js

雅虎日本的大部分服务都是用 PHP 开发，使用 Node.js 后，性能提高 3 倍，今后的方向是把服务大量转换为使用 Node.js 开发，把 Java 和 Node.js 作为主要后端语言。

支撑雅虎日本的广告技术

雅虎日本的广告分两类：直接固定广告和嵌入式广告。

在首页显示的为第一类，商家的广告直接定期固定显示。在搜索结果，新闻一览中看到的是根据大数据算法，以 AI 的方式推送的广告，主要根据性别，年龄，区域等用户信息用算法取中心值，向这类人群投送广告。使用语言有 C，C++，Java，Python，Go 等。

近几年平均每年从广告中获得的收入约 300 多亿日元，是主要收入来源。

整个大会演讲的 PPT 不会全部公开，但会公开一部分，以官方推特，博客形式公告。预计今天过后会有下载链接。

雅虎

日本

Node

kubernetes

16 条回复 2018-02-07 19:23:10 +08:00

233

2018-01-28 15:00:46 +08:00

占位支持一发

saran

2018-01-28 15:02:28 +08:00 via Android

Yahoo 最成功的投资就是阿里和日本 Yahoo 了吧。

chiu

2018-01-28 16:48:06 +08:00 via Android

雅虎还在！？

SuperMild

2018-01-28 17:02:09 +08:00

开场视频拍出了黑镜那种可怕的氛围啊

ETiV

2018-01-28 17:28:10 +08:00

看来十年后日本没有共享自行车

JerryCha

2018-01-28 19:30:41 +08:00

这视频一股活在 SAO 里的感觉...

geekyoung

2018-01-28 19:47:06 +08:00 via Android

支持

feverzsj

2018-01-28 20:15:00 +08:00

雅虎还活着？

zhengtu

2018-01-28 20:39:59 +08:00 via Android

雅虎日本和雅虎严格上说说是两家公司，最大股东是软银，2016 年雅虎被卖但是雅虎日本不受影响，楼上别秀了。

gnaggnoyil

2018-01-28 20:58:27 +08:00

我是不知道为什么总有人自我感觉良好觉得日本 IT 不如中国.难道是因为没用过 wandbox 吗……向 JTC1/SC22/WG21 灌水日本人一抓一大把,National Body 里也赫然列着一个 JP.而另一方面作为对比唯一一个在那里扔 paper 的国人还不知道现在是否已经是国籍意义上的跑路了,至于 NB?不存在的.png

zongua

2018-01-28 21:05:45 +08:00 via iPhone

其他的不知道，界面上看起来还是上个世纪的样子。

neoblackcap

2018-01-29 10:38:28 +08:00

@gnaggnoyil 在工程方面，日本根本没有像中国这样的市场，分布式系统等方面根本没法达到中国这样的规模。需求驱动技术发展很正常的事情。拿一个细分领域以偏概全，我觉得过了。如果 JTC1 能代表日本的 IT 水平，那么天猫双 11，春运 12306 的抢票也能代表中国的水平

就文章日本雅虎 CTO 所说的

起床，眼前看到科幻电影中的虚拟化屏幕，显示新闻，天气，距离电车发车的时间；
早餐，打开冰箱看到的是各种食物的营养分配，是否过期等，并给出最佳建议；
出发，骑自行车到车站有导航屏实施指示;
坐公交，看车窗就可以看新闻，看美食推荐，用手一划就拿到眼前呈现，人们看新闻都是只需要伸出手而已；
距离会议时间还有几分会及时提示，买咖啡时和老板隔空对话，眼前只需要展开虚拟屏幕，随即关闭；
人们看新闻，看电车时刻表，看股价，到超市购物，虚拟屏幕无处不在，时刻给出最佳方案；
晚上看电视时，即时和父母通视频电话等。

你看看到底那几条在中国不能通过一个智能手机实现了。本来在中国习以为常的事情，在日本还要特意说 10 年后愿景跟使命，这不显示中国的 IT 这方面领先日本吗？

gnaggnoyil

2018-01-29 20:29:13 +08:00

@neoblackcap 我所反驳的恰恰是网上很多用国内 web 服务的规模来"以偏概全"地论证国内 IT 水平地观点.毕竟 JTC1/SC22/WG21 的国籍分布还是能反映出一些事情的:国内 IT 界对于基础设施的重视程度很难说足够,对于"把业务需求归纳成一个个技术上的问题","分析这些问题的本质是什么"这一点很难提供足够的驱动力.很多 web 企业说难听的就是靠各种非市场竞争的手段霸占广大用户之后纯粹靠规模过日子,没了国内市场自己几乎没有多少价值.

更何况真要论市场中国未必就大:如果一个人穷到没钱花那他怎么可能成为消费者.而要论国民收入,在总量上中国就算又优势也未必比日本大多少.毕竟日本好歹还是全球数二数三的发达国家,人均国民收入是中国的好几倍,论人口总量一亿也不是少数.如果说日本在 web 服务上的市场没有中国大的话,可能人家只是没有点出这个技能点的需求呢?

neoblackcap

2018-01-29 22:10:31 +08:00

@gnaggnoyil web 服务规模庞大后面可是代表软件工程的成功，要不然那系统早跨了。至于你说的 JTC1 之类，是 PLT 类别吧，这个我不懂。不过我是知道国内有很多图形学的牛人，比如 MSRA 里面就有一大群，而且你举一个 CS 方面，那么我也可以举 SOSP 2017 的年度论文，大可以上去看有多少中国人的名字。
日本的 web 服务多少人吐槽了，而且只是没有点出这个技能点的需求就能说明日本的 IT 水平高于中国？不见得吧。你总是举例 C++委员会，你好歹也举一下史克威尔艾利克斯在图形学方面的贡献。PLT 又不是能吊打全 CS 领域。
至于你说只是单纯霸占市场靠规模吃饭，你觉得能稳定地向一个全球最大市场提供服务是靠政策，非技术手段？就以腾讯为例，腾讯的 IM 可以说是做到了全球第一了。其他的 IM 都不如它，没有它那么多的功能，通讯稳定。而且国内的基础服务不开源就算了，现在上 github 搜一下都能看到不少 BAT 开源的基础组件，大家都在用的 openresty 就是其中一个例子。
而且是多么天真的人才会觉得中国的互联网市场不大。中国市场真是跟日本差不多，那腾讯能成为世界盈利最多的游戏公司？ SONY 跟任天堂加起来都不如腾讯。
中国的互联网可是跟美国看起的，不管是资本，人才，市场。搞 IT 的多少是从美国 CS 名校毕业，从 FLAG 里面出来的。吹吹美国互联网企业就好了，日本吹也该吹吹富士通之类对公的公司，说他们对 postgresql 有深入了解。日本互联网跟中国互联网比，我看啊，迟早日本都满大街是微信支付，支付宝支付。日本人连个 iPhone 能绑定西瓜卡都惊讶不已，你觉得在国内能用手机坐地铁公交会让人很惊讶吗？

综上所述，日本互联网在学术，工程，业务都我都没看到有碾压中国的方面。
PS: 中国的互联网是瘸腿的啊（ CS 实在有缺，不过也看跟谁比），不过这个也只能慢慢补了，毕竟美国人在普及电脑的时候，我们还在挨饿，2000 年的时候一个家庭有一台电脑都是超级了不起的。