使用 ELK 来可视化微信群聊记录

原文 偷懒省略了一些细节。有争议再解释讨论吧。

自从有了 itchat 这个神器之后，一直在考虑能做些什么东西。 先后做了发送撤回消息的 bot 和推荐 spotify 音乐的 bot，到头来，所有的聊天记录都静静地躺在我的 redis 里面，需要利用起来也十分麻烦。 于是最近，我突然想到，既然 ELK 能用来可视化 log，那何尝不能用来可视化一下微信的聊天记录呢。

需要的东西

1. ELK 全家桶。

2. Redis，用来通过在 itchat 中 pub，在 logstash 中 sub 来获取微信聊天内容。

3. Itchat。基于 web 微信的第三方 SDK。

Step by Step

首先自然需要写个 Itchat 的脚本来获取群消息。例子看文档已经足够。

接下来假设我们获取到一个类似

message = {"msg_from": "gyorou", "msg_content": "fuck the world"} 

的消息内容。我们需要把 message 传递给 logstash，再由 logstash 写入 elasticsearch。

我想到的方法是使用 Redis 的 pubsub 方法。

先把 message dump 成 string 的形式，交给 redis publish 出去。

import json import redis import itchat # 省略 redis = redis.client(...) message = json.dumps(message) redis.publish('wechat_message', message) 

为了接收 publish 的 message，logstash 应该有如下的输入配置。

input { redis { data_type => "channel" codec => "json" key => "wechat_message" } } 

注意点是需要codec => "json"这一项，因为，我们 publish 的是一个 string，我们要需要将其按照 json 的格式解析出来>里面的内容。

接下来，配置 logstash 的输出。

output { elasticsearch { index => "from_my_wechat" doucument_type => "chatlog" } } 

以上两项分别对应 elasticsearch 的 index 和 type。这样我们可以通过localhost:9200/from_my_wechat/chatlog的形式访 问和操作被索引的聊天内容。

最后打开 kibana，把我们的索引项目称from_my_wechat填进去就大功告成了。 随便点开图标一览，画两个图呗，比如统计一下谁特么发言最多这种。

To do

• 对中文的 field 需要进行分词。
• 对占用较大的无用 field 需要整理移除。

以上。