现在新项目的微服务分离日志系统应该怎么设计？

携程用的 log4j 后面 套的是 es ，你可以考虑试试

clickhouse 忘记说了

轻量级 ,使用 loki 全家桶
新的可以考虑 opentelemetry

日志分为写和读两个步骤，这两个步骤完全是分离的。日常开发还是写入到文件，存储到磁盘，说白了日志就是一个文本文件，在写的阶段什么顺手用什么。

日志的处理就比较庞大了，包括收集日志文件、存储、索引和查询，每一个步骤都有很多开源的选择，这部分更偏向于运维，跟开发关系就不大了。

默认的 log 库大差不差，往本地磁盘上写。
然后 filebeat/fluented/vector 等 log collector 收集起来发送走。
如果是 k8s 还分 sidecar/deamonset 两种主流的 log collector pattern 。

datasource 老牌的就 elasticsearch 一把梭。新玩法是 loki ，clickhouse 。


对于你个人项目， 如果查询需求很低。
就简单一点 vector 收集日志，扔到 对象存储。需要查的时候 mount 一个 goofys grep 就好。
扔日志到对象存储时候设置一个基于时间的 prefix 就好。

我们现在的都是直接打控制台（ spring-bot-starter-logging ），因为服务在 pod 里，k8s 里跑一套 loki + minio + grafana ，loki 从 pod 的控制台输出直接采集了

既然是个人项目，直接打文件，按天滚动，grep awk 一把梭
最多上个 loki

ELK

可以走 elk 那一套，这一套有单机版本 并且可以后期切换。
单机版本的比如 sonic 。 已经可以支持 tb 级别了，等到后面超过 10tb 了，这种明显可以迁移了

@luozic https://github.com/valeriansaliou/sonic

如果你的微服务能在 k8s 上，不需要任何日志库，直接往 stdout 和 stderr 扔就行了，然后用第三方的日志解决方案，比如 elk stack 和 grafana loki ，除非你的数据量真的高到惊人了，不然不需要 kafka ，elk 或者 loki 已经够用了

最近用了 loki ，挺不错的

我提一个可能会被遗漏的细节，微服务环境里做日志，一定要有全链路的 trace 信息，不然出了问题也很难还原出错的场景。

前面有人讲了读写分离，写基本都是本地，然后通过后台 daemon 定期汇总到日志服务器上。

原始日志汇总存储之后，建议再定期根据 trace 重新组织一下（比如数据库视图，或者直接用文档类型存储）以方便查询。一般来说，日志信息往往会比生产数据的容量还大，如果用到了再去查可能会很慢。

小项目推荐 loki ，非常省资源

loki 够用