求教 Django（DRF）日志最佳实践

我也想知道, 我想写个日志中间件的, 但是感觉自己写的不会太好...

django log 到一个文件里，然后用系统的 logrotate 来按天分割

loguru

logging.handlers.TimedRotatingFileHandler

@TimePPT 感谢

@zzzmj gunicorn 启动多个 worker 会有 bug

openstack/oslo.log 你值得拥有

@tinypig

代码里没写接信号重新打开 fd 尽量不要直接用 logrotate 分割
人家 nginx 是收了信号的

@PowerRocker
1.py 自带的 log 不是多线程安全的，所以需要用一个文件锁来控制并发丢日志问题
2.log 库切割不是定时任务，而是每次 log 的时候判断下是否达到了切割时机
3.log 整体压缩的 shell 脚本需要与 log 切割的时间点错开，这里涉及到一个文件描述符的占用问题，建议压缩时间延后

一点经验

https://github.com/tmacjx/flask-quickstart/blob/master/common/log.py

这里的 MultiProcessTimedRotatingFileHandler 可以参考下，只能按天切割
没支持按大小切割，当日志量比较大的话，grep 很慢，这是个坑。。。

@tmackan 谢谢大佬，看了下你的项目，和你使用的方法一样，不知大佬有没有一些 Django 相关的开源项目对日志这一块处理的比较好的

自己写一个 logserver 然后日志统一用 server 来打 这个应该写成一个公共组件了 多进程也没问题

linux 下可以用 pyinotify 监控 IN_MOVED_FROM 和 IN_DELETE

监控到事件以后重新打开文件

这样可以用 logrotate 灵活配置

可以参考 oslo_log.watchers.FastWatchedFileHandler

supervisor 将日志重定向？

https://channels.readthedocs.io/en/stable/deploying.html

[fcgi-program:asgi]
# TCP socket used by Nginx backend upstream
socket=tcp://localhost:8000

# Directory where your site's project files are located
directory=/my/app/path

# Each process needs to have a separate socket file, so we use process_num
# Make sure to update "mysite.asgi" to match your project name
command=daphne -u /run/daphne/daphne%(process_num)d.sock --fd 0 --access-log - --proxy-headers mysite.asgi:application

# Number of processes to startup, roughly the number of CPUs you have
numprocs=4

# Give each process a unique name so they can be told apart
process_name=asgi%(process_num)d

# Automatically start and recover processes
autostart=true
autorestart=true

# Choose where you want your log to go
stdout_logfile=/your/log/asgi.log
redirect_stderr=true

熟悉 django 的话那么就选 sentry?

settings 里配置 log 就可以按天啊

logrotate,按天或者按文件大小分隔，记得 logrotate 在配置时加上 usr1 信号发给 gunicorn，让 gunicorn 重载日志就可以了。完美解决多 worker 日志压缩错误的问题。

题主说法不准确，python 自带的 logging 是线程安全的，多线程环境下按时间和大小滚动没问题，但是多进程不安全，而 gunicorn 是多进程，方案的话。有说让操作系统切割，有说开启 socket server 但是存在网络问题会不会丢日志，sentry 是记录错误日志的，或者 elk 一把梭，还有就是有一个 multiprocesing log 库，用的文件锁还是什么不清楚，还有 logru 这个库，还有人重写 handler 什么的，各有各的写法，换 go 吧，伤心了

@aladdindingding
@lolizeppelin
@encro
@zachlhb
@614457662
@johnsona
感谢各位大佬，目前也是重写了 handler，整体问题不大，就是一直想知道有没有什么最佳实践，想找些开源项目多学习学习

@johnsona 说的有道理，的确是进程不安全，log 这块有使用 threadlock，所以是多线程安全

@PowerRocker 我也想，linux 自带的 logrotate 不知道怎么解决 gunicorn 的日志问题，openstck 的 oslo 我也是看这个帖子才知道，说不定可以

1. python 代码里面只用 logging.StreamHandler()，
2. supervisor 启动 django，同时配置 stdout_logfile=/log/log.log redirect_stderr=true,
3. logrotate 按天分割 /log/log.log 文件