家里 homelab 的虚拟机上跑着 win ,目前是 cmd console 运行着 while true 炼丹,
日志和状态观看,全靠 rdp 远程桌面过去看,
日志的显示,全靠 logging 或者 print 输出到 console ,
请教一下大家,
有没有多种方法组合成方案实现,或者现成轮子可以把这些日志, C/S ,B/S 放出来远程浏览?
只看最近的 500 条就可以了,
看的人,只有我一个。
1 julyclyde 2022-09-27 10:44:55 +08:00 试试标准库 logging 里边的 syslog handler |
2 xiao109 2022-09-27 10:49:35 +08:00 ![]() 给他来一套 ELK |
3 zhuweiyou 2022-09-27 10:51:52 +08:00 pm2 monitor web 界面可以看内存 CPU LOG 啥的... |
![]() | 4 Kinnice 2022-09-27 10:53:12 +08:00 ![]() only python 即可 1. 把你的日志输出到一个 log 文件 2. 开一个 python 读这个 log ,每 X 行或 X 分钟,自动把新增内容推到钉钉机器人 /其他 push 服务。 |
![]() | 5 sujin190 2022-09-27 10:55:38 +08:00 搞个 jenkins 之类的 job 管理器呗,然后把你这个炼丹啥的放到里边去运行就好了吧,运行状态和日志都可以看了 |
![]() | 6 Vegetable 2022-09-27 11:03:28 +08:00 supervisor 完美实现你的需求,捕获标准输出、远程控制台 tail log ,尴尬的是这玩意只支持 Unix 系统 |
![]() | 7 sidegem 2022-09-27 11:05:14 +08:00 直接把日志文件用 nginx 转发出来看 |
8 liuxingdeyu 2022-09-27 11:07:38 +08:00 ![]() loguru 加一个 handler ,handler 里面往丁丁飞书推就 OK 了 |
![]() | 9 ipwx 2022-09-27 11:07:52 +08:00 |
10 aikdong 2022-09-27 11:14:13 +08:00 有个 tailon 工具可以试试 |
![]() | 11 caqiko 2022-09-27 11:34:17 +08:00 |
13 zhoujinjing09 2022-09-27 11:57:34 +08:00 logging 本身就有 httphandler |
![]() | 14 starrys 2022-09-27 12:08:03 +08:00 |
![]() | 15 vopin 2022-09-27 12:13:04 +08:00 via iPhone 单纯炼丹有很多 monitor 工具吧,我喜欢 wandb |
16 subjadeites 2022-09-27 12:14:01 +08:00 via Android flask 写几十行代码启个 web 服务就行。。。写个方法读文件最后几百行 |
![]() | 18 killva4624 2022-09-27 13:17:59 +08:00 Loki |
![]() | 20 Vegetable 2022-09-27 14:16:40 +08:00 @ipwx 之前一个搞算法的同事就不太懂这个,部署 FATE 结果没处理 FATE 自带的 jupyter notebook ,公司服务器被人挖了一个礼拜矿 |
![]() | 22 ipwx 2022-09-27 14:29:13 +08:00 @Vegetable 首先网络安全大部分东西就不该是算法工程师考虑的问题。算法工程师就该考虑什么工具做实验最快。显然 Jupyter Notebook 最快。 VPN 接入应该是提供远程访问的公司最基础的设施。如果没有,那就应该全面禁止远程访问。我不能理解,随便谁都能暴露一个随便什么服务给公网的这种操作。。。 |
23 lmshl 2022-09-27 15:16:57 +08:00 以前用过一个远程日志服务,叫 https://www.papertrail.com/ ,日质量不大的时候可以托管着用。 如果量大的话就应该考虑 ELK 那种托管日志方案了,比如丢给七牛日志平台或者阿里云 |
![]() | 24 SenLief 2022-09-27 16:17:42 +08:00 via iPhone 不放在浏览器,而是用 email 发给自己如何? 你是自己看的日志,应该用 email 发给自己看应该可以,notifiers 库。 |
25 mijazz 2022-09-27 16:51:36 +08:00 [logging handler - Python]( https://docs.python.org/3/library/logging.handlers.html) Python 的 `logging` 有`HTTPHandler` 或者 `SMTPHandler` 按需求自己补上点缝到项目里就差不多了 |
![]() | 26 vZexc0m 2022-09-27 17:15:37 +08:00 建议上一套 EFK |
![]() | 27 xuelu520 2022-09-27 17:50:15 +08:00 日志写文件,然后套 ELK 或 EFK 呗。都是有现成的东西,轮子都不用写 |
28 tfdetang 2022-09-27 19:38:12 +08:00 其实你需要的不是 看日志,需要的是记录 ML 过程? 那难道不可以 tensorboard 吗? 或者我个人更推荐 MLflow ,基本不需要侵入太多代码,就可以把所有炼丹的过程与结果放到一个集中的平台去管理; 除了可以远程看日志,还顺带把模型版本什么的都管理起来了 |