V2EX diyer22
 diyer22 最近的时间轴更新
diyer22

diyer22

有很多想法,希望做点不一样的事情。
  阶跃星辰(LLM初创公司) / 算法
V2EX 第 173942 号会员,加入于 2016-05-20 16:02:49 +08:00
今日活跃度排名 3377
diyer22 最近回复了
@Simon95
- 我觉得 DDN 的情况可能是第一层重建效果会比较差(非常模糊),随着层数增加才会变得清晰。
- 虽然 DDN 是在样本空间做的采样和 “残差”,但 DDN 也可以像 latent diffusion 一样在 latent 空间做生成。(这时候的生成样本就成了 AutoEncoder 的 latent )
- 训练效率还可以,中文博客的 “附录的 Q1” 有论述。目前 DDN 的最大问题还是 latent 空间不够大,需要改进自身(方案见中文博客的“不足和改进”)或者和 GPT 结合来分段建模,缩小空间
- 欢迎尝试,遇到问题了随时提 issue ,发邮件~
@TQQQ 我觉得 DDN 是具备处理 TTS 任务的能力,因为在文字条件的约束下,生成空间被大幅缩小。
建议再搭配一个自回归模型( GPT ),以获得更强的建模能力。比如把 GPT 的分类 head 换为 DDN ,应该能 work 。
@halberd 感谢欣赏~
别忘了,主干 feature 会贯穿 DDN 的每一层。也就是说,每一层的计算和特征还会为最后一层的 output 负责,而不仅仅是专门为了某一层切分成 K 小块而服务。
@Simon95 DDN 和 VQ-VAE ( RVQ ) 明显不同。
相似之处:
- 两者都把数据映射到离散的潜空间。
区别:
- VQ-VAE 需要额外的先验模型(如 PixelCNN 或 transformer 先验)来建模码本的分布; DDN 自己就能构建层次离散分布,甚至可作为类似 VQ-VAE 系统的先验模型。
- DDN 的 K 个输出是随输入变化的特征; VQ-VAE 的码本是一组与输入无关、固定不变的独立参数( embedding )。
- VQ-VAE 输出二维 code index 网格 latent ; DDN 输出一维/树状结构的 latent 。
- VQ-VAE 需要 Straight-Through 梯度估计器。
- DDN 支持零样本条件生成。
因此,我认为它们挺互补的。(参见论文中的“Connections to VQ-VAE”部分。)

---

我对 VQ-VAE 不是很了解,在我看来 VQ-VAE codebook collapse 应该有很多方法能缓解,比如和 DDN 论文中 Split-and-Prune 类似的 reiniialization 的方案。(也在“Connections to VQ-VAE”部分。)
@JoeJoeJoe DDN 的形式上和 k-means 比较相似,且都支持无监督聚类。但他们不同点有:算法作用(生成建模 VS 聚类)、优化目标、优化方式、DDN 的层次结构、DDN 的样本点是神经网络的 outputs 等。 所以,属于独立的两个算法。
2023-08-19 21:33:40 +08:00
回复了 diyer22 创建的主题 Linux add_service: 便捷添加 systemd 开机自启启动项的 CLI 工具
@julyclyde add_service 在 shell 命令和 service 文件要求的细节对齐上, 做了很多工作(if else + assert). 能避免绝大多数问题, 我知道的坑都有单独代码处理.
其可以支持开机自启运行 二进制/shell/Python/JS/TS 等脚本. 最关键的是有一个克隆环境变量的功能(--clone-envs), 能做到和当前 shell 一致的运行环境, 避免了很多环境变量不同的坑.
2023-08-18 23:30:50 +08:00
回复了 diyer22 创建的主题 Linux add_service: 便捷添加 systemd 开机自启启动项的 CLI 工具
@skyrim61 没有区别。 只是配置 service 来写启动项太繁琐了, 需要创建文件,修改 n 个配置参数,然后至少两个 systemctl 命令才能完成, 而且配置文件很多小细节没做好就得 debug+重新修改。

所以我开发了小工具 add_service , 一行命令就可以无脑完成 service + 设置启动项,非常方便。
2023-08-18 14:21:36 +08:00
回复了 diyer22 创建的主题 Linux add_service: 便捷添加 systemd 开机自启启动项的 CLI 工具
@julyclyde 的确很低频. 但一个是 systemd 太复杂, 繁琐了, 二是我工作上经常要配置新电脑, 用到的频率偏高一些. 所以就写了这个工具, 希望对有类似需求的人有用吧.
2023-08-18 11:53:06 +08:00
回复了 diyer22 创建的主题 Linux add_service: 便捷添加 systemd 开机自启启动项的 CLI 工具
@cheng6563 哈哈哈, 命令打错这种事情太常见了. 所以开发的时候也考虑了这方面. add_service 纯粹就是自动化地按照人们的预期创建 service 文件和执行 systemctl 命令.
且为了透明性, add_service 会在 terminal 上 log 出它要做的全部操作(可以在项目主页看到详细 log). 做错了很方便根据 log 删除对应的文件, 也可以一行删除 `add_service --rm service_name`.
2023-08-18 11:41:36 +08:00
回复了 diyer22 创建的主题 Linux add_service: 便捷添加 systemd 开机自启启动项的 CLI 工具
@ExplodingFKL 目前不支持, 感受了一下 systemd/User, 没有太明白其应用场景; add_service 主要的目的是便捷地添加 systemd 开机自启启动项, 所以不宜变得复杂, 保持简洁为好.
关于     帮助文档     自助推广系统     博客     API     FAQ     Solana     888 人在线   最高记录 6679       Select Language
创意工作者们的社区
World is powered by solitude
VERSION: 3.9.8.5 16ms UTC 22:16 PVG 06:16 LAX 15:16 JFK 18:16
Do have faith in what you're doing.
ubao msn snddm index pchome yahoo rakuten mypaper meadowduck bidyahoo youbao zxmzxm asda bnvcg cvbfg dfscv mmhjk xxddc yybgb zznbn ccubao uaitu acv GXCV ET GDG YH FG BCVB FJFH CBRE CBC GDG ET54 WRWR RWER WREW WRWER RWER SDG EW SF DSFSF fbbs ubao fhd dfg ewr dg df ewwr ewwr et ruyut utut dfg fgd gdfgt etg dfgt dfgd ert4 gd fgg wr 235 wer3 we vsdf sdf gdf ert xcv sdf rwer hfd dfg cvb rwf afb dfh jgh bmn lgh rty gfds cxv xcv xcs vdas fdf fgd cv sdf tert sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf shasha9178 shasha9178 shasha9178 shasha9178 shasha9178 liflif2 liflif2 liflif2 liflif2 liflif2 liblib3 liblib3 liblib3 liblib3 liblib3 zhazha444 zhazha444 zhazha444 zhazha444 zhazha444 dende5 dende denden denden2 denden21 fenfen9 fenf619 fen619 fenfe9 fe619 sdf sdf sdf sdf sdf zhazh90 zhazh0 zhaa50 zha90 zh590 zho zhoz zhozh zhozho zhozho2 lislis lls95 lili95 lils5 liss9 sdf0ty987 sdft876 sdft9876 sdf09876 sd0t9876 sdf0ty98 sdf0976 sdf0ty986 sdf0ty96 sdf0t76 sdf0876 df0ty98 sf0t876 sd0ty76 sdy76 sdf76 sdf0t76 sdf0ty9 sdf0ty98 sdf0ty987 sdf0ty98 sdf6676 sdf876 sd876 sd876 sdf6 sdf6 sdf9876 sdf0t sdf06 sdf0ty9776 sdf0ty9776 sdf0ty76 sdf8876 sdf0t sd6 sdf06 s688876 sd688 sdf86