在近期的一项研究中,斯坦福大学的一个研究小组提出了时间控制 ,这种语言模型通过潜在的随机过程进行隐式计划,并生成与该潜在计划一致的文本,以提高长文本生成的性能。咱们一同来了解一下其中的文本生成:
文本生成是自然语言处理中一个重要的研究领域,具有广阔的应用前景。国内外已经有诸如Automated Insights、Narrative Science以及“小南”机器人和“小明”机器人等文本生成系统投入使用。这些系统根据格式化数据或自然语言文本生成新闻、财报或者其他解释性文本。
AMiner为您准备了论文合集,点击链接查看叭:- 必读论文 - AMiner
以下是从中整理的部分优质论文:
“咱们提出了新颖的基于自我注意的架构,以提高文本生成中对抗性潜在代码方案的性能......在中,咱们采取了一个步骤来强化这些设置中使用的架构,特别是AAE和ARAE。咱们对两种基于对抗性设置的潜在代码方法进行了基准测试......实验表明,所提出的基于注意力的模型在基于对抗性代码的文本生成中优于最先进的模型......”
“在中,咱们提出了一个使用生成对抗网生成逼真的文本的模型......咱们提出了VGAN模型,其中生成模型由递归神经网络和VAE组成。判别模型是一个卷积神经网络。咱们通过策略梯度训练模型。咱们将所提出的模型应用于文本生成任务,并将其与其他最近的基于神经网络的模型进行比较,例如递归神经网络语言模型和Seq-GAN......”
“在这项工作中,咱们解决了修改句子文本属性的问题。给定一个输入句子和一组属性标签,咱们尝试生成与条件信息兼容的句子。为了确保模型生成内容兼容的句子,咱们引入了一个重建损失,该损失在自动编码和反向翻译损失分量之间进行插值......”
“描述了一个已实现的系统,该系统使用居中理论来规划连贯的文本和引用表达式的选择。咱们认为,文本和句子规划需要部分由保持指称连续性的目标驱动,从而促进代词的解决:获得从句和子句内参数的有利排序,可能会增加使用无歧义代词的机会......”
“咱们描述了一种从“关键字”或“标题词”生成句子的方法。该方法由两个主要部分组成,候选文本构造和评估......该模型不仅考虑单词 n-gram 信息,还考虑单词之间的依赖关系信息。此外,它还考虑了字符串信息和形态信息......”