AI趋势周报第223期:创作影片更简单了,ShortGPT用AI自动化编辑和配音合成工作

ShortGPT影片自动化处理框架强大,涵盖脚本撰写、影片编辑、配音合成和画面资源管理;Line与Yahoo日本也拥抱OpenAI API服务了;Salesforce打造日志分析函式库LogAI并开源;哪个LLM表现最好? Chatbot Arena线上工具让你测试还排名

ShortGPT

重点新闻(0721~0727)

影片创作     ShorGPT     配音合成  

创作影片更简单了,ShortGPT用AI自动化影片编辑工作

最近,GitHub上出现一款强大的AI框架ShortGPT,能用来简化影片创作工作,包括配音合成、影片编辑、撰写脚本等,来提高自动化程度。进一步来说,ShortGPT有一套以LLM为导向的影片编辑语言,来驱动整个自动化编辑框架。而且,这个语言将编辑流程拆解为可管理和可自定义的区块,让大型语言模型更容易理解流程意义,也因此让ShortGPT能为各种编辑流程,生成提示和脚本,来加速自动化编辑,并提供立即可用的资源给创作者。

不只如此,ShortGPT还提供多种语言的合成配音,目前支援英语、西班牙语、阿拉伯语、法语、德语、义大利语、葡萄牙语和波兰语,尚未有中文。此外,ShortGPT还能生成影片字幕,并具备影片资源管理功能,能透过Pexels API来从网路寻找图像和影片画面。最後,ShortGPT还应用轻量级资料库TinyDB来确保自动编辑变数的一致性,能记住使用者偏好和设定。现在,使用者可在Google写作开发平台Colab上执行ShortGPT。ShortGPT颇受欢迎,目前开源2周,已累积了2,700多颗星星。(详全文)

 

 

  Line     Yahoo日本     OpenAI  

Line与Yahoo日本也拥抱OpenAI API服务了

近日,由韩国Naver集团和日本软银集团合资成立的子公司Z控股,与OpenAI签订企业协定,来让Z控股旗下员工能使用OpenAI所有API服务,包括大型语言模型GPT-4、GPT-3.5、GPT-3,文生图模型DALLE·E,语音转文字模型Whisper,用来判断文字敏感度的Moderation,以及衡量字符串相关性的Embeddings等。也就是说,包含Line集团、Yahoo日本在内的2万多名员工都能使用这些API,用来优化内部作业流程。比如,这些API可用来快速建立文档和电子邮件模板、能修改草稿、研究、文字内容分类、翻译和新点子建议等。Line集团和Yahoo日本也会在各部门推广生成式AI应用,来提高生产力和服务品质,并发想新服务。

为因应AI技术进展,Z控股也做了不少相应措施。比如今年6月,Z控股成立生成式AI应用促进办公室,由63位来自Z控股、Line和Yahoo日本等成员组成,来讨论相关应用。今年3月,Z控股还制定了生成式AI使用指南,来规范和促进生成式AI的使用,而且自2021年6月起,他们也与外部专家进行一系列AI伦理专家讨论,来制定服务安全政策和使用者自愿使用AI的规则,更在去年7月制定了《Z控股集团AI伦理基本方针》,作为安全使用AI并保障用户隐私的策略。

不只是制定规则,Z控股内部也开始应用生成式AI,比如Yahoo日本营运的餐厅订位服务PayPay Gourmet,在今年7月就使用OpenAI的ChatGPT外挂,来让使用者用说的,就能找到想要的餐厅并订位。(详全文)

  LLM    Chatbot Arena       GPT-4  

哪个LLM表现最好? Chatbot Arena线上工具让你测试还排名

由加州大学伯克莱分校和CMU学生成立的大模型系统组织(LMSYS Org)开发一款线上工具Chatbot Arena,能让使用者同时测试2款大型语言模型,只要输入问题,2款模型就会同步即时回答,再由使用者评估2者表现,如谁表现好、平手或都不好,再进行下一轮测试。

Chatbot Arena收录了16款开源和闭源模型,采随机方式让使用者测试,评分後才揭露模型名称。该工具用Elo指标来对模型排名,特别的是,Elo没有最高或最低分数,而是比对手多得100分的模型,预计会赢得64%的比赛,比对手多得200分的模型预计会赢得76%的比赛。目前,Chatbot Arena排行榜第一名是GPT-4,其次是Claude-v1、GPT-3.5-turbo,以及用ChatGPT对话资料微调LLaMA而成的Vicuna-33B与13B版本。(详全文)

  GitHub     LogAI     日志分析  

Salesforce打造日志分析函式库LogAI并开源

CRM龙头厂商Salesforce最近打造一款日志(Log)分析函式库LogAI,可用来处理电脑系统产生的原始日志,还支援日志分群、摘要等分析任务,以及日志异常侦测与根因分析(Root-cause)等智慧任务。而且,LogAI采用OpenTelemetry日志资料模型,能兼容不同日志管理平台的格式,并提供视觉化的GUI介面。此外,LogAI还为热门的统计、时间序列和深度学习模型提供统一的模型介面,可轻松对日志异常侦测的深度学习算法进行基准测试。

一般来说,电脑系统产生的日志,可帮助开发者了解系统行为、找出问题,但传统的日志分析通常仰赖人工手动进行,借助AI则能加速这个过程。於是,团队打造LogAI,由LogAI核心函式库和LogAI GUI组成,LogAI GUI可让使用者连接到核心函式库中的日志分析应用程式,并透过GUI互动介面来可视化分析结果。(详全文)

  微软     安全     OpenAI  

OpenAI、微软和Google等7大AI巨头向白宫承诺将维护AI安全

日前,美国7大AI龙头承诺白宫,将对AI风险做出安全控管。这些业者包括OpenAI、微软、Amazon、Google、Meta、Anthropic和Inflection,他们将推动安全、可靠和透明的AI技术发展,比如在AI系统释出前,进行内外部安全测试,以及愿意与该产业、政府、社会和学术界分享AI管理资讯。此外,他们也将投资网路安全和内部威胁防护机制,以保护私有及未发表的模型权重,另外也将与第三方合作,来找出AI系统漏洞。

另一方面,为提高民众信任,这些企业也将打造可标记AI生成内容的技术,像是浮水印系统,也会公开对外说明其AI系统的能力、限制,以及适用和不适用的领域。他们也会针对AI系统可能带来的社会风险展开研究,诸如避免有害的偏见与歧视,同时保护隐私,并将发展、部署可协助解决社会关键挑战的先进AI系统,如预防癌症、减缓气候变迁。同时,美国也与国际合作,要建立一个国际框架,来管理AI的开发与使用,目前已与澳洲、加拿大、巴西、德国、印度、新加坡、韩国等逾20国就自愿承诺进行协商。(详全文)

  艾伦研究所     大脑地图     AWS  

艾伦研究所要打造人类大脑地图,还要用生成式AI找洞察

艾伦研究所(Allen Institute)在美国国立卫生研究院(NIH)的资助下,用AWS平台技术打造一套脑知识平台,来绘制人类大脑地图,要找出阿兹海默症和帕金森氏症等神经疾病的成因,并进一步找出最佳疗法。

艾伦研究所启动为期5年的人脑地图绘制专案,联手全球17家研究机构的神经科学研究员,在脑知识平台上绘制一张全新、完整且精确到单个细胞的脑部地图。团队计画用Amazon SageMaker机器学习平台来管理资料,未来也会部署生成式AI,来将庞大、复杂、多模态的资料转化为洞察。同时,艾伦研究所资料暨技术主管Shoaib Mufti还会带领团队,与AWS一起用脑部地图建立全球最大的脑细胞开源资料库,将成为人类首次针对哺乳动物大脑结构和功能进行汇编、标准化的大规模资料集。(详全文)

  中国附医     病历纪录     生成式AI  

口述10秒就完成病历记录,中国附医推医疗生成式AI系统

中国附医采用微软生成式AI服务,开发出智海系统(gHi system),是首套以华文建立的生成式语音智慧医疗系统,能根据医护口述,快速转换为文字,来完成病历的撰写,减少医护人员输入病历75%的时间,让医护人员更专注於患者照护。

进一步来说,传统手写或键盘输入病历资讯,不只耗时,还容易出错。为克服语音转文字的准确度,中国附医AI中心找来微软,利用微软Azure平台上语音转文字服务,辨识口述内容,再用同平台提供的GPT-4模型,来摘要、分析,提取关键资讯,10秒就能自动生成专业医疗术语和建议。中国附医指出,该应用可用於新病人面谈问诊、护理语音记录、住院病历撰写、专业检查报告输出,甚至还能客制化生成等,大幅缩短撰写医疗报告的时间。(详全文)

  生成式AI     AWS     BI  

AWS一口气推出7大生成式AI新功能

AWS最近在宣布推出7项生成式AI新功能,像是程式撰写助手Amazon CodeWhisperer与Amazon Glue整合、Amazon QuickSight新增生成式BI功能,以及智慧医疗新服务AWS HealthScribe等,要来降低使用门槛,让开发者和业务都能使用。比如,新功能之一的全托管基础模型服务Amazon Bedrock全面扩展,新添许多基础模型、模型供应商和代理功能,知名AI新创Stability AI、Cohere和Anthropic都加入,他们的热门语言模型Claude 2和最新版文生图模型包Stable Diffusion XL 1.0也都纳入Bedrock,来给使用者采用。

此外,Amazon EC2 P5执行个体正式可用了,来加速生成式AI和高效能运算应用,训练时间最多可从几天缩短到几小时,降低40%训练成本。其他新功能还有可用於Amazon OpenSearch Serverless的向量引擎,方便使用者整合资料;而写程式AI助理Amazon CodeWhisperer整合Amazon Glue,开发者可用英语编写特定任务。再来,Amazon QuickSight还新增生成式BI功能,帮助企业轻松找资料、发现并分享洞察。

同时,AWS推出的Amazon HealthScribe,医疗软体供应商可用来打造临床应用程式,像是用生成式AI来产出临床文件,节省医生时间。而且,医疗软体供应商还能利用单一个API,自动建立可靠的记录、提取关键讯息(如医学术语和药物),并根据医病对话建立摘要,然後将这些资料输入到电子病历系统。(详全文)

图片来源/RayVentura、Chatbot Arena、Salesforce、AWS、微软

  AI近期新闻 

1. 微软Teams企业版加入美妆用AI,让用户亮丽上镜头视讯

2. 微软正在测试Bing Chat执行於Chrome、Safari等浏览器

3. ChatGPT Android App即将开放下载

资料来源:iThome整理,2023年7月

红海pro怎么用

0 0 投票数
Article Rating
订阅评论
提醒
guest
0 Comments
最旧
最新 最多投票
内联反馈
查看所有评论
0
希望看到您的想法,请您发表评论x