字节跳动人工智能实验室,即 ByteDance AI Lab,作为信息流行业的产品和服务提供商,率先部署了大规模的人工智能模型,并重新定义人类连接和共享信息的方式,即个性化。
北京字节跳动科技有限公司成立于2012年3月,ByteDance AI Lab成立于2016年。字节跳动人工智能实验室依托字节跳动的海量数据,专注于开发为字节跳动内容平台服务的创新技术,并将研究成果应用于今日头条的产品中,利用人工智能帮助内容的创作、分发、互动、管理。同时,实验室也将针对人工智能相关领域内长期性和开放性问题进行研究,帮助公司实现对未来发展的构想,促进人类信息与知识交流的效率与深度。
AI Lab不仅是公司内部的AI研究所,也是AI技术提供商与服务商,注重与高校和政府的合作,并强调人才培养的重要性。
ByteDance AI Lab https://ailab.bytedance.com/
字节跳动科技有限公司 https://bytedance.com/#home
人工智能实验室负责人:字节跳动副总裁、人工智能实验室负责人 马维英
内容提要:字节跳动AI Lab鼓励研究员直接参与到产品研发,利用丰富的应用场景、大量的数据和用户反馈推进科研和技术创新,即所谓的 Real Impact 。
五大战略
大数据:最好这家公司能够拥有全世界最大的数据资源,拥有数据才是“王道”;
应用场景:在字节跳动,研究人员每天都能够从公司的应场景中找到问题,并想要去解决;
算力:字节跳动的Internet Data Center在国内也是比较出众的;
AI需闭环:其实很多用户交互相当于递给了你一份大数据的,提供了更为细粒度的标注数据,而字节跳动每日全球活跃用户所提供的数据之海量,堪称一笔财富;
人才:最顶尖聪明的人才是非常关键的一点。不仅公司内部要有这样的人才,最好与之相关的学术界、产业界、社区都是顶级的人才。
利用人工智能帮助内容的创作、分发、互动、管理
AI时代下的4种管道(4种主要的方式分别是推荐、搜索、助理与社区/社交)连接人和信息,促进交流和创作。
新一代AI驱动信息平台,使得交流与创作方式更加智能。
AI Lab赋能产品、服务人类(短视频)。
人工智能实验室主任:字节跳动人工智能实验室总监 王长虎博士:
内容提要:计算机视觉技术除了在抖音上有广泛应用,还支撑着今日头条、火山小视频、西瓜视频。计算机视觉是抖音和今日头条很多产品的重要基石,希望更多老师和同学加入字节跳动公司。
ByteDance AI Lab 聚集了人工智能方面的最有才华的研究人员,推动着机器智能的极限。从理论研究,到产品部署,ByteDance AI Lab将他们的最佳创意融入各个研究领域。
ByteDance AI Lab的研究领域主要分为以下几个部分:
3.1 自然语言处理
研究内容:利用平台上,如头条、Topbuzz或News Republic上积累的语言内容,研究机器在试图理解数百种语言时出现的复杂问题。
所用技术:句法和语义分析,情感分析,文本分类,文本匹配和检索,文本摘要,对话系统,问答,机器翻译,自然语言生成,信息提取,语言和视觉。
应用:
? Byte Translator:为字节跳动所有产品提供翻译服务
? AI写稿机器人Xiaomingbot: 涉猎体育、金融、时事的新闻写作机器人
? 头条和Tiktok (抖音) 的搜索服务
3.2 计算机视觉
研究内容:自动化实现识别物体、跟踪运动中的动物或理解空间等;改善跨平台的用户体验;开发新的人机交互模式。
所用技术:视觉理解(分类,识别,检测,分割,摘要,字幕,VQA), 内容创建,图像和视频搜索,图像和视频消重,可视化平台,视频推荐,3D视觉/3D重建,即时定位与地图构建。
应用:
? 内容审核
? 短视频推荐系统
? 足球比赛理解
? 尬舞机
3.3 机器学习
研究内容:将机器学习应用于全面推荐系统,为跨平台的数十亿个请求提供个性化新闻、视频和其他类型的媒体。
所用技术:大规模优化,概率图形模型和贝叶斯方法,深度学习,强化学习,推荐系统,非参数模型,时间序列模型,半监督学习,对抗性学习。
3.4 数据挖掘
研究内容:数据挖掘可以提高浏览大量用户生成的数据和发现模式的方法,基于此可以深入了解如何更好地使用平台,以及如何改进。
所用技术:社交网络分析,图形挖掘,时间序列分析,数据可视化,异常检测,推荐系统,多媒体挖掘。
3.5 计算机图形&增强现实
研究内容:通过计算机图形来增强现实世界,创建未来最具沉浸感的体验。
3.6 系统&网络
研究内容:研发高可用性、高效率和畅销的系统,为数亿月活用户随时随地提供最相关的信息。
所用技术:机器学习系统,CPU / GPU / FPGA / ASIC 集成系统,云/边缘计算,数据中心网络,分布式网络存储,通过软件自动化实现高可用性系统,推荐系统,内容理解的系统支持。
应用:
? 机器学习培训
? 机器学习推理
? 云计算
3.7 安全&隐私
研究内容:过滤垃圾邮件、敏感和不适当内容、假新闻以及任何可能对社会影响有害的东西,保证在线社区的安全。
3.8 语音与音频
研究内容:处理语音理解、音乐和音频的核心问题,并提供能够模仿各种声音的强力工具。
所用技术:音频事件检测,语音识别,语音合成,音频指纹,音乐检索和生成。
应用:
? AI辅助呼叫中心
? 虚拟广播员和歌手
? 具有语音功能的机器人和设备
4.1 开放API:Byted Effect 2.0
2.0推出更多功能,可对人脸/人体/手指进行精准检测,为中小企业提供多种移动端特效支持。同时Byted Effect 2.0 中所有能力均已接入抖音、Faceu等多个app使用。
https://ailab.bytedance.com/sdk2
4.2 APP(抖音、西瓜视频等)特效
短视频已经成为一种在世界范围内最受欢迎的信息生产与消费形式。尤其大量的年轻一代喜欢用短视频来表达他们自己,分享他们的故事和经验,与他们的亲人朋友交流。
特别是计算机视觉、智能语音赋予了每个人更强的创作能力。字节跳动旗下短视频产品的代表抖音也风靡全球今年一季度,抖音下载量超越Facebook、Youtube、Instagram等,成为全球下载量最高的iPhone应用。
内含技术:视频的搜索需要对视频的内容有更好的理解,包括动作的理解、物体的检测跟踪,还有视频里的环境识别。
通过人脸识别还有关键点的检测,我们可以做出很多创意滤镜和特效,这些也是抖音制胜的关键原因之一。
滤镜
4.3 视频和图片审核、推荐
抖音是一个开放共享的平台,内容审核方面的挑战是非常大的。字节跳动一直用人工智能辅助审核,过滤理解这些视频内容,进行版权识别。
字节跳动人工智能实验室虽然涉及到多方面人工智能领域,但是在应用方面主要是在自然语言处理与计算机视觉方面,大概是因为主要要围绕今日头条,抖音和西瓜视频进行产品算法的研究。