Sentropy融资了1300万美元,用于开发检测网络滥用行为的人工智能工具

Sentropy是一家开发平台无关工具的初创公司,用于检测网络滥用行为。该公司的产品旨在解决社交媒体平台缺乏监管的问题。在社交媒体平台上,内容审核员只审核每天被标记的数百万起滥用案例中的一小部分。

Sentropy许多人曾是苹果、微软和Lattice的员工,同时也是Palantir公司的战略和运营负责人。该公司的多位创始人曾在被苹果公司收购的Lattice Data工作,该公司与美国国防高级研究计划局(DARPA)通过Memex项目合作打击人口贩卖。作为这项工作的一部分,他们研究了来自Craigslist、Backpage和暗网论坛的信号,比如通常与人口贩卖有关的语言,这激发了Sentropy的解决方案。

这是一个及时的启动。根据Pew研究中心的调查,每10个美国人中就有4个人经历过某种形式的网络骚扰。美国的37%互联网用户说,他们已经成为严重攻击的目标,包括性骚扰和跟踪,基于他们的性取向,宗教,种族,民族,性别身份,或残疾。

Sentropy的旗舰产品自去年6月以来一直在进行内测,提供API访问分类技术,并提供解决骚扰的建议。Sentropy Defend是一个基于浏览器的界面,支持端到端的审核工作流,而Sentropy Detect提供了识别滥用形式、发现行为趋势并做出审核决策的工具。

使用直观的工作流工具和“不断进化”的检测模型来维护和检测船,这些检测模型都是根据社区规范进行调整的。该平台监控网络上的新行为,并根据个人社区的指导方针和规范进行调整,目的是减少滥用并推动更深层次的参与。

简而言之,Sentropy说它可以识别基于共同身份或所属关系(包括性别、种族、国籍、性取向、宗教、政府、国家或政治团体)而针对人们的攻击、威胁或仇恨。通过观察非人性化的言论和其他粗俗用语,蔑视或厌恶的表达,以及暴力和排斥的呼吁,该平台旨在发现:

  • 侮辱——指的是针对一个人的身体特征(包括种族、性别、外貌)、智力、个性或行为。
  • 身体暴力的威胁——例如,表示要对一个人或一群人进行身体伤害(包括暴力性行为),鼓吹一个人或一群人的死亡,或鼓励另一个人进行自残或暴力。
  • 自残,比如提到想故意用割伤、烧伤等危险行为伤害自己的身体;威胁自杀或传达自杀意念;或建议他人如何自残或自杀。
  • 性侵犯,指的是针对某人的淫秽、色情图片和性语言,如威胁不希望发生的性行为。
  • 寻求复兴和实施意识形态的白人至上主义者,如白人种族优越、白人文化优越和怀旧、白人民族主义、优生学、西方传统性别角色、种族主义、恐同症、仇外、反犹太主义、否认大屠杀、犹太阴谋论,以及对阿道夫·希特勒的赞扬。

值得注意的是,半自动审核仍然是一个未解决的挑战。去年,研究人员发现,由谷歌和它的子公司Jigsaw开发的感知工具,经常把网上用非裔美国人方言写的评论归类为有害的。另一项研究显示,糟糕的语法和糟糕的拼写——比如“Ihateyou love”而不是“Ihateyou”——让人工智能和机器探测器更难发现有害内容。

甚至在滥用检测领域被认为是领导者的方法也引起了批评。纽约大学斯特恩商业和人权中心(Stern Center for Business and Human Rights)日前发布了一份措辞严厉的报告,该报告估计Facebook每天会犯大约30万次判断错误。

但总部位于帕洛阿尔托的Sentropy声称,它已经采取措施,通过“嵌入式偏见缓解”和“深度偏见”研究,将其系统中任何潜在的偏见最小化。例如,在私密测试期间,它追踪了新冠肺炎大流行最初几个月里反亚洲种族主义的增长速度,并对模型进行了调整,以考虑到网络上出现的新创造的种族主义词汇,如“清冷”、“上海颤抖”和“功夫流感”。(Sentropy发现,有100多种辱骂语言是针对亚洲人和亚洲文化的,其中85%与COVID-19特别相关。)

Sentropy的一位发言人通过电子邮件表示:“花点时间在数字社区,语言变化和发展的速度非常快。机器学习帮助[社区]检测全新的语言信号,这样[他们]就能更好地保护那些最容易受到虐待的人。”

Alexis Ohanian和Garry Tan的Initialized Capital为这轮融资提供了大部分支持。其他投资者包括King River Capital、Horizons、Playground Global、Riot Games、Nextdoor、Twitch、OpenAI和Twitter的创始人和前高管。

发表评论

电子邮件地址不会被公开。 必填项已用*标注