现在人们的日常生活中,网购已经成为人们生活中不可或缺的购物形式。根据中国电子商会发布的《中国社交电商行业发展白皮书(2022)》的数据显示,2022年社交电商市场交易规模达到28542.8亿元,预计2023年中国社交电商行业交易规模将达34165.8亿元。同时在2022年,抖音电商每月新增超2亿条短视频、900多万场电商直播,在优质内容驱动下,用户购物行为快速增长。
这么大市场规模背后,如何解决电商场景下的商品安全、内容安全、商家达人社区安全,提升服务体验,做好内容生态等问题显得尤为重要。
DataLeap 是火山引擎自研的一站式大数据中台解决方案,集数据集成、开发、运维、治理、资产管理能力于一身的大数据研发治理套件。利用火山引擎DataLeap 用户可以很好的监测电商场景下的商品安全、内容安全、商家达人社区安全,对于做好内容生态带了极大的便利。据了解,火山引擎平台治理团队目前已达百人团队规模,团队分布遍及国内外,主要监测一些电商场景下红线违规的问题,同时一些优质的商品信息和短视频,使其在整个生电商的生态里面有更多露出,完善平台的治理能力建设。
在日常做一些电商平台治理会遇到如下挑战与痛点:
1、大数据量的训练集如何快速进行数据预处理
以前在去准备这种训练集的时候,模型的训练集一般来说可能都是百万级、千万级的。如果把这种非常大的一个数据,把它放到本地,比如像 workspace 或者是一些其他开发机上去做处理,它会很慢,有时候即使研发人员开多线程或者多进程处理起来的话,并发度还是不够的。
2、如何验证模型的准确
模型准确性验证一般是从两个维度,一个维度是有偏,另一个维度是无偏。一般要是来评价这个模型的话,需要在离线训练模型的时候去验证,这个时候可能是一个有偏测试集,让正负样本尽量均衡一点,再去验证指标,在正式上线之前构造一个无偏的测试集去模拟,等真正的把这个模型上线之后,预计它的召回是什么样的,召回之后它的准确性怎么样,以及评估一下这个模型的一个影响面,难点就在于此。不论是有偏还是无偏测试集,对于测试集标签的准确性要求是比较高的,如果测试集的标签准确性不高,就会影响模型评估的准确性,这也是难点。
3、如何监控
要想做好监控,首先要有自己平台的统计指标:比如召回率 、漏放率、审出率、驳回率 等等,把指标做成数据集,建立属于自己的监控看板,同时如果平台有badcase,要进行深入的分析,进而优化算法模型。那么这一整个流程下来,如果没有很好的工具辅助,是非常低效的。
如何处理好上述的挑战与痛点?后续文章笔者会接着分析。

看火山引擎DataLeap如何做好电商治理(一):挑战与痛点的更多相关文章

  1. 火山引擎 DataLeap 的 Data Catalog 系统公有云实践

      Data Catalog 通过汇总技术和业务元数据,解决大数据生产者组织梳理数据.数据消费者找数和理解数的业务场景.本篇内容源自于火山引擎大数据研发治理套件 DataLeap 中的 Data Ca ...

  2. 如何又快又好实现 Catalog 系统搜索能力?火山引擎 DataLeap 这样做

      摘要 DataLeap 是火山引擎数智平台 VeDI 旗下的大数据研发治理套件产品,帮助用户快速完成数据集成.开发.运维.治理.资产.安全等全套数据中台建设,降低工作成本和数据维护成本.挖掘数据价 ...

  3. 火山引擎 DataLeap:3 个关键步骤,复制字节跳动一站式数据治理经验

    更多技术交流.求职机会,欢迎关注字节跳动数据平台微信公众号,并进入官方交流群 DataLeap 是火山引擎数智平台 VeDI 旗下的大数据研发治理套件产品,帮助用户快速完成数据集成.开发.运维.治理. ...

  4. 火山引擎 DataLeap:揭秘字节跳动数据血缘架构演进之路

    更多技术交流.求职机会,欢迎关注字节跳动数据平台微信公众号,回复[1]进入官方交流群 DataLeap 是火山引擎数智平台 VeDI 旗下的大数据研发治理套件产品,帮助用户快速完成数据集成.开发.运维 ...

  5. 火山引擎 DataLeap:一家企业,数据体系要怎么搭建?

    更多技术交流.求职机会,欢迎关注字节跳动数据平台微信公众号,回复[1]进入官方交流群 导读:经过十多年的发展,数据治理在传统行业以及新兴互联网公司都已经产生落地实践.字节跳动也在探索一种分布式的数据治 ...

  6. 火山引擎DataLeap数据调度实例的 DAG 优化方案

    更多技术交流.求职机会,欢迎关注字节跳动数据平台微信公众号,并进入官方交流群 实例 DAG 介绍 DataLeap 是火山引擎自研的一站式大数据中台解决方案,集数据集成.开发.运维.治理.资产管理能力 ...

  7. 怎么用XMind辅助电商工作

    随着电商的迅猛发展,突出了电商运营管理的重要性.能不能做好电商,就要看他的管理做的好不好,全面不全面!电商的突破与进步,离不开全方位的协同管理.之前,小编有给大家介绍过电商量化管理的四大利器:XMin ...

  8. 企业如何做好B2C电商平台

    导语本文主要讲了两个方面:1.企业如何定位B2C电商平台:2.企业做B2C遇到的问题. 一.企业如何定位B2C电商平台传统企业做B2C电子商务一般选用品牌.渠道.平台模式这三种,品牌模式是在网上建立一 ...

  9. 电商企业如何做好EDM营销随感

    对于中小型电商企业来说,运用EDM营销是一种非常不错的营销方式,正如我在电商EDM数据营销中的关键介绍一样.下面博主给大家介绍一下电商企业如何做好EDM营销. 一.在EDM邮件内容中跟客户建立信任的关 ...

  10. 从电商平台促销活动看电商app开发趋势

    据亿合科技小编了解到:尽管各大电商平台都进入了品质和品牌时代,但对于消费者来说,低价依然是一个有吸引力的因素.尼尔森<网络购物者趋势研究>报告显示,2016年价格敏感型购物者的比例从15% ...

随机推荐

  1. Upload again!

    这道题没做出来,是看题解解出来的 先上传一个.htacess文件用来后面解析jpg格式的木马 再上传木马图片 注意:这里的木马比较特殊,需要为以下这样子的写法,我也不知道为啥 <script l ...

  2. 【Android】实现连接SQLite并尝试进行增删改查

  3. 一文秒懂|Linux字符设备驱动

    1.前言 众所周知,Linux内核主要包括三种驱动模型,字符设备驱动,块设备驱动以及网络设备驱动. 其中,Linux字符设备驱动,可以说是Linux驱动开发中最常见的一种驱动模型. 我们该系列文章,主 ...

  4. Postgres 和 MySQL 应该怎么选?

    PostgreSQL和MySQL是两个流行的关系型数据库管理系统(DBMS).它们都具有一些相似的功能,但也有一些区别. 在选择使用哪个DBMS时,需要考虑多个因素,包括性能.可扩展性.安全性.功能丰 ...

  5. 用pycharm创建一个django框架

    用pycharm创建一个django框架 注意解释器的选择和文件路径 创建完django项目 1.自动创建了一个templates目录(先删除) 2.把settings里的 TEMPLATES = [ ...

  6. [USACO2007NOVS] Cow Hurdles S

    题目描述 Farmer John wants the cows to prepare for the county jumping competition, so Bessie and the gan ...

  7. Rong晔大佬教程学习(1):背景与项目设计目标

    riscv实际上是一种ISA的指令集,而处理器的设计的基本结构是不变的(如下所示),其区别在于所选用的指令集的类型,一般有ARM.RISCV.MIPS等,采用了不同的引擎,那么车的外观.系统等也会随之 ...

  8. Java多线程学习(Day01)

    目录 线程简介 线程实现(重点) 线程状态 线程同步(重点) 线程通信问题 进程与线程概念 --来自百度百科的解释: 进程(Process)是计算机中的程序关于某数据集合上的一次运行活动,是系统进行资 ...

  9. 浅谈android的activity

    说道activity,大家可以说是熟悉的不能再熟悉,首先,先来个镇楼图, 个人觉得谷歌的这张图,比别的什么生命周期图都好;说下各个生命周期注意的: 1:onstart()时,activity可见; 2 ...

  10. VS2022 安装 .NET Framework 4.0 和 .NET Framework 4.5 的方法

    解决方法 1.下载.NET Framework框架 .NET Framework 4.5.2 .NET Framework 4.5.1 .NET Framework 4.5 .NET Framewor ...