推荐算法策略需求-rank model优化
1.pred_oobe
(base) [rus@xx]$ pwd /home/disk2/data/xx/icode/baidu/oxygen/rus-pipeline/pipeline-migrate/UserBaseActiveStatPipeline/his_session
(base) [rus@xx]$ sh test.sh
2. user_skill_history_dict_expt2包含userid
[work@xx]$
vim /home/work/xx/du-rus/du_rus_offline/dict/skill_engine_dict/user_skill_history_dir/user_skill_history_dict_expt2
[work@xx]$ grep '2916418677' user_skill_history_dict_expt2
3.置顶技能灌库
增加
curl "10.194.200.12:8123/DproxyServer/cmd" -d '{"cmd":"zadd", "args":["appstore_user_favour_6S192231D45C9AFB_2916418677","1","LP_2155","1"," LP_4993"], "name":"show-app-store"}'
查询
curl "10.194.200.12:8123/DproxyServer/cmd" -d '{"cmd":"zrange", "args":["appstore_user_favour_6S192231D45C9AFB_2916418677","0","-1"], "name":" show-app-store"}'
删除
curl "10.194.200.12:8123/DproxyServer/cmd" -d '{"cmd":"del", "args":["appstore_user_favour_6S192231D45C9AFB_2916418677"], "name":"show-app- store"}'
4.禁用技能灌库
5.user_skill_feature灌库 /home/disk2/data/xx/icode/baidu/oxygen/rus-pipeline/pipeline-migrate/LpQsbRankPipeline/optimizer
下载文件
wget gzhxy-bdrp-ps-se-nlp-arch-xiaodu-gzhxy003.gzhxy.baidu.com:/home/disk2/data/xx/temp/test_naotu.txt
老字典: /home/disk2/data/xx/icode/baidu/oxygen/rus-pipeline/pipeline-migrate/UserBaseActiveStatPipeline/his_session, sh test.sh
部署环境中dict/skill_engine_dict/user_skill_history_dir/user_skill_history_dict_expt2中包含测试userid
增:curl "10.194.200.12:8123/DproxyServer/cmd" -d '{"cmd":"zadd", "args":["appstore_user_favour_6S192231D45C9AFB_2916418677", "1", "LP_2155", "1", "LP_4993"], "name":"show-app-store"}'
查:curl "10.194.200.12:8123/DproxyServer/cmd" -d '{"cmd":"zrange", "args":["appstore_user_favour_6S192231D45C9AFB_2916418677", "0", "-1"], "name":"show-app-store"}'
删:curl "10.194.200.12:8123/DproxyServer/cmd" -d '{"cmd":"del", "args":["appstore_user_favour_6S192231D45C9AFB_2916418677"], "name":"show-app- store"}'
/home/disk2/data/xx/icode/baidu/oxygen/rus-pipeline/pipeline-migrate/LpQsbRankPipeline/optimizer/love_forbidden_skills, sh go.sh
/home/disk2/data/xx/icode/baidu/oxygen/rus-pipeline/pipeline-migrate/LpQsbRankPipeline/post_process/user_skill_feature_process, sh test_run.sh
wget gzhxy-bdrp-ps-se-nlp-arch-xiaodu-gzhxy003.gzhxy.baidu.com:/home/disk1/rus/offline-pipeline-routine/baidu/oxygen/rus-pipeline/pipeline- migrate/LpQsbRankPipeline/post_process/train_model/launchpad_model_manager/model_version.conf, 替换部署环境中的dict/launchpad_model_manager/model_version.conf
重启rus
新字典:
1、wget gzhxy-bdrp-ps-se-nlp-arch-xiaodu-gzhxy003.gzhxy.baidu.com:/home/disk2/data/xx/icode/baidu/oxygen/rus-pipeline/pipeline- migrate/LpQsbRankPipeline/post_process/skill_feature_process/skill_feature_dict_new.tar.gz并解压 2、将部署环境中dict/skill_feature_dict/skill_feature替换skill_feature_dict_new中的skill_feature,并执行sh go.sh 3、将skill_feature_dict_new替换掉部署环境中的dict/skill_feature_dict
4、重启环境
/home/disk2/data/xx/icode/baidu/oxygen/rus-pipeline/pipeline-migrate/LpQsbRankPipeline/post_process/user_skill_feature_process_new, sh test_run.sh
1、wget gzhxy-bdrp-ps-se-nlp-arch-xiaodu-gzhxy003.gzhxy.baidu.com:/home/disk2/data/xx/icode/baidu/oxygen/rus-pipeline/pipeline- migrate/LpQsbRankPipeline/optimizer/train_model/launchpad_model_manager/model_version.conf 替换部署环境中的dict/launchpad_model_manager/model_version.conf
2、wget gzhxy-bdrp-ps-se-nlp-arch-xiaodu-gzhxy003.gzhxy.baidu.com:/home/disk2/data/xx/icode/baidu/oxygen/rus-pipeline/pipeline- migrate/LpQsbRankPipeline/optimizer/train_model/launchpad_model_manager/gbdt/optimizer_v1.tar.gz, 解压到部署环境中的dict/launchpad_model_manager/gbdt目录下
3、重启环境 机器:gzhxy-bdrp-ps-se-nlp-arch-xiaodu-gzhxy003.gzhxy.baidu.com,rus
测试userid:2916418677,cuid:6S192231D45C9AFB,clientId:lNwEAEASbln5FhNTs7A8oDGW3TlQ2khy,请求体中requester=" LAUNCHPAD_CACHE"
[work@nj02-ps-wwwda13-n1.nj02.baidu.com rus_env]$ pwd /home/work/xx/du-rus/offline-tools/du_rus/rus_env
[work@nj02-ps-wwwda13-n1.nj02.baidu.com rus_env]$
python buildenv_rus.py aabe7d6575a6dca37c5d8409475a5febcb844b10 d6a6eb0f560cf14b75ecda9a7d83e165b68cd4d3
修改完截图的配置
[work@nj02-ps-wwwda13-n1.nj02.baidu.com sample]$
vim /home/work/xx/du-rus/du_rus_offline/dict/sample/sample_variable.conf 实验组:1
对照组:0
打开日志级别
vim /du-rus/du_rus_offline/conf/log.conf 第31行rpc.log 追加,TRACE,DEBUG
31 RPC_SELFLEVEL : NOTICE,TRACE,DEBUG
重启服务 /home/work/xx/du-rus/du_rus_offline/bin ./server_control stop 暂停服务
./server_control start 启动服务
[work@nj02-ps-wwwda13-n1.nj02.baidu.com log]$ vim /home/work/xx/du-rus/du_rus_offline/log/rpc.log 日志查询candidate_features
测试结论
测试方式:捞取线上请求,java自动化方式实现
构造不同的userid 灌库 非灌库数据 不同实验组 对照组dumisid 请求 生成数据 捞取日志分析
老词典实验组 对照组 灌库数据 非灌库数据
507252, 507252, 507252, 507252,
2916418677, 2916418677, 2916418677, 2916418677,
6S192231D45C9AFB, 6S192231D45C9AFB, 6S1927504C666DF4, 6S1927504C666DF4,
日志搜索
?candidate_features
?xx: model_manager->regress succ
非灌库数据 userId=6071212314 4个特征分数为-1
灌库数据 userId=2916418677 4个特征分数均正常
实验组 507251 无特征 无分数
对照组 507252 有特征 分数
新词典对照组
实验组 507251 有特征 分数
打分如下
对照组 507252 有特征 分数
测试数据说明:
新词典:实验组 对照组打分不一致 pass
老词典:实验组无数据 对照组正常打分 pass
仅对照组,新词典与老词典同一技能打分一致 pass
相关文章:

推荐算法策略需求-rank model优化
1.pred_oobe (base) [rusxx]$ pwd /home/disk2/data/xx/icode/baidu/oxygen/rus-pipeline/pipeline-migrate/UserBaseActiveStatPipeline/his_session (base) [rusxx]$ sh test.sh 2. user_skill_history_dict_expt2包含userid [workxx]$ vim /home/work/xx/du-rus/du_rus_o…...

hadoop 常用命令
hadoop 常用命令 hadoop fs -mkdir /test hadoop fs -put /opt/frank/tb_test03.txt /test/ hadoop fs -ls /test/ hadoop fs -cat /test/tb_test03.txt hadoop fs -rm /test/tb_test03.txt hadoop dfs 也能使用、但不推荐,执行会提示: DEPRECATED: Us…...

pdf在浏览器上无法正常加载的问题
一、背景 觉得很有意思给大家分享一下。事情是这样的,开发给我反馈说,线上环境接口请求展示pdf异常,此时碰巧我前不久正好在ingress前加了一层nginx,恰逢此时内心五谷杂陈,思路第一时间便放在了改动项。捣鼓了好久无果…...

实时语音识别(Python+HTML实战)
项目下载地址:FunASR 1 安装库文件 项目提示所需要下载的库文件:pip install -U funasr 和 pip install modelscope 运行过程中,我发现还需要下载以下库文件才能正常运行: 下载:pip install websockets,pi…...

x86_64 ubuntu22.04编译MetaRTC
metaRTC5.0 API https://github.com/metartc/metaRTC/wiki/metaRTC5.0-API Sample https://github.com/metartc/metaRTC/wiki/metaRTC5.0-API-Sample MetaRTC7.0编译 https://github.com/metartc/metaRTC/wiki/Here-we-come,-write-a-C-version-of-webRTC-that-runs-everywhere…...

FreeRTOS day1
1.总结keil5下载代码和编译代码需要注意的事项 需要与板子连通 配置完成后才点击下载 2.总结STM32Cubemx的使用方法和需要注意的事项 下载支持包 打开芯片配置界面 3.总结STM32Cubemx配置GPIO的方法...

SqlSugar快速入门
文章目录 配置SqlSugar0、引入SqlSugarCore包1、编写Context类2、配置实体类3、创建Service服务类进行数据库的CRUD4、配置Controller进行路由 配置SqlSugar 0、引入SqlSugarCore包 1、编写Context类 public static SqlSugarClient db new SqlSugarClient(new ConnectionCon…...

基于el-table实现行内增删改
实现效果: 核心代码: <el-table :data"items"style"width: 100%;margin-top: 16px"border:key"randomKey"><el-table-column label"计划名称"property"name"><template slot-scope&q…...

《霍格沃茨之遗》推荐购买吗 《霍格沃茨之遗》不支持Mac电脑怎么办 crossover24软件值得买吗 crossover中文官网
《霍格沃茨之遗》作为一款期待已久的游戏,自发布以来就吸引了无数玩家的目光。它以哈利波特系列为背景,提供了一个沉浸式的魔法世界体验,让玩家能够探索广阔的霍格沃茨魔法学校,体验魔法学习与战斗,解开古老谜团的乐趣…...

神经网络代码实现(用手写数字识别数据集实验)
目录 一、前言 二、神经网络架构 三、算法实现 1、导入包 2、实现类 3、训练函数 4、权重参数矩阵初始化 5、参数矩阵变换向量 6、向量变换权重参数矩阵 7、进行梯度下降 7.1、损失函数 7.1.1、前向传播 7.2、反向传播 8、预测函数 四、完整代码 五、手写数字识别 一、前言 …...

菜鸟笔记-Python函数-linspace
linspace 是 NumPy 库中的一个函数,用于生成具有指定数量的等间距样本的数组。它的名字来源于“linear space”(线性空间),因为它在指定的范围内均匀地生成数值。 linspace 函数的基本语法如下: numpy.linspace(star…...

为什么我们应该使用QGIS
QGIS地理信息系统是免费的开源软件,已成为创建地图和分析空间数据的强大工具。在本文中,我们将探讨 QGIS 为地图公司带来的诸多好处,以及为什么使用它可以促进您的业务成功。使用QGIS的好处: 1. 免费开源软件,但从长远…...

用Python实现办公自动化(自动化处理Excel工作簿)
自动化处理Excel工作簿 (一)批量生产产品出货清单 以“出货统计表”为例, 需求:将出货记录按照出货日期分类整理成多张出货清单 “出货统计表数据案例” “产品出货清单模板” 1.提取出货统计表的数据 “Python程序代码” # 使用…...

BaseDao入门使用
目录 一、什么是BaseDao?BaseDao的优点:BaseDao用来做什么操作? 二、BaseDao封装增删改查 案例演示:1、java与数据库进行连接2、连接后可对其进行操作(增、删、改)返回影响行数3、查询 查询一个字段(返回一…...

计算机毕业设计Python+Spark知识图谱高考志愿推荐系统 高考数据分析 高考可视化 高考大数据 大数据毕业设计 机器学习 深度学习 人工智能
学院(全称): 专业(全称): 姓名 学号 年级 班级 设计(论文) 题目 基于Spark的高考志愿推荐系统设计与实现 指导教师姓名 职称 拟…...

基于java+springboot+vue实现的电商个性化推荐系统(文末源码+Lw+ppt)23-389
摘 要 伴随着我国社会的发展,人民生活质量日益提高。于是对电商个性化推荐进行规范而严格是十分有必要的,所以许许多多的信息管理系统应运而生。此时单靠人力应对这些事务就显得有些力不从心了。所以本论文将设计一套电商个性化推荐系统,帮…...

论文阅读,The Lattice Boltzmann Method: Principles and Practice(六)(1)
目录 一、流体模拟方法概述 二、传统的Navier-Stokes求解器 2.1 有限差分 2.2 有限体积法 2.3 有限元法 三、基于粒子的求解器 3.1 动力学理论 3.2 分子动力学 3.3 格子气体模型 3.4 耗散粒子动力学 3.5 多粒子碰撞动力学 3.6 直接模拟蒙特卡罗方法 3.7 平滑粒子流…...

新能源充电桩站场视频汇聚系统建设方案及技术特点分析
随着新能源汽车的普及,充电桩作为新能源汽车的基础设施,其安全性和可靠性越来越受到人们的关注。为了更好地保障充电桩的安全运行与站场管理,TSINGSEE青犀&触角云推出了一套新能源汽车充电桩视频汇聚管理与视频监控方案。 方案采用高清摄…...

三、音频隐写[Audacity、deepsound、dtmf2num、MMSSTV、虚拟声卡、MP3Stego]
工具 1.Audacity 下载:https://www.audacityteam.org/download/windows/ 使用: 删除:先用左键长按拖着选中内容,然后选择软件最上方菜单栏的编辑,然后选择“删除”,最后点击文件的导出音频就能成功导出…...

二、Web3 学习(区块链)
区块链基础知识 一、基础知识1. 区块链可以做什么?2. 区块链的三个特点 二、区块链的类型概括1. PoW2. PoS3. 私有链和联盟链 三、智能合约1. 什么是智能合约2. 如何使用智能合约 四、困境1. 三难选择的基本要素2. 这真的是一个三难选择吗? 五、比特币1. 什么是比特…...

Linux内网提权
一、SUID提权 前提条件: (1)SUID仅对二进制有效(2)执行者对于该程序需要有x的可执行权限(3)本权限仅在程序的执行过程中有效 1、设置SUID权限:(root权限) …...

聚观早报 | 抖音独立商城App上线;阿里云联发科合作
聚观早报每日整理最值得关注的行业重点事件,帮助大家及时了解最新行业动态,每日读报,就读聚观365资讯简报。 整理丨Cutie 3月29日消息 抖音独立商城App上线 阿里云联发科合作 苹果WWDC24官宣 恒大汽车2023年营收财报 亚马逊投资Anthro…...

第十四届蓝桥杯省赛C++ B组所有题目以及题解(C++)【编程题均通过100%测试数据】
第一题《日期统计》【枚举】 【问题描述】 小蓝现在有一个长度为100的数组,数组中的每个元素的值都在0到9的范围之内。数组中的元素从左至右如下所示: 5 6 8 6 9 1 6 1 2 4 9 1 9 8 2 3 6 4 7 7 5 9 5 0 3 8 7 5 8 1 5 8 6 1 8 3 0 3 7 9 2 7 0 5 8 8 …...

【御控物联】 IOT异构数据JSON转化(场景案例一)
文章目录 前言技术资料 前言 随着物联网、大数据、智能制造技术的不断发展,越来越多的企业正在进行工厂的智能化转型升级。转型升级第一步往往是设备的智能化改造,助力设备数据快速上云,实现设备数据共享和场景互联。然而,在生产…...

Kubernetes-running app on kube
Docker 安装Docker 首先,您需要在Linux机器上安装Docker。如果您不使用Linux,则需要启动一个Linux虚拟机(VM)并在该虚拟机中运行Docker。如果你使用的是Mac或Windows系统,并按照指令安装Docker, Docker将为你建立一个虚拟机,并在…...

简述如何系统地学习Python
随着人工智能、大数据和云计算等技术的快速发展,编程已经成为了当今社会中不可或缺的一项技能。Python作为一种高级编程语言,因其简洁明了的语法、强大的功能和广泛的应用领域,成为了许多初学者和专业人士的首选。那么,如何系统地…...

bsd猜想 Murmuration of Eliptic Curves(笔记)
BSD Alexey Pozdnyakov (University of Connecticut) YUTUBE视频, B站搬运地址新生代女数学家Nina Zubrilina得到椭圆曲线椋鸟群飞模式精确公式与证明 Arithmetic Geometry算术几何 希尔伯特第十问题 希尔伯特第十问题(Hilbert’s Tenth Problem&#…...

小米汽车正式发布:开启智能电动新篇章
随着科技的不断进步,汽车产业正经历着前所未有的变革。智能电动汽车作为这一变革的重要方向,正吸引着越来越多的目光。在这个充满机遇和挑战的时代,小米汽车凭借其卓越的技术实力和深厚的市场底蕴,终于迈出了坚实的一步。今天&…...

线性代数笔记25--复数矩阵、快速傅里叶变换
1. 复数矩阵 复向量 Z [ z 1 z 2 z 3 z 4 ⋯ ] Z\begin{bmatrix} z_1\\z_2\\z_3\\z_4\\ \cdots \end{bmatrix} Z z1z2z3z4⋯ 复向量的模长 ∣ z ∣ z ‾ ⊤ z [ z ‾ 1 z ‾ 2 z ‾ 3 ] [ z 1 z 2 z 3 ] \lvert z\rvert\overline z^{\top}z \begin{bmatrix…...

洛谷 P8783 [蓝桥杯 2022 省 B] 统计子矩阵
题目描述 给定一个 NM 的矩阵 A,请你统计有多少个子矩阵 (最小 1111, 最大 NM 满足子矩阵中所有数的和不超过给定的整数 K。 输入格式 第一行包含三个整数 N,M 和 K。 之后 N 行每行包含 M 个整数, 代表矩阵 A。 输出格式 一个整数代表答案。 输入输出样例 …...