# bigdata_test

**Repository Path**: zhmwei/bigdata_test

## Basic Information

- **Project Name**: bigdata_test
- **Description**: bigdata 自测项目
- **Primary Language**: Java
- **License**: Apache-2.0
- **Default Branch**: master
- **Homepage**: None
- **GVP Project**: No

## Statistics

- **Stars**: 0
- **Forks**: 0
- **Created**: 2020-03-05
- **Last Updated**: 2021-01-26

## Categories & Tags

**Categories**: Uncategorized

**Tags**: None

## README

# bigdata_test

#### Description
bigdata 自测项目

#### Software Architecture
Software architecture description

#### Installation

一、windows 上部署 hadoop 包
1. 部署包 win 版本，解压 hadoop-2.65-win10x64-1809.tar.gz 到 D:\devsoft目录下。
2. 将 widows 版 本 hadop-2.65/bin/hadoop.dl 、 winutils.ex 放到 c:/Windows/System32 下

二、windows 环境变量配置
 1、hadoop 的 bin 和 sbin 目录放 PATH 中+HADOOP_HOME
 2、配置hadoop 用户 HADOOP_USER_NAME=root



#### Instructions

1.  xxxx
2.  xxxx
3.  xxxx

#### Contribution

1.  Fork the repository
2.  Create Feat_xxx branch
3.  Commit your code
4.  Create Pull Request

2、好友推荐示例
  
  思路：    
  推荐者与被推荐者一定有一个或多个相同的好友    
  全局去寻找好友列表中两两关系    
  去除直接好友    
  统计两两关系出现次数
  
 3、Hadoop 案例： ItemCF
   
   协同过滤
  
   商品推荐
   思考：
   购买成功后：购买了该商品的其他用户购买了以下商品
   根据用户的实时行为
   
   搜索成功后：您可能感兴趣的以下商品
   
   根据用户的主观意识
   
   主页或广告：您可能感兴趣的以下商品
   
   根据用户的特征向量
   
   推荐系统是基于协同过滤(Collaborative Filtering)算法来实现的， CF 算法包括两种：
   基于用户的系统过滤： 
   
   UserCF
   
   基于用户的协同过滤，通过不同用户对物品的评分来评测用户之间的相似性，基于用户之间的相似性做出推荐。简单来讲就是：给用户推荐和他兴趣相似的其他用户喜欢的物品。
   
   ItemCF
   
   基于item的协同过滤，通过用户对不同item的评分来评测item之间的相似性，基于item之间的相似性做出推荐。简单来讲就是：给用户推荐和他之前喜欢的物品相似的物品。

算法原理

Co-occurrence Matrix(同现矩阵)和 User Preference Vector(用户评分向量)相乘得到的这个
Recommended Vector(推荐向量)
1. 基于全量数据的统计，产生同现矩阵
体现商品间的关联性
每件商品都有自己对其他全部商品的关联性（每件商品的特征）
解释：
通过历史订单交易记录， 计算得出每一件商品相对其他商品同时出现在同一订单的次数，
所以每件商品都有自己相对全部商品的同现列表
2. 用户评分向量体现的是用户对一些商品的评分
解释：
用户会对部分商品有过加入购物车，购买等实际操作，经过计算会得到用户对这部分商
品的评分向量列表
3. 任一商品需要
用户评分向量乘以基于该商品的其他商品关联值， 求和得出针对该商品的推荐向量
解释：
使用用户评分向量列表中的分值， 依次乘以每一件商品同现列表中该分值的代表物品的同现值， 求和便是该物品的推荐向量， 排序取 TopN 即可

#### Gitee Feature

1.  You can use Readme\_XXX.md to support different languages, such as Readme\_en.md, Readme\_zh.md
2.  Gitee blog [blog.gitee.com](https://blog.gitee.com)
3.  Explore open source project [https://gitee.com/explore](https://gitee.com/explore)
4.  The most valuable open source project [GVP](https://gitee.com/gvp)
5.  The manual of Gitee [https://gitee.com/help](https://gitee.com/help)
6.  The most popular members  [https://gitee.com/gitee-stars/](https://gitee.com/gitee-stars/)