2020 Đằng Tấn quảng cáo thuật toán đại tái —— thuật toán tiểu bạch phục bàn

# trang bị & dẫn vào kho
!pip install wget
import wget,tarfile,zipfile

# áp súc số liệu bao download
filename = wget.download( "https://tesla-ap-shanghai-1256322946.cos.ap-shanghai.myqcloud /cephfs/tesla_common/deeplearning/dataset/algo_contest/train_preliminary.zip" )
print(filename)

# giải áp súc
zFile = zipfile.ZipFile(filename, "r" )
for fileM in zFile.namelist():
zFile.extract(fileM, "./" )
print(fileM)
zFile.close();

# dẫn vào kho
import tensorflow as tf
import pandas as pd
import numpy as np
import gc

# tụ hợp đi trọng cũng đếm hết
def get_groupby_data(data,group_zd='user_id',pj_zd='ad_id'):
data_dict=dict(list(data.groupby(group_zd)))
result=[]
for key in data_dict.keys():
result.append([key,str(data_dict[key][pj_zd].to_list())[1:-1].replace(',','')])
pd_result=pd.DataFrame(result)
pd_result.columns=[group_zd,pj_zd]
return pd_result

# thiết trí tụ hợp đặc thù
# zd_list=['ad_id','product_category','advertiser_id', 'time', 'click_times']
zd_list=['creative_id']

#train_data đọc lấy
train_ad=pd.read_csv( "../train_preliminary/ad.csv",na_values= "\\N" )
train_click_log=pd.read_csv( "../train_preliminary/click_log.csv",na_values= "\\N" )
train_user=pd.read_csv( "../train_preliminary/user.csv",na_values= "\\N" )
data=pd.merge(pd.merge(train_ad,train_click_log),train_user)

# nội tồn rửa sạch
del train_ad,train_click_log
gc.collect()

#train_data tụ hợp
for zd in zd_list:
new_data=data[[zd,'user_id']]
new_data=get_groupby_data(new_data,pj_zd=zd)
new_data=pd.merge(new_data,train_user)
new_data.to_csv(zd+ "/groupby_data/train_%s.csv" %zd,index=False)
print( "-" *10+zd+' tập hợp hoàn thành '+'-'*10)


#test_data đọc lấy
test_ad=pd.read_csv( "../test/ad.csv" )
test_click_log=pd.read_csv( "../test/click_log.csv" )
test_data=pd.merge(test_ad,test_click_log)

#test_data tụ hợp
for zd in zd_list:
test_data_new=test_data[[zd,'user_id']]
test_data_new=get_groupby_data(test_data_new,pj_zd=zd)
test_data_new.to_csv(zd+ "/groupby_data/test_%s.csv" %zd,index=False)
print( "-" *10+zd+' tập hợp hoàn thành '+'-'*10)

# dẫn vào kho
import tensorflow as tf
import pandas as pd
import numpy as np
import os
!pip install gensim
import gc
from gensim.models.word2vec import Word2Vec

# giả thiết từ vector huấn luyện tham số
num_features = 128 # Word vector dimensionality
min_word_count = 0 # Minimum word count
num_workers = 4 # Number of threads to run in parallel
context = 10 # Context window size
model_name = '{}features_{}minwords_{}context.model'.format(num_features, min_word_count, context)

# thiết trí huấn luyện đặc thù
# zd_list=['creative_id','ad_id','product_category','advertiser_id', 'time', 'click_times']
zd_list=['creative_id']

# từ vector huấn luyện
for zd in zd_list:
new_data=pd.read_csv(zd+ "/groupby_data/train_%s.csv" %zd,na_values= "\\N" )
new_data2=pd.read_csv(zd+ "/groupby_data/test_%s.csv" %zd,na_values= "\\N" )
new_data3=pd.concat([new_data,new_data2])
del new_data,new_data2
gc.collect()# rửa sạch nội tồn
sentences_list = []
# chú ý: Yêu cầu split truyền vào list, lần đầu tiên không có split huấn luyện từ mô hình là 0-9
for line in new_data3[zd]:
sentences_list.append(line.split())
model = Word2Vec(sentences_list, workers=num_workers, \
size=num_features, min_count = min_word_count, \
window = context)
model.save(os.path.join(zd, 'models', model_name))
print( "-" *10+zd+' huấn luyện hoàn thành '+'-'*10)

# dẫn vào kho
import tensorflow as tf
import pandas as pd
import numpy as np
import os
!pip install gensim
from gensim.models.word2vec import Word2Vec

def to_review_vector(review):
global word_vec
word_vec = np.zeros((1,300))
for word in review.split():
#word_vec = np.zeros((1,300))
if word in fastmodel:
word_vec += np.array([fastmodel[word]])
#print (word_vec.mean(axis = 0))
return pd.Series(word_vec.mean(axis = 0))

# bởi vì máy móc hạn chế, số liệu phân đoạn đặc thù hóa & tồn trữ
#zd_list=['creative_id','ad_id','product_category','advertiser_id', 'time', 'click_times']
model_name='300features_0minwords_10context.model'
# zd_list=['product_category','advertiser_id', 'time', 'click_times']
zd_list=['creative_id']
for zd in zd_list:
data=pd.read_csv(zd+ "/groupby_data/train_%s.csv" %zd)
try:
os.mkdir(zd+ "/train_feature" )
except:
pass
fastmodel=Word2Vec.load(zd+'/models/'+model_name)
count=0
mm=0
for i in range(100000,len(data)+1,100000):
train_data_features = data[count:i][zd].apply(to_review_vector)
w2c_data=pd.concat([data[count:i][['user_id','age','gender']],train_data_features],axis=1)
w2c_data.to_csv(zd+ "/train_feature/w2c_data_%s%s.csv" %(zd,mm),index=False)
print( "---%s đệ %s đoạn số liệu đặc thù vector hóa hoàn thành ---" %(zd,mm))
mm+=1
count=i

# dẫn vào kho
!pip install lightgbm
import lightgbm as lgb
from sklearn.metrics import mean_squared_error
from sklearn.datasets import load_iris
from sklearn.model_selection import train_test_split
import tensorflow as tf
import pandas as pd
import numpy as np
import os
import gc

# zd_list=['creative_id','ad_id','product_category','advertiser_id','time','click_times']
zd_list=['creative_id']

# phân đoạn đặc thù số liệu xác nhập
for zd in zd_list:
path=zd+ "/train_feature/"
wjs=os.listdir(path)
data=pd.DataFrame()
for wj in wjs:
data_path=path+wj
data0=pd.read_csv(data_path)#.drop(zd,axis=1)
data=data.append(data0)
print(len(data))
data.columns=[zd+'_'+cc if cc not in ['user_id', 'age', 'gender'] else cc for cc in data.columns]
if zd==zd_list[0]:
data1=data
else:
data1=pd.merge(data1,data)
gc.collect()# rửa sạch nội tồn
print('!'*10+zd+' ghép nối hoàn thành ')

# nội tồn rửa sạch
del data,data0
gc.collect()

#age mô hình huấn luyện
train_x=data1[data1.columns.difference(['user_id','age','gender'])]
target=data1.age.astype(int)
# phân chia huấn luyện tập cùng thí nghiệm tập
X_train, X_test, y_train, y_test = train_test_split(train_x, target, test_size=0.2)
del train_x,data1
gc.collect()# rửa sạch nội tồn
print( "Train data length:", len(X_train))
print( "Test data length:", len(X_test))
# thay đổi vì Dataset số liệu cách thức
lgb_train = lgb.Dataset(X_train, y_train)
lgb_eval = lgb.Dataset(X_test, y_test, reference=lgb_train)

# tham số
params = {
'task': 'train',
'boosting_type': 'gbdt', # thiết trí tăng lên loại hình
'objective': 'multiclass', # mục tiêu hàm số
'num_class': 11,
# 'metric': {'l2', 'auc'}, # đánh giá hàm số
'num_leaves': 31, # lá cây tiết điểm số
'learning_rate': 0.05, # học tập tốc độ
'feature_fraction': 0.9, # thành tựu đặc thù lựa chọn tỉ lệ
'bagging_fraction': 0.8, # thành tựu hàng mẫu thu thập mẫu tỉ lệ
'bagging_freq': 5, # k ý nghĩa mỗi k thứ thay đổi chấp hành bagging
'verbose': 1 # <0 biểu hiện trí mạng, =0 biểu hiện sai lầm ( cảnh cáo ), >0 biểu hiện tin tức
}

# mô hình huấn luyện
gbm = lgb.train(params, lgb_train, num_boost_round=1000, valid_sets=lgb_eval, early_stopping_rounds=5)
# mô hình bảo tồn
gbm.save_model('model_age.txt'
# mô hình thêm tái
gbm = lgb.Booster(model_file='model_age.txt')
# mô hình đoán trước
y_prob = gbm.predict(X_test, num_iteration=gbm.best_iteration)

arr=pd.DataFrame(y_prob)
arr['max_value']=arr.max(axis=1)
arr['max_index']=np.argmax(y_prob,axis=1)
y_pred1=arr['max_index']

# mô hình đánh giá
print('The rmse of prediction is:', mean_squared_error(y_test,y_pred1) ** 0.5)


#gender mô hình huấn luyện
train_x=data1[data1.columns.difference(['user_id','age','gender'])]
target=data1.gender.astype(int)
# phân chia huấn luyện tập cùng thí nghiệm tập
X_train, X_test, y_train, y_test = train_test_split(train_x, target, test_size=0.2)
del train_x,data1
gc.collect()# rửa sạch nội tồn
print( "Train data length:", len(X_train))
print( "Test data length:", len(X_test))
# thay đổi vì Dataset số liệu cách thức
lgb_train = lgb.Dataset(X_train, y_train)
lgb_eval = lgb.Dataset(X_test, y_test, reference=lgb_train)

# tham số
params = {
'task': 'train',
'boosting_type': 'gbdt', # thiết trí tăng lên loại hình
'objective': 'multiclass', # mục tiêu hàm số
'num_class': 11,
# 'metric': {'l2', 'auc'}, # đánh giá hàm số
'num_leaves': 31, # lá cây tiết điểm số
'learning_rate': 0.05, # học tập tốc độ
'feature_fraction': 0.9, # thành tựu đặc thù lựa chọn tỉ lệ
'bagging_fraction': 0.8, # thành tựu hàng mẫu thu thập mẫu tỉ lệ
'bagging_freq': 5, # k ý nghĩa mỗi k thứ thay đổi chấp hành bagging
'verbose': 1 # <0 biểu hiện trí mạng, =0 biểu hiện sai lầm ( cảnh cáo ), >0 biểu hiện tin tức
}

# mô hình huấn luyện
gbm = lgb.train(params, lgb_train, num_boost_round=1000, valid_sets=lgb_eval, early_stopping_rounds=5)
# mô hình bảo tồn
gbm.save_model('model_gender.txt')
# mô hình thêm tái
gbm = lgb.Booster(model_file='model_gender.txt')
# mô hình đoán trước
y_prob = gbm.predict(X_test, num_iteration=gbm.best_iteration)

arr=pd.DataFrame(y_prob)
arr['max_value']=arr.max(axis=1)
arr['max_index']=np.argmax(y_prob,axis=1)
y_pred1=arr['max_index']

# mô hình đánh giá
print('The rmse of prediction is:', mean_squared_error(y_test,y_pred1) ** 0.5)

# dẫn vào kho
!pip install lightgbm
import lightgbm as lgb
from sklearn.metrics import mean_squared_error
from sklearn.datasets import load_iris
from sklearn.model_selection import train_test_split
import tensorflow as tf
import pandas as pd
import numpy as np
import gc
import os

# zd_list=['creative_id','ad_id','product_category','advertiser_id', 'time', 'click_times']
zd_list=['creative_id']
for zd in zd_list:
path=zd+ "/test_feature/"
wjs=os.listdir(path)
# wjs=os.listdir(path)[5:]
data=pd.DataFrame()
for wj in wjs:
data_path=path+wj
data0=pd.read_csv(data_path).drop(zd,axis=1)
data=data.append(data0)
del data0
gc.collect()# rửa sạch nội tồn
print(len(data))
data.columns=[zd+'_'+cc if cc not in ['user_id'] else cc for cc in data.columns]
# data.columns=[zd+'_'+cc if cc not in ['user_id', 'age', 'gender'] else cc for cc in data.columns]
if zd==zd_list[0]:
data1=data
else:
data1=pd.merge(data1,data)
del data
gc.collect()# rửa sạch nội tồn
print('!'*10+zd+' ghép nối hoàn thành ')

# data1=data1[:500000]
data1=data1[500000:]

result=data1[['user_id']].reset_index(drop=True)
test_X=data1[data1.columns.difference(['user_id'])]
del data1
gc.collect()# rửa sạch nội tồn
# mô hình thêm tái
gbm = lgb.Booster(model_file='model_age.txt')
# mô hình đoán trước
y_test = gbm.predict(test_X, num_iteration=gbm.best_iteration)
arr=pd.DataFrame(y_test)
arr['max_value']=arr.max(axis=1)
arr['max_index']=np.argmax(y_test,axis=1)
result['age']=arr['max_index']


# mô hình thêm tái
gbm = lgb.Booster(model_file='model_gender.txt')
# mô hình đoán trước
y_test = gbm.predict(test_X, num_iteration=gbm.best_iteration)
arr=pd.DataFrame(y_test)
arr['max_value']=arr.max(axis=1)
arr['max_index']=np.argmax(y_test,axis=1)
result['gender']=arr['max_index']


result.columns=['user_id','predicted_age','predicted_gender']
# result.to_csv('submission1.csv',index=False)
result.to_csv('submission2.csv',index=False)
print(len(result))

import pandas as pd
import numpy as np

# văn kiện xác nhập
data1=pd.read_csv( "submission1.csv" )
data2=pd.read_csv( "submission2.csv" )
data=pd.concat([data1,data2])
print(len(data))
data.to_csv( "submission.csv",index=False)

from ti import session
ti_session = session.Session()
# path: Kết quả văn kiện đường nhỏ
# bucket: Chỉ định tồn trữ thùng.
# key_prefix: Tồn trữ thùng hạ cos đường nhỏ
inputs = ti_session.upload_data(path= "submission.csv", bucket= "game-gt-1252065438", key_prefix= "test" )