浅析用户信息搜索行为大数据分析框架及其关键技术

摘要：大数据分析技术有效规避了研究传统用户信息搜索行为的不足，为该课题的研究提供了新的理论视角与实践工具。本文构建了大数据分析框架，用于对用户信息搜索行为进行分析，然后介绍了大数据可视化等关键技术，以为大数据分析的应用提供理论依据。

关键词：信息搜索行为；大数据分析；关键技术

引言

用户在进行搜索和浏览时，会产生非常多的行为记录，逐渐积累构成了大体量的数据。现阶段，针对用户信息搜索行为进行研究的方法非常多，主要针对传统网络环境下的结构较为单一的数据，对大数据的应用能力非常弱，局限性也比较大。而应用大数据分析技术，可以快速处理海量数据，获得足够的用户信息，并从中发掘出有规律的信息，将其展示出来。本文在此基础上，针对用户搜索行为构建了大数据分析框架，同时对其关键技术的应用进行介绍。

一、用户信息搜索行为的大数据分析框架

（一）用户信息搜索行为模型的构建

在已有文献研究成果的基础上，笔者对用户搜索行为模型进行构建，将其分为前中后三个部分，分别与用户层、人机交互层和评价利用层相对应[1]。用户层分为信息用户和用户需求；人机交互层包含选择信息源以及选择检索方式和浏览行为。而评价利用层包含用户的物理行为以及心理行为。但是信息搜索是一个过程，并且该过程有可能是循环过程，用户在信息评价时如果没有得到令其满意的结果，则会重新回到用户层对其需求进行调整，然后在人机交互层对信息源和检索方式等进行重新选择，直到最终获得满意的结果。

（二）构建大数据分析体系

以往的学者在对这一问题进行研究时，所提出的构建大数据处理系统的流程，包括收集和预处理以及存储分析、挖掘等。本文的研究在此基础上，把大数据分析划成数据收益与预处理以及数据存储和分析、结果呈现等。大数据的收集可以来自于多种数据源，对于收集的大数据，要进行预处理后，才能进入下一环节，即进行存储和处理。在此基础上，对其进行分析更加容易发掘研究对象的内在规律，最后再将结果呈现出来，即从数据中提取有用的信息。

（三）构建用户信息搜索行为的大数据分析框架

从横向来看，该框架是以大数据处理流程为基础，将其分为数据层和分析层以及结果呈现层与支撑层等。对于整个框架而言，数据层是基础，分析层是核心，目标是结果呈现层，根本保证是支承层。数据层包括收集和预处理以及存储数据等环节。收集的数据主要来源于互联网和物联网，预处理则包括数据的清洗和转换以及数据加载等。数据存储则是对大体量的数据采用分布式的方式进行存储。分析层主要依据人工智能领域的多项技术，比如统计分析和数据挖掘等。结果呈现层就是将得到的结果呈现出来，支撑层是手机和预处理大体量数据的关键所在。

二、关键技术

（一）数据层的关键技术

首先是数据收集所应用的关键技术，主要包括数据收集、预处理以及数据存储等。数据收集主要包括采集系统日志和网络数据、物联网技术以及智能移动终端。用户的搜索行为所产生的数据均记录在日志文件中，比如页面访问量和访问时间以及搜索的关键词与时间等[2]。日志文件能够较好的记录历史数据，也不会受到防火墙的阻隔，而且日志文件所记录的复杂信息在格式和内容方面都有一定的差异，需要采用专业的工具对其进行处理。在采集网络数据时，可以采用API，这是目前应用比较广泛的技术。物联网技术主要包括RFID和红外传感以及全球定位等，关键在于传感器技术，是物联网技术获取新的的关键。智能移动终端的普及率越来越高，比如智能手机和平板电脑等，这些设备随时都在发送和接收信息。用户在智能终端上进行信息搜索时，同样会产生大量的数据。数据预处理的技术主要包括SSIS技术，不断改进非结构化和半结构化的数据。数据存储可以以云数据的模式进行，通过集群应用等，促使各类存储设备协同工作，以更好的进行数据存储与业务访问等。

（二）分析层的关键技术

分析层的关键技术主要包括统计分析和机器学习以及自然语言处理与数据挖掘等。统计分析主要是利用统计学分析方法对数据进行一系列处理，分析人员可以采用定性和定量相结合的方法研究用户信息搜索行为，运用到的分析工具包括SPSS和R语言以及SAS等。机器学习是要求计算机利用数据进行工作的方法，可以根据用户的搜索数据等，识别用户的搜索意图，完成对用户的策略学习[3]。自然语言处理主要应用的工具是OpenNLP和FundanNLP等，而数据挖掘常用的技术与统计分析基本一致。

（三）結果呈现层与支撑层的关键技术

结果呈现层所应用的技术主要是分析人员所应用的将数据进行可视化的技术，比如Tableau和Ember Charts等。而支撑层主要是为用户信息搜索行为的研究提供数据处理平台，核心在于分布式系统架构。现阶段该架构主要包括腾讯大数据平台和阿里云的ODPS等。伴随计算机技术的进步，该类技术也在不断的更新，出现了很多新的技术，比如Spark、Storm等。

结语

当前时期，大数据技术的价值不断凸显，采用该技术对用户信息搜索行为进行分析，可以更加有效的深度挖掘用户的搜索需求，对于搜索引擎与信息组织方式的改进提供了方向，也给传统信息服务模式带来了较大的冲击。在大数据背景下，构建分析用户搜索信息行为的框架，需要注重各层关键技术的应用，确保分析框架的先进性和实用性。

参考文献：

[1]易成岐，鲍媛媛，薛一波.社会网络大数据分析框架及其关键技术[J].中兴通讯技术，2014（1）：5-10.

[2]袁红，朱睿琪.用户信息搜索行为大数据分析框架及其关键技术[J].图书馆学研究，2016（24）：39-46.

[3]徐飞，徐绪堪，吴广印.基于大数据的用户阅读行为分析[J].数字图书馆论坛，2014（12）：56-62.