1 引言

电信数据采集系统是电信运营系统的子系统，其目标是对用户的通信信息进行采集、处理、传输、存储，为电信运营系统提供真实、准确、全面、实时的数据。数据采集系统通过从数据源中采集原始话单信息，从文件中解析出用户每次登录网络的持续时间。在解析过程中可以对出现的各种错误情况进行相应的处理，对成功解析的数据可以进行预处理。采集到的数据记录和存储了运营商的业务数据和用户的消费数据，它们隐含着大量的市场信息、客户消费行为信息和业务特性信息。采集系统的采集质量关系到整个电信系统的运行，并且数据的丢失会对电信运营商造成巨大的经济损失，因此数据采集系统是电信运营商收入保障系统的重要组成部分。

2 采集系统概述

当前电信部门采用宽带运营支撑系统 (Wide-Brand Operation Support System，WOSS)，该系统负责多个用户通过网络访问服务器 (Net Access Server，NAS)进行宽带接入，支持ADSL拨号等功能，其后台采用J2EE实现，可移植于多种平台。

2.1 采集任务

用户访问和退出网络时服务器中记录的信息即为用户访问网络的原始信息，经过整理以后即为用户的原始话单记录，是整个电信系统所处理的数据的根本，成为下一步计算用户消费额等操作的基础。

2.2 采集数据源

是把存储在各地的AAA服务器上的用户访问网络的原始信息进行初步的处理，再把结果发送到中心服务器。中心服务器负责接受各地AAA服务器发送过来的经过初步处理的用户访问网络的记录，然后把该记录存入数据库中作为数据整合、数据计费等的数据源。

2.3 采集方式

采集系统与数据源采用直连或网络连接。根据要求，定时到数据源端探询，如发现有新计费原始数据文件，系统读入计费原始数据，同时对计费源端的该文件设定已读取标志。对已读取的计费原始数据文件，也可再次读取。联机采集应定时、自动地对数据源进行采集，尽量减少人工参与。

2.4 采集处理

数据采集支持多种采集协议，包括TCP/IP、FTP、XML等；支持文件传输的断点续传；支持文件的压缩和加密传输。采集处理应及时响应采集配置参数的改变；采集处理要有较高的自动化，如自动任务调度、恢复等；采集间隔可设定并能不间断地工作；对采集文件的基本信息进行日志记录。

2.5 文件管理

对采集来的原始数据文件按照不同的采集日期存储在不同的数据库表中，每个表中存储了特定日期的原始数据，便于数据维护。

2.6 日志管理

因为系统是自动运行的，便于维护，要对系统运行的每个动作进行日志记录。当系统出现问题时，管理员可查看日记记录的信息，从而做出相应处理。

2.7 参数管理

参数管理应能对采集文件的文件名、路径、日志文件路径、备份文件路径、服务器地址、端口、数据库配置信息等可变性参数进行配置，并存储在文件中，系统启动时会读取其内容，根据配置的参数自动调整采集进程状态。

2.8 话单文件预处理

话单文件记录是成对出现的，即先有用户进入网络的记录，在后面的某位置有相应的退网记录。对两条记录进行合并处理即可计算出该记录所代表的用户本次访问网络持续时间。

3 采集系统

设计一个主要完成电信计费原始数据信息采集工作的采集系统，该系统分为客户端和服务器端两部分。系统的流程为首先启动服务器，使服务器处于侦听状态，等待客户端的连接。客户端会定时采集位于指定位置的文件中的数据，对于数据记录中的错误进行一定的处理；对于正确的记录要按照一定的规则进行预处理。完成后要把正确的记录封装为类的对象，把每个对象放到集合中，然后把该集合采用TCP协议用Java中的 Socket套接字发送到服务器端，服务器将数据记录存储到数据库中。

3.1 系统构成

系统分为两大块：客户端和服务器端。客户端包括：配置模块、日志模块、采集模块、备份模块、网络模块。服务器端包括：配置模块、日志模块、入库模块、备份模块、网络模块。

3.2 客户端

3.2.1 配置模块

配置系统运行的环境参数，实例化其他模块，降低模块间的耦合性。环境参数包括备份文件的位置、名称，要采集的文件的路径、名称等。

文章来源：《电脑与电信》 网址: http://www.dnydxzz.cn/qikandaodu/2020/1019/512.html