README of SCWS：简易中文分词系统的详细介绍与特性说明

README of SCWS

$Id$

SCWS 简介

SCWS是简易中文分词系统的首字母缩写，即Simple Chinese Word Segmentation 。它是一套机械式中文分词引擎，基于词频词典。它能把一整段中文文本基本正确地切分成词 。词是中文里最小的语素单位，然而在书写的时候，它不像英语那样会在词与词之间用空格隔开，所以怎样能够准确且快速地进行分词，一直都是中文分词的攻关难点。

SCWS是用纯C语言开发的，它不依赖任何外部库函数，能够直接使用动态链接库嵌入应用程序，支持的中文编码有GBK、UTF-8等，此外还提供了PHP扩展模块，借助该模块可在PHP中快速且方便地使用分词功能。

分词算法没有太多创新的部分，采用的是自己收集的词频词典，还辅以一定的专有名称、人名、地名、数字年代等规则识别来实现基本分词，经小范围测试准确率在90%至95%之间，基本上能够满足一些小型搜索引擎、关键字提取等场合使用。首次雏形版本在2005年底发布。

SCWS是由hightman所开发的，它是以BSD许可协议进行开源发布的，相关内容可参见COPYING 。

PHP 分词演示

安装

目前scws仅提供源码包，其编译安装步骤与大多数GNU软件相同。下面以Linux系统为例，该系统要求装有gcc编译器。在Windows上，建议使用cygwin或mingw环境进行编译。

取得 scws 源码并解压到当前目录

使用wget命令，以静默模式从指定网址http://www.xunsearch.com/scws/down/scws-1.2.1.tar.bz2下载文件，并将其输出重定向到标准输出，然后通过管道将输出传递给tar命令，使用tar命令以解压并提取文件的方式处理该输出 。

进入源码目录配置和编译

进入cd scws-1.2.1目录，执行./configure命令，执行make install命令。

这是按照默认方式安装至 /usr/local 目录。详细的配置参数可通过执行 ./configure --help 来查看。

PHP 扩展

在 UNIX 类系统上，要编译安装 PHP 扩展，需直接从源码方式进行，对于 windows 系统，直接下载我们编译好的 php_scws.dll 就行 。

假设您已把scws安装至$prefix目录，还需要系统环境配备autoconf、automake以及phpize工具。

进入源码目录下的phpext/，执行phpize，phpize位于php安装目录下的bin目录里。

执行configure来进行配置以及基础检测，假设您的php安装在$php_prefix目录下 。

执行./configure ，设置参数为 --with-scws=/usr/local ，同时设置参数为 --with-php-config=$php_prefix/bin/php-config 。

先编译然后以 root 身份安装

make
sudo make install

在 php.ini 中加入以下内容

[scws]
注意检查php.ini中的extension_dir的设定值是否正确，若不正确，将extension_dir设为空。
再将 extension = scws.so 或 php_scws.dll 指定为绝对路径。
extension = scws.so
scws.default.charset = gbk
scws默认的fpath等于$prefix/etc

在命令行下执行 php -m，就能看到 scws。phpinfo() 也会包含关于 scws 的信息。

windows下的php扩展采用dll库文件，我们已预编译若干个版本，采用zip压缩，位于phpext/win32/php_scws-1.2.1-win32.zip，需直接解压后选择相应版本的php_scws.dll 。把它复制到PHP的扩展目录中，该目录通常是extensions或ext目录，之后参考上面的方式修改php.ini。

若想了解PHP扩展的示例用法，以及开发参考内容，可查看phpext/README.md 。

配套工具用法

$prefix/bin/scws是用于分词的命令行工具，执行scws -h，能够看到详细的帮助说明。

用法：scws，[选项]，[[ -i]输入]，[[ -o]输出]，

$prefix/bin目录下的scws-gen-dict，这是一个词典转换工具。

用法：scws-gen-dict，[选项]，[-i]，dict.txt，[-o]，dict.xdb

请你提供一下具体的句子内容呀，这样我才能按照要求进行改写。

新词条 12.02.2n">

#<词>  <词频(TF)>  <词重(IDF)>  <词性(北大标注)>
新词条，12.0，2.2，n

libscws API

这是将scws整合到其他应用程序的接口说明，具体内容可查看API 。

rules.ini 规则集

（暂缺）

关于 XDB 词典

我们的词典采用自行开发的专用 XDB 格式，免费提供的词典是通用的互联网信息词汇集，该词汇集收录了大约 28 万个词。

若您有定制词典用于特殊用途的需求，那么请与我们取得联系，这种情况下可能会依据实际情形收取费用。

性能指标

在FreeBSD 6.2系统的服务器上，该服务器为单核单CPU至强3.0G，测试长度为80535的文本。使用附带的命令行工具，耗时约0.17秒，若改用php扩展方式调用，耗时约为0.65秒。

分词精度为95.60%，召回率为90.51%，F-1值为0.93 。

其它

该文档首次编写于2007年6月8日，编写者是hightman，并且它处于不断修订的状态！

项目主页：我的邮箱是hightman2@yahoo.com.cn