搭建一个新闻客户端服务器

iOS app 源码地址:https://github.com/wanghanfeng/LanYunNews
php 后台源码地址: https://github.com/wanghanfeng/NewsServer
目前正在完善中,在此先来记录下开发的过程

这里主要介绍服务器的搭建,app的实现不做介绍。

项目分析

做一个新闻客户端的app最首先需要拿到需要展示的新闻数据,目前来说可行的方案有两种:
1、写一个爬虫去各大门户的新闻首页上爬去新闻的标题和新闻的url,存入数据库提供给app使用。(后期实现)
2、使用现成新闻api接口,如聚合数据。因为聚合数据的新闻接口是可以免费使用的,所以我选择使用聚合数据的新闻接口。

接口测试与改造

使用post方式向http://v.juhe.cn/toutiao/index 发送数据,必须带上字段type和申请的app key,以下是实例,大家可以使用我的app key,免去申请的麻烦。

Snip20170209_2.png

我们可以得到返回回来的json数据,data字段中是一个数组,里面就是返回的30条新闻数据。这个接口有一个缺点,就是只能获取到最新的30条数据,无法获取这之前的新闻数据,如果用户看完了这30条,就没有其他更多的数据可以浏览了。
真正需要的api应该再增加一个字段page,用来表示我们需要获取到新闻的条目,例如每一页拥有30条数据,0页代表最新的30条,1页代表之后的30条,一次类推。
现在最大的问题是现有的api没有这个字段,于是考虑搭建一个服务器提供一个新的api。

mysql数据库建表

首先分析下收到的新闻数据格式:

{"uniquekey":"e83c8565b142a3be8897e70323f0e767",
"title":"魅族商城遭域名劫持?高管在朋友圈呼吁:请友商理性竞争!",
"date":"2017-02-09 17:23",
"category":"科技",
"author_name":"APP皮皮爱应用",
"url":"http:\/\/mini.eastday.com\/mobile\/170209172306465.html",
"thumbnail_pic_s":"http:\/\/04.imgmini.eastday.com\/mobile\/20170209\/20170209172306_e49c5df82cb0232c2371932a5e48169e_1_mwpm_03200403.jpeg",
"thumbnail_pic_s02":"http:\/\/04.imgmini.eastday.com\/mobile\/20170209\/20170209172306_e49c5df82cb0232c2371932a5e48169e_2_mwpm_03200403.jpeg",
"thumbnail_pic_s03":"http:\/\/04.imgmini.eastday.com\/mobile\/20170209\/20170209172306_e49c5df82cb0232c2371932a5e48169e_3_mwpm_03200403.jpeg"}

一条最新闻最少需要9个字段才可以存储在数据库中,其意义也能很清楚的根据英文名称辨别出来,所以根据其格式建表如下,表名news:

Snip20170209_5.png

Tip:
因为原api接口的特殊性,每次请求都是最新的30条数据,但是新闻数据在短时间内不可能变化的太快,所以当后台每1分钟去请求下原接口并将得到的数据插入数据库中就会出现大量的重复数据,而数据库执行distinct去重操作又是效率非常低下的于是又有如下几个方案:
1.查看响应头中 Last-Modified 字段,检测文件在浏览器最后的修改时间,如果发现文件未被修改则不插入数据库,反之插入。(原api接口中无此字段,不采用)
2.对收到的数据做Hash值计算,与上一次的收到的数据Hash值比较,如果不相等则将收到的数据插入数据库,相等则舍弃。(每次计算Hash值时耗时太长,比较明显,不采用)
3.由于mysql的特点,每次插入数据时检测当前数据的主键与表中数据的主键是否重复,重复则插入失败。因为这是无法避免的耗时,所以可以利用这一点实现去重操作,根据原api返回的uniquekey作为主键,向数据库内插入数据,如果数据库内存在相同新闻那么uniquekey必然重复导致数据库插入失败,达到去重的目的。(采用)

把uniquekey当做主键,省去了管理主键的麻烦。每条数据的标题不能为空,一旦标题为空在客户端展示是就会出现“无头新闻”用户体验不佳,所以宁肯数据插入失败也不希望它在用户的设备上显示出来。

php后台

项目中用到了mysql和php,使用xampp集成化工具比较方便,xampp集成了MySQL(MariaDB)、ProFTPD、Apache Web Server,一键配置比较方便。

Tip:
xampp支持Windows、Mac、Linux环境
初次安装xampp时,MySQL的初始化密码为空。
笔者建议先将项目在本机上测试后再部署的服务器上。

这是php项目的入口文件,由于需要改写原有api,在原有的api基础上定制自己的api,所以需要模拟post请求,先向原有api去post得到结果后再进行分析返回给app端。php中没有现成的post函数,于是自己封装了个函数来模拟post请求,在php中实现post请求有很多种方法,笔者的方法是其中之一,仅用做参考。

//index.php
<?php
/**
 * Created by PhpStorm.
 * User: whf
 * Date: 17/2/8
 * Time: 下午4:20
 */

include 'sqlLink.php';

/**
 * 发送post请求
 * @param string $url 请求地址
 * @param array $post_data post键值对数据
 * @return array 
 */
function send_post($url, $post_data) {

    $postdata = http_build_query($post_data);
    $options = array(
        'http' => array(
            'method' => 'POST',
            'header' => 'Content-type:application/x-www-form-urlencoded',
            'content' => $postdata,
            'timeout' => 0.5 * 60 // 超时时间(单位:s)
        )
    );
    $context = stream_context_create($options);
    $body = file_get_contents($url, false, $context);
    //获取响应头
    $header = $http_response_header;

    $result = [
        'header' => $header,
        'body' => $body
    ];
    return $result;
}

$post_data = array(
    'type' => 'keji',
    'key' => '9b36e7f06020e794a3547c5718bc114c'
);
$res = send_post('https://v.juhe.cn/toutiao/index', $post_data)['body'];

//打印响应头
//foreach ($res as $key => $value){
//    echo $value .'<br/>';
//}

$arr = json_decode($res,true);
echo json_encode($arr);
//把数据写入数据库保存
foreach ($arr['result']['data'] as $v){
    writeTable('news',$v);
}

function show($v){
    if (is_array($v)){
        foreach ($v as $key => $value){
            if (is_array($value)){
                show($value);
            }
            else{
                echo $key . ' : ' . $value .'<br/>';
            }
        }
    }
}
//show($arr['result']['data']);

在获取到数据后直接将数据写入数据库,由数据库来判断当前插入的这一条是否与数据库中其他条目重复。

send_post($url, $post_data)方法需要传入url和post的body($post_data),返回一个数组,可以使用array['header']来获取响应头,array['body']获取响应体。当然这个函数封装的还是不够完美,缺少请求头参数的传入,由于原有api不需要传入请求头,所以没有实现,现在将send_post函数改造如下,以便达到“完美”:

/**
 * 发送post请求
 * @param string $url 请求地址
 * @param array $post_data post键值对数据
 * @param array $header_arr post请求头
 * @return array
 */
function send_post($url,$post_data, $header_arr=null) {

    $postdata = http_build_query($post_data);
    $header = '';
    if ($header_arr){
        foreach ($header_arr as $key => $value){
            $header = $header . $key . ':' .$value . '\n';
        }
    }
    
    if (strlen($header)!=0){
        $header = substr($header,0,strlen($header)-1);
    }
    else{
        $header = 'Content-type:application/x-www-form-urlencoded';
    }
    $options = array(
        'http' => array(
            'method' => 'POST',
            'header' => $header,
            'content' => $postdata,
            'timeout' => 0.5 * 60 // 超时时间(单位:s)
        )
    );
    $context = stream_context_create($options);
    $body = file_get_contents($url, false, $context);
    //获取响应头
    $header = $http_response_header;

    $result = [
        'header' => $header,
        'body' => $body
    ];
    return $result;
}

在sqlLink.php文件中,主要是封装了对数据库的操作,由index.php来调用:

<?php
/**
 * Created by PhpStorm.
 * User: whf
 * Date: 17/2/8
 * Time: 下午5:46
 */

$conn = mysqli_connect('localhost','root','','news_server');
mysqli_set_charset($conn,'utf8');

function writeTable($tableName,$item){
    global $conn;
    
    $value = '';
    foreach ($item as $v){
        $value = $value . '"' . $v . '"' . ',';
    }
    //处理当长度不匹配时插入数据库报错
    if (count($item)==7){
        $value = $value . "null" . ',' . "null" . ',';
    }
    if (count($item)==8){
        $value = $value . "null" . ',';
    }
    if (strlen($value)!=0){
        $value = substr($value,0,strlen($value)-1);
    }
    $sql = "insert into $tableName VALUES ($value)";
//    echo '数据库写入成功!' . $sql . '<br/>';
    if (!mysqli_query($conn,$sql)){
//        echo '数据库写入失败!' . $sql .'<br/>';
    }
}

//function readTable($tableName,$)

由于项目实现的功能比较简单,所以采用面向过程编程比较简单。

项目部署到服务器

在项目已经测试过之后,便要将其部署到云端服务器上。(笔者的服务器选用的是阿里云的linux系统。)
使用下面的命令:

ssh root@42.96.203.33

之后输入密码
xampp在linux上的安装就不过多介绍了,官网上有安装介绍。
接下来进入xampp的安装目录

cd /opt/lampp/htdocs

htdocs文件夹是xampp默认的项目目录,将项目部署在这里,之后就可以通过http://serverName/porjName 来访问项目了,如果想直接访问域名就能访问到项目,就将htdoc下的index.php文件替换成项目的index.php文件(著名php框架CodeIgniter就是这么做的)。

接下来配置mysql:
xampp自带mysql,但是自带的mysql并不是全局的,如果想将mysql注册成为全局的环境变量,在用户目录下的.bash_profile文件中增加变量。这里笔者先不设置,切换到mysql的目录下:

cd /opt/lampp/bin

输入命令 启动mysql(由于xampp自带的mysql没有启用密码,所以可以直接进入)

./mysql 

接下来先建立一个数据库:

create database news_server character set utf8;

选中数据库:

use news_server;

导入.sql文件,MySQL会自动创建表

/*
 Navicat Premium Data Transfer

 Source Server         : MySQL_Navicat
 Source Server Type    : MySQL
 Source Server Version : 50505
 Source Host           : localhost
 Source Database       : news_server

 Target Server Type    : MySQL
 Target Server Version : 50505
 File Encoding         : utf-8

 Date: 02/08/2017 19:17:49 PM
*/

SET NAMES utf8;
SET FOREIGN_KEY_CHECKS = 0;

-- ----------------------------
--  Table structure for `news`
-- ----------------------------
DROP TABLE IF EXISTS `news`;
CREATE TABLE `news` (
  `uniquekey` varchar(32) NOT NULL,
  `title` varchar(100) NOT NULL,
  `date` varchar(16) DEFAULT NULL,
  `category` varchar(20) DEFAULT NULL,
  `author_name` varchar(20) DEFAULT NULL,
  `url` varchar(256) DEFAULT NULL,
  `thumbnail_pic_s` varchar(256) DEFAULT NULL,
  `thumbnail_pic_s02` varchar(256) DEFAULT NULL,
  `thumbnail_pic_s03` varchar(256) DEFAULT NULL,
  PRIMARY KEY (`uniquekey`)
) ENGINE=InnoDB DEFAULT CHARSET=utf8;

SET FOREIGN_KEY_CHECKS = 1;

这个新闻客户端服务器就已经可以使用了,新的api就是http://serverName/porjName ,可以向这个url上post数据,具体需要实现什么样的功能和参数,可以自己更改php代码来实现。

现在新闻客户端服务器还不完善,我正在努力完善中,之后再来更新文章。欢迎各位志同道合同志与我共同交流切磋,高手绕行 :)❤

最后编辑于
©著作权归作者所有,转载或内容合作请联系作者
  • 序言:七十年代末,一起剥皮案震惊了整个滨河市,随后出现的几起案子,更是在滨河造成了极大的恐慌,老刑警刘岩,带你破解...
    沈念sama阅读 203,456评论 5 477
  • 序言:滨河连续发生了三起死亡事件,死亡现场离奇诡异,居然都是意外死亡,警方通过查阅死者的电脑和手机,发现死者居然都...
    沈念sama阅读 85,370评论 2 381
  • 文/潘晓璐 我一进店门,熙熙楼的掌柜王于贵愁眉苦脸地迎上来,“玉大人,你说我怎么就摊上这事。” “怎么了?”我有些...
    开封第一讲书人阅读 150,337评论 0 337
  • 文/不坏的土叔 我叫张陵,是天一观的道长。 经常有香客问我,道长,这世上最难降的妖魔是什么? 我笑而不...
    开封第一讲书人阅读 54,583评论 1 273
  • 正文 为了忘掉前任,我火速办了婚礼,结果婚礼上,老公的妹妹穿的比我还像新娘。我一直安慰自己,他们只是感情好,可当我...
    茶点故事阅读 63,596评论 5 365
  • 文/花漫 我一把揭开白布。 她就那样静静地躺着,像睡着了一般。 火红的嫁衣衬着肌肤如雪。 梳的纹丝不乱的头发上,一...
    开封第一讲书人阅读 48,572评论 1 281
  • 那天,我揣着相机与录音,去河边找鬼。 笑死,一个胖子当着我的面吹牛,可吹牛的内容都是我干的。 我是一名探鬼主播,决...
    沈念sama阅读 37,936评论 3 395
  • 文/苍兰香墨 我猛地睁开眼,长吁一口气:“原来是场噩梦啊……” “哼!你这毒妇竟也来了?” 一声冷哼从身侧响起,我...
    开封第一讲书人阅读 36,595评论 0 258
  • 序言:老挝万荣一对情侣失踪,失踪者是张志新(化名)和其女友刘颖,没想到半个月后,有当地人在树林里发现了一具尸体,经...
    沈念sama阅读 40,850评论 1 297
  • 正文 独居荒郊野岭守林人离奇死亡,尸身上长有42处带血的脓包…… 初始之章·张勋 以下内容为张勋视角 年9月15日...
    茶点故事阅读 35,601评论 2 321
  • 正文 我和宋清朗相恋三年,在试婚纱的时候发现自己被绿了。 大学时的朋友给我发了我未婚夫和他白月光在一起吃饭的照片。...
    茶点故事阅读 37,685评论 1 329
  • 序言:一个原本活蹦乱跳的男人离奇死亡,死状恐怖,灵堂内的尸体忽然破棺而出,到底是诈尸还是另有隐情,我是刑警宁泽,带...
    沈念sama阅读 33,371评论 4 318
  • 正文 年R本政府宣布,位于F岛的核电站,受9级特大地震影响,放射性物质发生泄漏。R本人自食恶果不足惜,却给世界环境...
    茶点故事阅读 38,951评论 3 307
  • 文/蒙蒙 一、第九天 我趴在偏房一处隐蔽的房顶上张望。 院中可真热闹,春花似锦、人声如沸。这庄子的主人今日做“春日...
    开封第一讲书人阅读 29,934评论 0 19
  • 文/苍兰香墨 我抬头看了看天上的太阳。三九已至,却和暖如春,着一层夹袄步出监牢的瞬间,已是汗流浃背。 一阵脚步声响...
    开封第一讲书人阅读 31,167评论 1 259
  • 我被黑心中介骗来泰国打工, 没想到刚下飞机就差点儿被人妖公主榨干…… 1. 我叫王不留,地道东北人。 一个月前我还...
    沈念sama阅读 43,636评论 2 349
  • 正文 我出身青楼,却偏偏与公主长得像,于是被迫代替她去往敌国和亲。 传闻我的和亲对象是个残疾皇子,可洞房花烛夜当晚...
    茶点故事阅读 42,411评论 2 342

推荐阅读更多精彩内容

  • Android 自定义View的各种姿势1 Activity的显示之ViewRootImpl详解 Activity...
    passiontim阅读 171,397评论 25 707
  • Spring Cloud为开发人员提供了快速构建分布式系统中一些常见模式的工具(例如配置管理,服务发现,断路器,智...
    卡卡罗2017阅读 134,585评论 18 139
  • 生活一天一天过 好像每个人都要付出 好像每个人也都有需要别人为其付出 好像你的付出从来都是理所当然 好像你总是如此...
    苏小碧阅读 174评论 0 2
  • 躺着唱 站着唱 卧房里唱 洗浴间里唱 风止了 雨停了 小径水湿 花木儿端庄 难不成对它们惊扰 只是一起消磨时光 从...
    北风问雪阅读 157评论 0 0
  • 之前听贾老师讲过一句;“为什么我能站在这里跟你们讲课,是因为我把这方面的书至少看了上千本,中外相关内容的我都看,我...
    芬芬的小屋阅读 214评论 1 1