Mee – 第 14 页 – 樟少的博客

数据抓取工作 ODDS.500.COM 新版网页版程序演示

举例你想取日职联赛的数据，看到网址是http://liansai.500.com/zuqiu-3748/
这时你只需要记下 3748这个编号，就可以了

2016062901

之后再浏览器只需要输入网址即可，例如， http://www.inhhh.com/odds502.php?c=match&a=getmatch&sid=3748&roun=12,13&cid=1,2
解释下：3748就是你刚才记下的数字，需要下哪场就改哪个数据
12,13 这个数字代表第12至第13轮的范围，当然如果填1,13也是可以的
1,2 代表公司编号，这个必须用逗号分隔，不能用范围表示，例如1,2,3，

公司代码表如下：

2016062806

最后出来结果如下：

2016062902

数据抓取工作 ODDS.500.COM 程序演示

首先，程序列表中有下列文件
1. 爬虫odds.500.com.exe
2.setting.txt
3.所有公司.txt
4. mfc100.dll

第一步打开《setting.txt》, 第一行是要查询的网址（需要是修改），第二行是固定的跳板（不能修改）第三行是下载的数据存放的文件（可以修改）
后面的是各个公司的名称，这些数据可以从《所有公司.txt》中获取

2016062805
2016062806

第二步，打开程序，在右下角的图标或者右上角的透明图标上可以右键，测水一次。完成会有提示。

2016062803

2016062804

最后自动在生成d:\my.csv数据。

2016062807

。完。

数据抓取工作 ODDS.500.COM

今天收到朋友要求，做一个工作，做一个件软件，关于数据抓取 ODDS.500.COM

先来说说如果手工操作是这样的，打开网址 http://liansai.500.com/zuqiu-3748/ 点击分析，进去百家欧赔，再点一个公司，就看到这个公司历史的赔率。

抓取各公司赔率的历史变化

下面开始工作，

第一个界面很简单

随便一个浏览器输入网址得到HTML代取，截取就可以了。得到关键信息，{开场时间，主队名称，客队名称，这场比赛的ID号}

网址 http://odds.500.com/fenxi/ouzhi-这场比赛的ID号.shtml 就是第二页了。

第二个界面就难多了，进去后，发现动条，往下走，数据才加载出来吧，好吧，我认为打开打开，并不会得到全部的数据，必须发送数据过去。打开跟踪后发现果然如此

发送了这个数据包。

而很不幸运的时，返回来的数据包，压缩过的，估计是没有加密的。

看来下一步要先研究出解压，并且加载后面部分的数据的方法先。

后来还是浏览器的F12方便，直接看到请求，

http://odds.500.com/fenxi1/json/ouzhi.php?_=1466871817505&fid=559387&cid=1&r=1&time=2016-06-25+16%3A36%3A36&type=europe

获取到最后的明细了,这就是点击出来的历史赔率

未完，待续，。

绝对的BS, 李易峰肇事被扣24分罚款2000

BS的重点是，跑了，就什么都查不到了，有没有酒驾自己说了算，以后会有更多人撞了，或者酒驾撞了就跑，因为酒驾/醉驾撞了，被查到，要进去的，高晓松就是这样。就应该从严处理，特别是所谓的名人。

虽然我有面盲症，记不住，这猪的样子，但是会记得这样的名子，

如果我是导演，绝不用这样的人，作为一个观众，他拍的电影，也要三思，如果还要给钱进场的更三思。
新闻连接：http://news.qq.com/a/20160616/002625.htm

Tushare的数据来源

因为Tushare的数据来源是

聚合数据最重要免费的

接口这次换成聚合数据，

参考资料我从这里拿的，https://www.juhe.cn/docs/api/id/21

不过由于没有C++ 的代码，我们先看C#的可以拿过来改一下。

将python运行结果读取到vc中

//将python运行结果读取到vc中
char *cstr;
PyObject *pstr;
PyObject *main_dict;
Py_Initialize();

PyObject* main_module = PyImport_AddModule(“tushare”);
main_dict = PyModule_GetDict(main_module);
PyRun_SimpleString(“x=tushare.get_hist_data(‘600848′,start=’2016-01-05′,end=’2016-01-09’)”); //这里是获取600848 2016-1-05 到2016-1-9后的日线。
pstr = PyRun_String(“x”, Py_eval_input, main_dict, main_dict);

PyArg_Parse(pstr,”s”,&cstr); //转换
tDebug(cstr);
Py_Finalize();

总结：这种方法，不太好，太慢了。只适后盘点慢慢下载数据。

C++ 调用 Python 代码测试二解决不能运行问题

网上查了很久，不知道为什么出问题，无法解析的外部符号 _PyString_FromString

原来我用的是Python3.x 版，

函数都变了

PyString_* 改为PyUnicode_*，

Pyint_*改为PyLong_*，

程序回复正常，版的问题一定要注意。

PHP源代码生成 main/config.w32.h

PHP源代码生成 main/config.w32.h
准备好PHP源代码，假设解压到 D:\phpsrc

下载2个必要的包
http://inhhh.com/download/bindlib_w32.zip
http://inhhh.com/download/win32build.zip
把这2个包的内容放一起，例如解压缩到 D:\win32build

请使用 Visual Studio Tools 下的 Visual Studio 命令提示操作
进入D:\php-src\
执行buildconf.bat
建立一个临时环境变量，执行set path=%path%;D:\win32build\bin

执行 cscript /nologo configure.js –with-php-build=”../win32build” –without-libxml –disable-odbc
如果想要No Thread Safe 模式就在上面的命令最后加上参数 –disable-zts

然后看看是不是main下面多了一个 config.w32.h~
还有一点，config.w32.h 里面 #define PHP_COMPILER_ID 改成和你正在用的 PHP 编译版本相同的编译器ID，例如VC6或者VC9，不然编译出来的扩展没法载入，说实话，这个ID的判断真的很傻很天真….
注：以上过程在PHP5.3.5 + VS2010 下测试通过

安装linux Gentoo全程

我写的这些文章，都是边做，边截图，做写文章的，所以之后还会更新。

安装linux Gentoo的原因很多，因为需要这样一个环境，去试东西，

准备工作

我把stage3-i486-20140318.tar.bz2和portage-latest.tar.bz2包添加到镜像install-x86-minimal-20140318.iso中这样只需要在CD中引一个ISO文件即可
配置VM

开始安装

输入检查网卡,发现我的网卡叫eno16777736, IP是192.168.128.136

ifconfig
/etc/init.d/sshd start #启动ssh或者用service sshd start
passwd root #输入你的帐号和密码，这个时候你就可以用ssh远程登录了，当然你一台电脑就完全不需要

分区

fdisk /dev/sda
n
p
1
2048
+200M
a


n
p
2
411648
75000000
t
83

n
p
3
回车
回车
t
82

格式化分区 & 挂载分区

mkfs.ext4 /dev/sda1
mkfs.ext4 /dev/sda2
mkswap /dev/sda3 #格式化swap
swapon /dev/sda3 #挂载swap
mount /dev/sda2 /mnt/gentoo #你分的/
mkdir /mnt/gentoo/boot
mount /dev/sda1 /mnt/gentoo/boot #你分的准备挂载boot的分区

解压文件

cd /mnt/cdrom
cp *.tar.bz2 /mnt/gentoo #复制两个文件到/mnt/gentoo下
cd /mnt/gentoo #gentoo目录下
tar xvjpf stage3-*.tar.bz2 #解压stage3
tar xvjf /mnt/gentoo/portage-*.tar.bz2 -C /mnt/gentoo/usr #解压portage到/mnt/gentoo/usr

修改配置

# 修改配置文件
nano /mnt/gentoo/etc/portage/make.conf
# CFLAGS="-O2 -march=i686 -pipe"CXXFLAGS="${CFLAGS}“ 后面添加代码
MAKEOPTS="-j2"
Chroot

安装

mirrorselect -i -o >> /mnt/gentoo/etc/portage/make.conf
cp -L /etc/resolv.conf /mnt/gentoo/etc/ #拷贝dns信息

进入新的系统环境
```
mount -t proc none /mnt/gentoo/proc
```

chroot /mnt/gentoo /bin/bash
env-update
source /etc/profile

更新Portage树

emerge --sync --quiet # 验证系统profile
eselect profile list

更新时区

ls /usr/share/zoneinfo #查看时区
cp /usr/share/zoneinfo/Asia/Shanghai /etc/localtime #我使用的是上海

安装内核。

emerge gentoo-sources #安装内核源码
ls -l /usr/src/linux #查看内核连接

手动配置
1. cd /usr/src/linux make menuconfig
我是32位系统。所以64-bit kernel 前边的*一定要去掉
需配置，按↓到File System回车进入，因为我用的ext4,所以把EXt4 debugging support选上
然后Tab选择到save 回车，然后选OK,Exit回车，然后在选Exit推出

编译内核

 make && make modules_install #回车之后等着编译完成吧，编译完成后会有bzImage的位置信息

安装内核

cd /usr/src/linux
cp arch/x86/boot/bzImage /boot/kernel-3.12.13-gentoo

配置文件系统

nano -w /etc/fstab #根据自己的分区配置
/dev/sda1 /boot ext4 defaults,noatime 1 2
/dev/sda2 / ext4 noatime 0 1
/dev/sda3 none swap sw 0 0
/dev/cdrom /mnt/cdrom auto noauto,ro 0 0

修改主机名称
1. nano -w /etc/conf.d/hostname

配置网络

nano -w /etc/conf.d/net #根据自己的网卡配置，我的ifconfig的网卡是enp0s3
config_enp0s3=( "192.168.1.126 netmask 255.255.255.0 brd 192.168.1.255" )
routes_enp0s3=( "default via 192.168.1.1" )


ln -s /etc/init.d/net.lo /etc/init.d/net.enp0s3
rc-update add net.enp0s3 default #设置开机启动

配置root密码
1. passwd root #输入你的帐号密码

安装系统工具

emerge syslog-ng #系统日志工具
rc-update add syslog-ng default
emerge vixie-cron #Cron守护进程
rc-update add vixie-cron default
emerge sys-apps/mlocate #安装文件索引locate,重启后记得updatedb新建库

最后阶段

emerge grub #安装grub
/usr/sbin/grub2-install --no-floppy /dev/sda #安装
/usr/sbin/grub2-mkconfig -o /boot/grub/grub.cfg #生成配置
exit #推出chroot
reboot #重启

C++ 调用 Python 代码测试

首先通过VC++ 建新一个项目，选择空项目，并且在项目中添加 testpython.c文件

kong xiangmu

如何实现 C/C++ 与 Python 的通信？ – 编程 – 知乎

//my_python.c
#include <Python.h>

int main(int argc, char *argv[])
{
  Py_SetProgramName(argv[0]);
  Py_Initialize();
  PyRun_SimpleString("print （'Hello Python!'）\n");
  Py_Finalize();
  return 0;
}

在Windows平台下，打开Visual Studio命令提示符，编译命令为
cl testpython.c -IC:\Python34\include C:\Python34\libs\python34.lib

编译成功，直接输入 testpython.exe 就可以运行，看到执行效果如图

xiaogu20160520

Vc++ 调用python 是成功。

聚合数据 最重要免费的

聚合数据最重要免费的