继续上一篇我们需要知道顾客的要求,怎么做?分析顾客头上的图像就可以,来,从获取图像开始吧~
打开你钟爱的图像编辑器,开始丈量吧~ 我们得知道图像在屏幕的具体位置,可以用标尺量出来,本来直接量也是可以的,但是我这里使用了画面左上角的位置(也就是点1)来当做参考位置,这样一旦画面有变动,我们只需要修改一个点坐标就好了,否则每一个点都需要重新写一遍可不是一件快乐的事情。
看最左边的顾客头像上面的图像,我们需要两个点才可确定这个范围,分别是图像的左上角和右下角,也就是点2和点3,。后面还有三个顾客的位置,只需要简单的加上一个增量就好了,for循环就是为此而生!
同样的,我们原料的位置,“竹席”的位置等等,都可以用这种方法获得。注意获得的都是相对游戏画面左上角的相对位置。至于抓图的方法,PIL的ImageGrab就很好用,autopy也可以抓图,为什么不用,我下面就会说到。
分析图像
我们这个外挂里相当有难度的一个问题出现了,如何知道我们获得的图像到底是哪一个菜?对人眼……甚至狗眼来说,这都是一个相当easy的问题,“一看就知道”!对的,这就是人比机器高明的地方,我们做起来很简单的事情,电脑却傻傻分不清楚。
autopy图像局限
如果你看过autopy的api,会发现它有一个bitmap包,里面有find_bitmap方法,就是在一个大图像里寻找样品小图像的。聪明的你一定可以想到,我们可以截下整个游戏画面,然后准备所有的菜的小图像用这个方法一找就明白哪个菜被叫到了。确实,一开始我也有这样做的冲动,不过立刻就放弃了……这个方法查找图像,速度先不说,它有个条件是“精确匹配”,图像上有一个像素的RGB值差了1,它就查不出来了。我们知道flash是矢量绘图,它把一个点阵图片显示在屏幕上是经过了缩放的,这里变数就很大,理论上相同的输入相同的算法得出的结果肯定是一致的,但是因为绘图背景等的关系,总会有一点点的差距,就是这点差距使得这个美妙的函数不可使用了……
好吧,不能用也是好事,否则我怎么引出我们高明的图像分析算法呢?
相似图像查找原理
相信你一定用过Google的“按图搜图”功能,如果没有,你就落伍啦,快去试试!当你输入一张图片时,它会把与这张图相似的图像都给你呈现出来,所以当你找到一张中意的图想做壁纸又觉得太小的时候,基本可以用这个方法找到合适的~
我们就要利用和这个相似的原理来判断用户的点餐,当然我们的算法不可能和Google那般复杂,知乎上有一篇很不错的文章描述了这个问题,有兴趣的可以看看,我直接给出实现:
def get_hash(self, img):
image = img.resize((18, 13), Image.ANTIALIAS).convert("L")
pixels = list(image.getdata())
avg = sum(pixels) / len(pixels)
return "".join(map(lambda p : "1" if p > avg else "0", pixels))
因为这是类的一个方法,所以有个self参数,无视它。这里的img应该传入一个Image对象,可以使读入图像文件后的结果,也可以是截屏后的结果。而缩放的尺寸(18,13)是我根据实际情况定的,因为顾客头像上的菜的图像基本就是这个比例。事实证明这个比例还是挺重要的,因为我们的菜有点儿相似,如果比例不合适压缩后就失真了,容易误判(我之前就吃亏了)。
得到一个图片的“指纹”后,我们就可以与标准的图片指纹比较,怎么比较呢,应该使用“汉明距离”,也就是两个字符串对应位置的不同字符的个数。实现也很简单……
def hamming_dist(self, hash1, hash2):
return sum(itertools.imap(operator.ne, hash1, hash2))
好了,我们可以用准备好的标准图像,然后预先读取计算特征码存储起来,然后再截图与它们比较就好了,距离最小的那个就是对应的菜,代码如下:
def order(self, i):
l, t = self.left + i * self.step, self.top
r, b = l + self.width, t + self.height
hash2 = self.get_hash(ImageGrab.grab((l, t, r, b)))
(mi, dist) = None, 50
for i, hash1 in enumerate(self.maps):
if hash1 is None:
continue
this_dist = self.hamming_dist(hash1, hash2)
if this_dist < dist:
mi = i
dist = this_dist
return mi
这里有一个50的初始距离,如果截取图像与任何菜单相比都大于50,说明什么?说明现在那个位置的图像不是菜,也就是说顾客还没坐那位置上呢,或者我们把游戏最小化了(老板来了),这样处理很重要,免得它随意找一个最相近但又完全不搭边的菜进行处理。
自动做菜
这个问题很简单,我们只需要把菜单的原料记录在案,然后点击相应位置便可,我把它写成了一个类来调用:
class Menu:
def __init__(self):
self.stuff_pos = []
self.recipes = [None] * 8
self.init_stuff()
self.init_recipe()
def init_stuff(self):
for i in range(9):
self.stuff_pos.append( (L + 102 + (i % 3) * 42, T + 303 + (i / 3) * 42) )
def init_recipe(self):
self.recipes[0] = (1, 2)
self.recipes[1] = (0, 1, 2)
self.recipes[2] = (5, 1, 2)
self.recipes[3] = (3, 0, 1, 2)
self.recipes[4] = (4, 1, 2)
self.recipes[5] = (7, 1, 2)
self.recipes[6] = (6, 1, 2)
self.recipes[7] = (8, 1, 2)
def click(self, i):
autopy.mouse.move(self.stuff_pos[i][0] + 20, self.stuff_pos[i][1] + 20)
autopy.mouse.click()
def make(self, i):
for x in self.recipes[i]:
self.click(x)
autopy.mouse.move(L + 315, T + 363)
autopy.mouse.click()
这是本外挂中最没技术含量的一个类了:)请原谅我没有写注释和doc,因为都很简单,相信你懂得。
下一次便完成这个外挂,你可以尝试用一下并体验傲视——没有人的感觉。
拜读完了,很有启发,不过感觉通过图片编辑器找坐标麻烦了点。
我直接用autoit3中的“AutoIt Window Info”工具,将放大镜拖放到目标按钮上面就可以得到坐标位置了。
多谢提供,没用过呢,我得试试~
# 计算汉明距离另一种算法,更容易理解些。来自“汉明距离”维基
def hamming_distance(s1, s2):
assert len(s1) == len(s2)
return sum(ch1 != ch2 for ch1, ch2 in zip(s1, s2))
请问key.type_string()什么输入中文?
请问key.type_string()什么打印中文?
用pyperclip copy一下,再control+v粘贴
应该可以