Result.php 16.6 KB
Newer Older
1
2
<?php

3
namespace App\Models;
4

Karl's avatar
Karl committed
5
6
7
/* Die Klasse Result sammelt alle Informationen über ein einzelnes Suchergebnis.
 *  Die Results werden von den Suchmaschinenspezifischen Parser-Skripten erstellt.
 */
8
9
class Result
{
Karl's avatar
Karl committed
10
11
12
13
    public $provider; # Die Engine von der das Suchergebnis kommt
    public $titel; # Der Groß Angezeigte Name für das Suchergebnis
    public $link; # Der Link auf die Ergebnisseite
    public $anzeigeLink; # Der tatsächlich angezeigte Link (rein optisch)
14
15
    public $descr; # Die eventuell gekürzte Beschreibung des Suchergebnisses
    public $longDescr; # Die ungekürzte Beschreibung des Suchergebnisses
Karl's avatar
Karl committed
16
17
18
19
20
21
22
23
24
25
26
27
28
29
30
    public $gefVon; # Das bei Suchergebnissen angezeigte von ... mitsamt Verlinkung
    public $sourceRank; # Das Ranking für dieses Suchergebnis von der Seite, die es geliefert hat (implizit durch Ergebnisreihenfolge: 20 - Position in Ergebnisliste)
    public $partnershop; # Ist das Ergebnis von einem Partnershop? (bool)
    public $image; # Ein Vorschaubild für das Suchergebnis (als URL)

    public $proxyLink; # Der Link für die Seite über unseren Proxy-Service
    public $engineBoost = 1; # Der Boost für den Provider des Suchergebnisses
    public $valid       = true; # Ob das Ergebnis noch gültig ist (bool)
    public $host; # Der aus dem Link gelesene Host des Suchergebnisses
    public $strippedHost; # Der Host      in Form "foo.bar.de"
    public $strippedDomain; # Die Domain    in Form "bar.de"
    public $strippedLink; # Der Link      in Form "foo.bar.de/test"
    public $rank; # Das Ranking für das Ergebnis

    # Erstellt ein neues Ergebnis
31
32
    #public function __construct($provider, $titel, $link, $anzeigeLink, $descr, $gefVon, $sourceRank, $partnershop = false, $image = "", $price = 0, $additionalInformation = [])
    public function __construct($provider, $titel, $link, $anzeigeLink, $descr, $gefVon, $sourceRank, $additionalInformation = [])
33
    {
34
        $provider          = simplexml_load_string($provider);
35
36
37
38
39
        $this->titel       = strip_tags(trim($titel));
        $this->link        = trim($link);
        $this->anzeigeLink = trim($anzeigeLink);
        $this->descr       = strip_tags(trim($descr), '<p>');
        $this->descr       = preg_replace("/\n+/si", " ", $this->descr);
40
        $this->longDescr   = $this->descr;
41
42
43
44
45
46
47
48
49
50
51
52
53
54
55
56
57
        if (strlen($this->descr) > 250) {
            $this->descr = wordwrap($this->descr, 250);
            $this->descr = substr($this->descr, 0, strpos($this->descr, "\n"));

        }
        $this->gefVon     = trim($gefVon);
        $this->proxyLink  = $this->generateProxyLink($this->link);
        $this->sourceRank = $sourceRank;
        if ($this->sourceRank <= 0 || $this->sourceRank > 20) {
            $this->sourceRank = 20;
        }
        $this->sourceRank = 20 - $this->sourceRank;
        if (isset($provider["engineBoost"])) {
            $this->engineBoost = floatval($provider["engineBoost"]->__toString());
        } else {
            $this->engineBoost = 1;
        }
Dominik Hebeler's avatar
Dominik Hebeler committed
58
59
60
61
62
63
        $this->valid                 = true;
        $this->host                  = @parse_url($link, PHP_URL_HOST);
        $this->strippedHost          = $this->getStrippedHost($this->anzeigeLink);
        $this->strippedDomain        = $this->getStrippedDomain($this->strippedHost);
        $this->strippedLink          = $this->getStrippedLink($this->anzeigeLink);
        $this->rank                  = 0;
Dominik Hebeler's avatar
Dominik Hebeler committed
64
        $this->partnershop           = isset($additionalInformation["partnershop"]) ? $additionalInformation["partnershop"] : false;
65
66
        $this->image                 = isset($additionalInformation["image"]) ? $additionalInformation["image"] : "";
        $this->price                 = isset($additionalInformation["price"]) ? $additionalInformation["price"] : 0;
Dominik Hebeler's avatar
Dominik Hebeler committed
67
        $this->additionalInformation = $additionalInformation;
68
69
    }

Karl's avatar
Karl committed
70
71
72
73
74
    /* Ranked das Ergebnis nach folgenden Aspekten:
     *  Startwert 0
     *  + 0.02 * Sourcerank (20 - Position in Ergebnisliste des Suchanbieters)
     *  * Engine-Boost
     */
75
76
77
    public function rank($eingabe, $phrases = [])
    { 

78
        $rank = 0;
Karl's avatar
Karl committed
79
80

        # Boost für Source Ranking
81
82
        $rank += ($this->sourceRank * 0.02);

Karl's avatar
Karl committed
83
84
85
86
87
88
89
90
91
92
93
        # Boost für passende ??? URL
        $rank += $this->calcURLBoost($eingabe);

        # Boost für Vorkommen der Suchwörter:
        $rank += $this->calcSuchwortBoost($eingabe);

        # Boost für Suchmaschine
        if ($this->engineBoost > 0) {
            $rank *= floatval($this->engineBoost);
        }

Dominik Hebeler's avatar
Dominik Hebeler committed
94
95
96
97
98
        # Runter Ranken von Yandex Ergebnissen mit zu viel kyrillischen Texten
        if (stripos($this->gefVon, "yandex") !== false) {
            $rank -= $this->calcYandexBoost($eingabe);
        }

Aria Givi's avatar
Aria Givi committed
99
        # Boost für Vorkommen der Suchwörter in der Beschreibung bei Phrasensuchen
100
101
102
103
        if(!empty($phrases)) {
            $rank += $this->calcPhraseSearchBoost($phrases);
        }

Karl's avatar
Karl committed
104
105
106
        $this->rank = $rank;
    }

Dominik Hebeler's avatar
Dominik Hebeler committed
107
108
109
110
111
112
113
114
115
116
117
118
119
120
121
122
123
124
125
126
127
128
129
130
131
132
133
134
135
136
137
138
139
    # Berechnet, ob dieses Suchergebnis einen Malus erhalten soll, oder nicht
    # Übergeben werden alle Yandex Ergebnisse
    # Wenn die Suchworte kein kyrillisches Zeichen enthalten, wird das Ergebnis schlechter bewertet,
    # falls es selbst zu viele kyrillische Zeichen enthält
    private function calcYandexBoost($tmpEingabe)
    {
        $maxRatio = 0.1; # Gibt den Prozentsatz von Kyrillischen Zeichen in Titel und Beschreibung an, ab dem das Ergebnis runter gerankt werden soll
        if (preg_match('/[А-Яа-яЁё]/u', $tmpEingabe) === 1) {
            # Das Suchwort enthält kyrillische Zeichen, also dürfen es auch die Ergebnisse
            return 0;
        } else {
            # Wir überprüfen das Verhältnis von Kyrillischen Zeichen im Titel
            if (preg_match_all('/[А-Яа-яЁё]/u', $this->titel, $matches)) {
                $count     = sizeof($matches[0]);
                $titleSize = strlen($this->titel);
                $percKyr   = $count / $titleSize;
                if ($percKyr > $maxRatio) {
                    return 5;
                }
            }
            # Wir überprüfen das Verhältnis von Kyrillischen Zeichen in der Beschreibung
            if (preg_match_all('/[А-Яа-яЁё]/u', $this->descr, $matches)) {
                $count     = sizeof($matches[0]);
                $descrSize = strlen($this->descr);
                $percKyr   = $count / $descrSize;
                if ($percKyr > $maxRatio) {
                    return 5;
                }
            }
        }
        return 0;
    }

Aria Givi's avatar
Aria Givi committed
140
    # Berechnet den Ranking-Boost bei Phrasensuchen
141
142
143
144
145
146
147
148
    private function calcPhraseSearchBoost($phrases) {

        $containsPhrase = true;
        foreach($phrases as $phrase) {
            if(strstr($this->longDescr, $phrase) == false) {
                $containsPhrase = false;
            }
        }
Aria Givi's avatar
Aria Givi committed
149
        return $containsPhrase ? 0.1 : 0;
150
151
    }

Karl's avatar
Karl committed
152
153
154
    # Berechnet den Ranking-Boost durch ??? URL
    public function calcURLBoost($tmpEingabe)
    {
155
156
157
158
        $link = $this->anzeigeLink;
        if (strpos($link, "http") !== 0) {
            $link = "http://" . $link;
        }
Karl's avatar
Karl committed
159
160
161
162
163
        $link    = @parse_url($link, PHP_URL_HOST) . @parse_url($link, PHP_URL_PATH);
        $tmpLi   = $link;
        $count   = 0;
        $tmpLink = "";
        # Löscht verschiedene unerwünschte Teile aus $link und $tmpEingabe
164
        $regex = [
Karl's avatar
Karl committed
165
166
167
168
169
170
171
            "/\s+/si", # Leerzeichen
            "/http:/si", # "http:"
            "/https:/si", # "https:"
            "/www\./si", # "www."
            "/\//si", # "/"
            "/\./si", # "."
            "/-/si", # "-"
172
173
174
175
176
177
        ];
        foreach ($regex as $reg) {
            $link       = preg_replace($regex, "", $link);
            $tmpEingabe = preg_replace($regex, "", $tmpEingabe);
        }
        foreach (str_split($tmpEingabe) as $char) {
Karl's avatar
Karl committed
178
179
180
181
182
            if (!$char
                || !$tmpEingabe
                || strlen($tmpEingabe) === 0
                || strlen($char) === 0
            ) {
183
184
185
186
187
188
189
                continue;
            }
            if (strpos(strtolower($tmpLink), strtolower($char)) >= 0) {
                $count++;
                $tmpLink = str_replace(urlencode($char), "", $tmpLink);
            }
        }
Dominik Hebeler's avatar
Dominik Hebeler committed
190
        if (strlen($this->descr) > 40 && strlen($link) > 0) {
Karl's avatar
Karl committed
191
192
193
194
195
            return $count / ((strlen($link)) * 60); # ???
        } else {
            return 0;
        }
    }
196

Karl's avatar
Karl committed
197
198
199
    # Berechnet den Ranking-Boost durch das Vorkommen von Suchwörtern
    private function calcSuchwortBoost($tmpEingabe)
    {
200
201
202
203
204
205
206
        $maxRank        = 0.1;
        $tmpTitle       = $this->titel;
        $tmpDescription = $this->descr;
        $isWithin       = false;
        $tmpRank        = 0;
        $tmpEingabe     = preg_replace("/\b\w{1,3}\b/si", "", $tmpEingabe);
        $tmpEingabe     = preg_replace("/\s+/si", " ", $tmpEingabe);
Karl's avatar
Karl committed
207

208
209
210
211
212
213
214
215
216
217
218
219
220
221
222
223
224
225
226
227
228
229
        foreach (explode(" ", trim($tmpEingabe)) as $el) {
            if (strlen($tmpTitle) === 0 || strlen($el) === 0 || strlen($tmpDescription) === 0) {
                continue;
            }

            $el = preg_quote($el, "/");
            if (strlen($tmpTitle) > 0) {
                if (preg_match("/\b$el\b/si", $tmpTitle)) {
                    $tmpRank += .7 * .6 * $maxRank;
                } elseif (strpos($tmpTitle, $el) !== false) {
                    $tmpRank += .3 * .6 * $maxRank;
                }
            }
            if (strlen($tmpDescription) > 0) {
                if (preg_match("/\b$el\b/si", $tmpDescription)) {
                    $tmpRank += .7 * .4 * $maxRank;
                } elseif (strpos($tmpDescription, $el) !== false) {
                    $tmpRank += .3 * .4 * $maxRank;
                }
            }
        }

Karl's avatar
Karl committed
230
231
        $tmpRank /= sizeof(explode(" ", trim($tmpEingabe))) * 10;
        return $tmpRank;
232
233
    }

Karl's avatar
Karl committed
234
    # Überprüft ob das Ergebnis aus irgendwelchen Gründen unerwünscht ist.
235
236
    public function isValid(\App\MetaGer $metager)
    {
Karl's avatar
Karl committed
237
        # Perönliche URL und Domain Blacklist
238
239
240
241
242
        if (in_array($this->strippedHost, $metager->getUserHostBlacklist())
            || in_array($this->strippedDomain, $metager->getUserDomainBlacklist())) {
            return false;
        }

Karl's avatar
Karl committed
243
        # Allgemeine URL und Domain Blacklist
244
245
246
247
        if ($this->strippedHost !== "" && (in_array($this->strippedHost, $metager->getDomainBlacklist()) || in_array($this->strippedLink, $metager->getUrlBlacklist()))) {
            return false;
        }

Karl's avatar
Karl committed
248
        # Eventueller Sprachfilter
Dominik Hebeler's avatar
Dominik Hebeler committed
249
        if ($metager->getLang() !== "all") {
250
            if (!isset($this->langCode) || $this->langCode === null || $metager->getLang() !== $this->langCode) {
251
252
253
254
255
                return false;
            }

        }

Karl's avatar
Karl committed
256
        # Stopworte
257
258
259
260
261
262
263
        foreach ($metager->getStopWords() as $stopWord) {
            $text = $this->titel . " " . $this->descr;
            if (stripos($text, $stopWord) !== false) {
                return false;
            }
        }

Dominik Hebeler's avatar
Dominik Hebeler committed
264
        /*
Karl's avatar
Karl committed
265
        # Phrasensuche:
266
267
        $text = strtolower($this->titel) . " " . strtolower($this->descr);
        foreach ($metager->getPhrases() as $phrase) {
268
269
        if (strpos($text, $phrase) === false) {
        return false;
270
        }
271
272
        }
         */
Karl's avatar
Karl committed
273
274
275
276
        /* Der Host-Filter der sicherstellt,
         *  dass von jedem Host maximal 3 Links angezeigt werden.
         *  Diese Überprüfung führen wir unter bestimmten Bedingungen nicht durch.
         */
277
278
279
280
281
282
283
284
285
286
287
288
        if ($metager->getSite() === "" &&
            strpos($this->strippedHost, "ncbi.nlm.nih.gov") === false &&
            strpos($this->strippedHost, "twitter.com") === false &&
            strpos($this->strippedHost, "www.ladenpreis.net") === false &&
            strpos($this->strippedHost, "ncbi.nlm.nih.gov") === false &&
            strpos($this->strippedHost, "www.onenewspage.com") === false) {
            $count = $metager->getHostCount($this->strippedHost);
            if ($count >= 3) {
                return false;
            }
        }

Phil Höfer's avatar
Phil Höfer committed
289
        /* Der Dublettenfilter, der sicher stellt,
Karl's avatar
Karl committed
290
291
         *  dass wir nach Möglichkeit keinen Link doppelt in der Ergebnisliste haben.
         */
292
293
294
295
296
297
298
299
        if ($metager->addLink($this->strippedLink)) {
            $metager->addHostCount($this->strippedHost);
            return true;
        } else {
            return false;
        }
    }

Karl's avatar
Karl committed
300
301
302
303
304
    /* Liest aus einem Link den Host.
     *  Dieser wird dabei in die Form:
     *  "http://www.foo.bar.de/test?ja=1" -> "foo.bar.de"
     *  gebracht.
     */
305
    public function getStrippedHost($link)
306
    {
307
308
        $match = $this->getUrlElements($link);
        return $match['host'];
309
    }
Karl's avatar
Karl committed
310
311
312
313
314
315

    /* Entfernt "http://", "www" und Parameter von einem Link
     *  Dieser wird dabei in die Form:
     *  "http://www.foo.bar.de/test?ja=1" -> "foo.bar.de/test"
     *  gebracht.
     */
316
    public function getStrippedLink($link)
317
    {
318
319
        $match = $this->getUrlElements($link);
        return $match['host'] . $match['path'];
320
321
    }

Karl's avatar
Karl committed
322
323
324
325
326
    /* Liest aus einem Link die Domain.
     *  Dieser wird dabei in die Form:
     *  "http://www.foo.bar.de/test?ja=1" -> "bar.de"
     *  gebracht.
     */
327
    public function getStrippedDomain($link)
328
    {
329
330
        $match = $this->getUrlElements($link);
        return $match['domain'];
331
332
    }

Karl's avatar
Karl committed
333
    # Erstellt aus einem Link einen Proxy-Link für unseren Proxy-Service
334
    public function generateProxyLink($link)
335
336
337
338
    {
        if (!$link) {
            return "";
        }
339

Dominik Hebeler's avatar
Dominik Hebeler committed
340
341
342
343
344
        # Link to our new Proxy software:
        $pw = md5(env('PROXY_PASSWORD') . $link);

        $proxyUrl = base64_encode(str_rot13($link));
        $proxyUrl = urlencode(str_replace("/", "<<SLASH>>", $proxyUrl));
345

Dominik Hebeler's avatar
Dominik Hebeler committed
346
347
        return "https://proxy.suma-ev.de/" . $pw . "/" . $proxyUrl;
/*
348
349
350
351
352
353
354
355
356
357
358
$tmp = $link;
$tmp = preg_replace("/\r?\n$/s", "", $tmp);
$tmp = str_replace("=", "=3d", $tmp);
$tmp = str_replace("?", "=3f", $tmp);
$tmp = str_replace("%", "=25", $tmp);
$tmp = str_replace("&", "=26", $tmp);
$tmp = str_replace(";", "=3b", $tmp);
$tmp = preg_replace("#^([\w+.-]+)://#s", "$1/", $tmp);
$tmp = str_replace("//", "/=2f", $tmp);
return "https://proxy.suma-ev.de/mger/nph-proxy.cgi/en/w0/" . $tmp;
 */
359
    }
Karl's avatar
Karl committed
360

361
362
    /* Liest aus einer URL alle Informationen aus
     * https://max:muster@www.example.site.page.com:8080/index/indexer/list.html?p1=A&p2=B#ressource
Karl's avatar
Karl committed
363
364
365
366
367
368
369
370
371
372
373
374
375
376
377
378
     * (?:((?:http)|(?:https))(?::\/\/))?
     * https://                  => [1] = http / https
     * (?:([a-z0-9.\-_~]+):([a-z0-9.\-_~]+)@)?
     * username:password@        => [2] = username, [3] = password
     * (?:(www)(?:\.))?
     * www.                      => [4] = www
     * ((?:(?:[a-z0-9.\-_~]+\.)+)?([a-z0-9.\-_~]+\.[a-z0-9.\-_~]+))
     * example.site.page.com     => [5] = example.site.page.com, [6] = page.com
     * (?:(?::)(\d+))?
     * :8080                     => [7] = 8080
     * ((?:(?:\/[a-z0-9.\-_~]+)+)(?:\.[a-z0-9.\-_~]+)?)?
     * /index/indexer/list.html  => [8] = /index/indexer/list.html
     * (\?[a-z0-9.\-_~]+=[a-z0-9.\-_~]+(?:&[a-z0-9.\-_~]+=[a-z0-9.\-_~]+)*)?
     * ?p1=A&p2=B                => [9] = ?p1=A&p2=B
     * (?:(?:#)([a-z0-9.\-_~]+))?
     * #ressource                => [10] = ressource
379
380
381
     */
    public function getUrlElements($url)
    {
Karl's avatar
Karl committed
382
        if (!preg_match("/(?:((?:http)|(?:https))(?::\/\/))?(?:([a-z0-9.\-_~]+):([a-z0-9.\-_~]+)@)?(?:(www)(?:\.))?((?:(?:[a-z0-9.\-_~]+\.)+)?([a-z0-9.\-_~]+\.[a-z0-9.\-_~]+))(?:(?::)(\d+))?((?:(?:\/[a-z0-9.\-_~]+)+)(?:\.[a-z0-9.\-_~]+)?)?(\?[a-z0-9.\-_~]+=[a-z0-9.\-_~]+(?:&[a-z0-9.\-_~]+=[a-z0-9.\-_~]+)*)?(?:(?:#)([a-z0-9.\-_~]+))?/i", $url, $match)) {
383
384
385
            return;
        } else {
            $re = [];
Karl's avatar
Karl committed
386
387
388
389
390
391
392
393
394
395
            if (isset($match[1])) {$re['schema'] = $match[1];} else { $re['schema'] = "";};
            if (isset($match[2])) {$re['username'] = $match[2];} else { $re['username'] = "";};
            if (isset($match[3])) {$re['password'] = $match[3];} else { $re['password'] = "";};
            if (isset($match[4])) {$re['web'] = $match[4];} else { $re['web'] = "";};
            if (isset($match[5])) {$re['host'] = $match[5];} else { $re['host'] = "";};
            if (isset($match[6])) {$re['domain'] = $match[6];} else { $re['domain'] = "";};
            if (isset($match[7])) {$re['port'] = $match[7];} else { $re['port'] = "";};
            if (isset($match[8])) {$re['path'] = $match[8];} else { $re['path'] = "";};
            if (isset($match[9])) {$re['query'] = $match[9];} else { $re['query'] = "";};
            if (isset($match[10])) {$re['fragment'] = $match[10];} else { $re['fragment'] = "";};
396
397
398
399
            return $re;
        }
    }

Karl's avatar
Karl committed
400
401
402
403
404
405
    # Getter

    public function getRank()
    {
        return $this->rank;
    }
406

407
408
409
410
411
412
413
414
415
    public function getDate()
    {
        if (isset($this->additionalInformation["date"])) {
            return $this->additionalInformation["date"];
        } else {
            return null;
        }
    }

416
417
418
419
420
421
422
423
424
    public function getLangString()
    {
        $string = "";

        $string .= $this->titel;
        $string .= $this->descr;

        return $string;
    }
Phil Höfer's avatar
Phil Höfer committed
425
}