Result.php 16.3 KB
Newer Older
1
2
<?php

3
namespace App\Models;
4

Karl's avatar
Karl committed
5
6
7
/* Die Klasse Result sammelt alle Informationen über ein einzelnes Suchergebnis.
 *  Die Results werden von den Suchmaschinenspezifischen Parser-Skripten erstellt.
 */
8
9
class Result
{
Karl's avatar
Karl committed
10
11
12
13
    public $provider; # Die Engine von der das Suchergebnis kommt
    public $titel; # Der Groß Angezeigte Name für das Suchergebnis
    public $link; # Der Link auf die Ergebnisseite
    public $anzeigeLink; # Der tatsächlich angezeigte Link (rein optisch)
14
15
    public $descr; # Die eventuell gekürzte Beschreibung des Suchergebnisses
    public $longDescr; # Die ungekürzte Beschreibung des Suchergebnisses
16
17
    public $gefVon; # Die Suchmaschine von der dieses Ergebnis stammt
    public $gefVonLink;
Karl's avatar
Karl committed
18
19
20
21
22
23
24
25
    public $sourceRank; # Das Ranking für dieses Suchergebnis von der Seite, die es geliefert hat (implizit durch Ergebnisreihenfolge: 20 - Position in Ergebnisliste)
    public $partnershop; # Ist das Ergebnis von einem Partnershop? (bool)
    public $image; # Ein Vorschaubild für das Suchergebnis (als URL)

    public $proxyLink; # Der Link für die Seite über unseren Proxy-Service
    public $engineBoost = 1; # Der Boost für den Provider des Suchergebnisses
    public $valid       = true; # Ob das Ergebnis noch gültig ist (bool)
    public $host; # Der aus dem Link gelesene Host des Suchergebnisses
26
27
28
    public $strippedHost; # Der Host in Form "foo.bar.de"
    public $strippedDomain; # Die Domain in Form "bar.de"
    public $strippedLink; # Der Link in Form "foo.bar.de/test"
Karl's avatar
Karl committed
29
30
31
    public $rank; # Das Ranking für das Ergebnis

    # Erstellt ein neues Ergebnis
32
    public function __construct($provider, $titel, $link, $anzeigeLink, $descr, $gefVon, $gefVonLink, $sourceRank, $additionalInformation = [])
33
    {
34
        $provider          = simplexml_load_string($provider);
35
        $this->titel       = strip_tags(trim($titel));
36
37
38
        if(stripos($anzeigeLink, "twitter.com")){
            $this->titel = '<i class="fa fa-twitter" aria-hidden="true"></i> ' . $this->titel;
        }
39
40
41
42
        $this->link        = trim($link);
        $this->anzeigeLink = trim($anzeigeLink);
        $this->descr       = strip_tags(trim($descr), '<p>');
        $this->descr       = preg_replace("/\n+/si", " ", $this->descr);
43
        $this->longDescr   = $this->descr;
44
45
46
47
48
49
        if (strlen($this->descr) > 250) {
            $this->descr = wordwrap($this->descr, 250);
            $this->descr = substr($this->descr, 0, strpos($this->descr, "\n"));

        }
        $this->gefVon     = trim($gefVon);
50
        $this->gefVonLink = trim($gefVonLink);
51
52
53
54
55
56
57
58
59
60
61
        $this->proxyLink  = $this->generateProxyLink($this->link);
        $this->sourceRank = $sourceRank;
        if ($this->sourceRank <= 0 || $this->sourceRank > 20) {
            $this->sourceRank = 20;
        }
        $this->sourceRank = 20 - $this->sourceRank;
        if (isset($provider["engineBoost"])) {
            $this->engineBoost = floatval($provider["engineBoost"]->__toString());
        } else {
            $this->engineBoost = 1;
        }
Dominik Hebeler's avatar
Dominik Hebeler committed
62
63
64
65
66
67
        $this->valid                 = true;
        $this->host                  = @parse_url($link, PHP_URL_HOST);
        $this->strippedHost          = $this->getStrippedHost($this->anzeigeLink);
        $this->strippedDomain        = $this->getStrippedDomain($this->strippedHost);
        $this->strippedLink          = $this->getStrippedLink($this->anzeigeLink);
        $this->rank                  = 0;
Dominik Hebeler's avatar
Dominik Hebeler committed
68
        $this->partnershop           = isset($additionalInformation["partnershop"]) ? $additionalInformation["partnershop"] : false;
69
70
        $this->image                 = isset($additionalInformation["image"]) ? $additionalInformation["image"] : "";
        $this->price                 = isset($additionalInformation["price"]) ? $additionalInformation["price"] : 0;
Dominik Hebeler's avatar
Dominik Hebeler committed
71
        $this->additionalInformation = $additionalInformation;
72
73
    }

Karl's avatar
Karl committed
74
75
76
77
78
    /* Ranked das Ergebnis nach folgenden Aspekten:
     *  Startwert 0
     *  + 0.02 * Sourcerank (20 - Position in Ergebnisliste des Suchanbieters)
     *  * Engine-Boost
     */
79
    public function rank($eingabe)
80
81
    {
        $rank = 0;
Karl's avatar
Karl committed
82
83

        # Boost für Source Ranking
84
85
        $rank += ($this->sourceRank * 0.02);

Karl's avatar
Karl committed
86
87
88
89
90
91
92
93
94
95
96
        # Boost für passende ??? URL
        $rank += $this->calcURLBoost($eingabe);

        # Boost für Vorkommen der Suchwörter:
        $rank += $this->calcSuchwortBoost($eingabe);

        # Boost für Suchmaschine
        if ($this->engineBoost > 0) {
            $rank *= floatval($this->engineBoost);
        }

Dominik Hebeler's avatar
Dominik Hebeler committed
97
98
99
100
101
        # Runter Ranken von Yandex Ergebnissen mit zu viel kyrillischen Texten
        if (stripos($this->gefVon, "yandex") !== false) {
            $rank -= $this->calcYandexBoost($eingabe);
        }

Karl's avatar
Karl committed
102
103
104
        $this->rank = $rank;
    }

Dominik Hebeler's avatar
Dominik Hebeler committed
105
106
107
108
109
110
111
112
113
114
115
116
117
118
119
120
121
122
123
124
125
126
127
128
129
130
131
132
133
134
135
136
137
    # Berechnet, ob dieses Suchergebnis einen Malus erhalten soll, oder nicht
    # Übergeben werden alle Yandex Ergebnisse
    # Wenn die Suchworte kein kyrillisches Zeichen enthalten, wird das Ergebnis schlechter bewertet,
    # falls es selbst zu viele kyrillische Zeichen enthält
    private function calcYandexBoost($tmpEingabe)
    {
        $maxRatio = 0.1; # Gibt den Prozentsatz von Kyrillischen Zeichen in Titel und Beschreibung an, ab dem das Ergebnis runter gerankt werden soll
        if (preg_match('/[А-Яа-яЁё]/u', $tmpEingabe) === 1) {
            # Das Suchwort enthält kyrillische Zeichen, also dürfen es auch die Ergebnisse
            return 0;
        } else {
            # Wir überprüfen das Verhältnis von Kyrillischen Zeichen im Titel
            if (preg_match_all('/[А-Яа-яЁё]/u', $this->titel, $matches)) {
                $count     = sizeof($matches[0]);
                $titleSize = strlen($this->titel);
                $percKyr   = $count / $titleSize;
                if ($percKyr > $maxRatio) {
                    return 5;
                }
            }
            # Wir überprüfen das Verhältnis von Kyrillischen Zeichen in der Beschreibung
            if (preg_match_all('/[А-Яа-яЁё]/u', $this->descr, $matches)) {
                $count     = sizeof($matches[0]);
                $descrSize = strlen($this->descr);
                $percKyr   = $count / $descrSize;
                if ($percKyr > $maxRatio) {
                    return 5;
                }
            }
        }
        return 0;
    }

Karl's avatar
Karl committed
138
139
140
    # Berechnet den Ranking-Boost durch ??? URL
    public function calcURLBoost($tmpEingabe)
    {
141
142
143
144
        $link = $this->anzeigeLink;
        if (strpos($link, "http") !== 0) {
            $link = "http://" . $link;
        }
Karl's avatar
Karl committed
145
146
147
148
149
        $link    = @parse_url($link, PHP_URL_HOST) . @parse_url($link, PHP_URL_PATH);
        $tmpLi   = $link;
        $count   = 0;
        $tmpLink = "";
        # Löscht verschiedene unerwünschte Teile aus $link und $tmpEingabe
150
        $regex = [
Karl's avatar
Karl committed
151
152
153
154
155
156
157
            "/\s+/si", # Leerzeichen
            "/http:/si", # "http:"
            "/https:/si", # "https:"
            "/www\./si", # "www."
            "/\//si", # "/"
            "/\./si", # "."
            "/-/si", # "-"
158
159
160
161
162
163
        ];
        foreach ($regex as $reg) {
            $link       = preg_replace($regex, "", $link);
            $tmpEingabe = preg_replace($regex, "", $tmpEingabe);
        }
        foreach (str_split($tmpEingabe) as $char) {
Karl's avatar
Karl committed
164
165
166
167
168
            if (!$char
                || !$tmpEingabe
                || strlen($tmpEingabe) === 0
                || strlen($char) === 0
            ) {
169
170
171
172
173
174
175
                continue;
            }
            if (strpos(strtolower($tmpLink), strtolower($char)) >= 0) {
                $count++;
                $tmpLink = str_replace(urlencode($char), "", $tmpLink);
            }
        }
Dominik Hebeler's avatar
Dominik Hebeler committed
176
        if (strlen($this->descr) > 40 && strlen($link) > 0) {
Karl's avatar
Karl committed
177
178
179
180
181
            return $count / ((strlen($link)) * 60); # ???
        } else {
            return 0;
        }
    }
182

Karl's avatar
Karl committed
183
184
185
    # Berechnet den Ranking-Boost durch das Vorkommen von Suchwörtern
    private function calcSuchwortBoost($tmpEingabe)
    {
186
187
188
189
190
191
192
        $maxRank        = 0.1;
        $tmpTitle       = $this->titel;
        $tmpDescription = $this->descr;
        $isWithin       = false;
        $tmpRank        = 0;
        $tmpEingabe     = preg_replace("/\b\w{1,3}\b/si", "", $tmpEingabe);
        $tmpEingabe     = preg_replace("/\s+/si", " ", $tmpEingabe);
Karl's avatar
Karl committed
193

194
195
196
197
198
199
200
201
202
203
204
205
206
207
208
209
210
211
212
213
214
215
        foreach (explode(" ", trim($tmpEingabe)) as $el) {
            if (strlen($tmpTitle) === 0 || strlen($el) === 0 || strlen($tmpDescription) === 0) {
                continue;
            }

            $el = preg_quote($el, "/");
            if (strlen($tmpTitle) > 0) {
                if (preg_match("/\b$el\b/si", $tmpTitle)) {
                    $tmpRank += .7 * .6 * $maxRank;
                } elseif (strpos($tmpTitle, $el) !== false) {
                    $tmpRank += .3 * .6 * $maxRank;
                }
            }
            if (strlen($tmpDescription) > 0) {
                if (preg_match("/\b$el\b/si", $tmpDescription)) {
                    $tmpRank += .7 * .4 * $maxRank;
                } elseif (strpos($tmpDescription, $el) !== false) {
                    $tmpRank += .3 * .4 * $maxRank;
                }
            }
        }

Karl's avatar
Karl committed
216
217
        $tmpRank /= sizeof(explode(" ", trim($tmpEingabe))) * 10;
        return $tmpRank;
218
219
    }

Karl's avatar
Karl committed
220
    # Überprüft ob das Ergebnis aus irgendwelchen Gründen unerwünscht ist.
221
222
    public function isValid(\App\MetaGer $metager)
    {
223
224
225
        # Perönliche Host und Domain Blacklist
        if (in_array(strtolower($this->strippedHost), $metager->getUserHostBlacklist())
            || in_array(strtolower($this->strippedDomain), $metager->getUserDomainBlacklist())) {
226
227
228
            return false;
        }

229
230
231
232
233
        # Persönliche URL Blacklist
        foreach ($metager->getUserUrlBlacklist() as $word) {
            if (strpos(strtolower($this->link), $word)) return false;
        }

Karl's avatar
Karl committed
234
        # Allgemeine URL und Domain Blacklist
235
236
237
238
        if ($this->strippedHost !== "" && (in_array($this->strippedHost, $metager->getDomainBlacklist()) || in_array($this->strippedLink, $metager->getUrlBlacklist()))) {
            return false;
        }

Karl's avatar
Karl committed
239
        # Eventueller Sprachfilter
Dominik Hebeler's avatar
Dominik Hebeler committed
240
        if ($metager->getLang() !== "all") {
241
            if (!isset($this->langCode) || $this->langCode === null || $metager->getLang() !== $this->langCode) {
242
243
244
245
246
                return false;
            }

        }

Karl's avatar
Karl committed
247
        # Stopworte
248
249
250
251
252
253
254
        foreach ($metager->getStopWords() as $stopWord) {
            $text = $this->titel . " " . $this->descr;
            if (stripos($text, $stopWord) !== false) {
                return false;
            }
        }

Dominik Hebeler's avatar
Dominik Hebeler committed
255
        /*
Karl's avatar
Karl committed
256
        # Phrasensuche:
257
258
        $text = strtolower($this->titel) . " " . strtolower($this->descr);
        foreach ($metager->getPhrases() as $phrase) {
259
260
        if (strpos($text, $phrase) === false) {
        return false;
261
        }
262
263
        }
         */
Karl's avatar
Karl committed
264
265
266
267
        /* Der Host-Filter der sicherstellt,
         *  dass von jedem Host maximal 3 Links angezeigt werden.
         *  Diese Überprüfung führen wir unter bestimmten Bedingungen nicht durch.
         */
268
        if (($metager->getSite() === "" || $metager->getSite() === null) &&
269
270
271
272
273
274
275
276
277
278
279
            strpos($this->strippedHost, "ncbi.nlm.nih.gov") === false &&
            strpos($this->strippedHost, "twitter.com") === false &&
            strpos($this->strippedHost, "www.ladenpreis.net") === false &&
            strpos($this->strippedHost, "ncbi.nlm.nih.gov") === false &&
            strpos($this->strippedHost, "www.onenewspage.com") === false) {
            $count = $metager->getHostCount($this->strippedHost);
            if ($count >= 3) {
                return false;
            }
        }

Phil Höfer's avatar
Phil Höfer committed
280
        /* Der Dublettenfilter, der sicher stellt,
Karl's avatar
Karl committed
281
282
         *  dass wir nach Möglichkeit keinen Link doppelt in der Ergebnisliste haben.
         */
283
284
285
286
287
288
289
290
        if ($metager->addLink($this->strippedLink)) {
            $metager->addHostCount($this->strippedHost);
            return true;
        } else {
            return false;
        }
    }

Karl's avatar
Karl committed
291
292
293
294
295
    /* Liest aus einem Link den Host.
     *  Dieser wird dabei in die Form:
     *  "http://www.foo.bar.de/test?ja=1" -> "foo.bar.de"
     *  gebracht.
     */
296
    public function getStrippedHost($link)
297
    {
298
299
        $match = $this->getUrlElements($link);
        return $match['host'];
300
    }
Karl's avatar
Karl committed
301
302
303
304
305
306

    /* Entfernt "http://", "www" und Parameter von einem Link
     *  Dieser wird dabei in die Form:
     *  "http://www.foo.bar.de/test?ja=1" -> "foo.bar.de/test"
     *  gebracht.
     */
307
    public function getStrippedLink($link)
308
    {
309
        $match = $this->getUrlElements($link);
310
        return $match['host'] . $match['path'];
311
312
    }

Karl's avatar
Karl committed
313
314
315
316
317
    /* Liest aus einem Link die Domain.
     *  Dieser wird dabei in die Form:
     *  "http://www.foo.bar.de/test?ja=1" -> "bar.de"
     *  gebracht.
     */
318
    public function getStrippedDomain($link)
319
    {
320
321
        $match = $this->getUrlElements($link);
        return $match['domain'];
322
323
    }

Karl's avatar
Karl committed
324
    # Erstellt aus einem Link einen Proxy-Link für unseren Proxy-Service
325
    public function generateProxyLink($link)
326
327
328
329
    {
        if (!$link) {
            return "";
        }
330

Dominik Hebeler's avatar
Dominik Hebeler committed
331
332
333
334
335
        # Link to our new Proxy software:
        $pw = md5(env('PROXY_PASSWORD') . $link);

        $proxyUrl = base64_encode(str_rot13($link));
        $proxyUrl = urlencode(str_replace("/", "<<SLASH>>", $proxyUrl));
336

Dominik Hebeler's avatar
Dominik Hebeler committed
337
338
        return "https://proxy.suma-ev.de/" . $pw . "/" . $proxyUrl;
/*
339
340
341
342
343
344
345
346
347
348
349
$tmp = $link;
$tmp = preg_replace("/\r?\n$/s", "", $tmp);
$tmp = str_replace("=", "=3d", $tmp);
$tmp = str_replace("?", "=3f", $tmp);
$tmp = str_replace("%", "=25", $tmp);
$tmp = str_replace("&", "=26", $tmp);
$tmp = str_replace(";", "=3b", $tmp);
$tmp = preg_replace("#^([\w+.-]+)://#s", "$1/", $tmp);
$tmp = str_replace("//", "/=2f", $tmp);
return "https://proxy.suma-ev.de/mger/nph-proxy.cgi/en/w0/" . $tmp;
 */
350
    }
Karl's avatar
Karl committed
351

352
353
    /* Liest aus einer URL alle Informationen aus
     * https://max:muster@www.example.site.page.com:8080/index/indexer/list.html?p1=A&p2=B#ressource
Karl's avatar
Karl committed
354
355
356
357
358
359
360
361
362
363
364
365
366
367
368
369
     * (?:((?:http)|(?:https))(?::\/\/))?
     * https://                  => [1] = http / https
     * (?:([a-z0-9.\-_~]+):([a-z0-9.\-_~]+)@)?
     * username:password@        => [2] = username, [3] = password
     * (?:(www)(?:\.))?
     * www.                      => [4] = www
     * ((?:(?:[a-z0-9.\-_~]+\.)+)?([a-z0-9.\-_~]+\.[a-z0-9.\-_~]+))
     * example.site.page.com     => [5] = example.site.page.com, [6] = page.com
     * (?:(?::)(\d+))?
     * :8080                     => [7] = 8080
     * ((?:(?:\/[a-z0-9.\-_~]+)+)(?:\.[a-z0-9.\-_~]+)?)?
     * /index/indexer/list.html  => [8] = /index/indexer/list.html
     * (\?[a-z0-9.\-_~]+=[a-z0-9.\-_~]+(?:&[a-z0-9.\-_~]+=[a-z0-9.\-_~]+)*)?
     * ?p1=A&p2=B                => [9] = ?p1=A&p2=B
     * (?:(?:#)([a-z0-9.\-_~]+))?
     * #ressource                => [10] = ressource
370
371
372
     */
    public function getUrlElements($url)
    {
Karl's avatar
Karl committed
373
        if (!preg_match("/(?:((?:http)|(?:https))(?::\/\/))?(?:([a-z0-9.\-_~]+):([a-z0-9.\-_~]+)@)?(?:(www)(?:\.))?((?:(?:[a-z0-9.\-_~]+\.)+)?([a-z0-9.\-_~]+\.[a-z0-9.\-_~]+))(?:(?::)(\d+))?((?:(?:\/[a-z0-9.\-_~]+)+)(?:\.[a-z0-9.\-_~]+)?)?(\?[a-z0-9.\-_~]+=[a-z0-9.\-_~]+(?:&[a-z0-9.\-_~]+=[a-z0-9.\-_~]+)*)?(?:(?:#)([a-z0-9.\-_~]+))?/i", $url, $match)) {
374
375
376
            return;
        } else {
            $re = [];
Karl's avatar
Karl committed
377
378
379
380
381
382
383
384
385
386
            if (isset($match[1])) {$re['schema'] = $match[1];} else { $re['schema'] = "";};
            if (isset($match[2])) {$re['username'] = $match[2];} else { $re['username'] = "";};
            if (isset($match[3])) {$re['password'] = $match[3];} else { $re['password'] = "";};
            if (isset($match[4])) {$re['web'] = $match[4];} else { $re['web'] = "";};
            if (isset($match[5])) {$re['host'] = $match[5];} else { $re['host'] = "";};
            if (isset($match[6])) {$re['domain'] = $match[6];} else { $re['domain'] = "";};
            if (isset($match[7])) {$re['port'] = $match[7];} else { $re['port'] = "";};
            if (isset($match[8])) {$re['path'] = $match[8];} else { $re['path'] = "";};
            if (isset($match[9])) {$re['query'] = $match[9];} else { $re['query'] = "";};
            if (isset($match[10])) {$re['fragment'] = $match[10];} else { $re['fragment'] = "";};
387
388
389
390
            return $re;
        }
    }

Karl's avatar
Karl committed
391
392
393
394
395
396
    # Getter

    public function getRank()
    {
        return $this->rank;
    }
397

398
399
400
401
402
403
404
405
406
    public function getDate()
    {
        if (isset($this->additionalInformation["date"])) {
            return $this->additionalInformation["date"];
        } else {
            return null;
        }
    }

407
408
409
410
411
412
413
414
415
    public function getLangString()
    {
        $string = "";

        $string .= $this->titel;
        $string .= $this->descr;

        return $string;
    }
Phil Höfer's avatar
Phil Höfer committed
416
}