Skip to content

Instantly share code, notes, and snippets.

Avatar
💭
Wikidata addicted

Magnus Sälgö salgo60

💭
Wikidata addicted
View GitHub Profile
@salgo60
salgo60 / Long trail.md
Last active May 23, 2023 18:41
Long trail
View Long trail.md

image

Can you explain the problems with LLM and "Coverage gap on long tail"

ChatGPT

Sure, the terms you are using seem to refer to Large Language Models (LLM) and a specific problem related to their training and performance, known as "Coverage gap on long tail".

Large Language Models like GPT-4 are trained on a vast range of internet text. But despite their training on diverse data, they may still have some gaps in their knowledge. This could be due to several reasons, but one notable reason relates to the problem of the "coverage gap on long tail".

View vision.md

Jag tycker Wikidata skall kunna modulera mycket mer än det som görs idag diskussionen vad som kan finnas i Wikidata eller ej är irrelevant det blir lite detta som "fulländade artiklar" där vi tror oss veta vad läsaren vill ha reda på och sitter och putsar på artiklarna och diskuterar om det skall vara en länk, 3 eller 10 kan en länk vara i sig fullödig...... sedan är vi helt "'''lomhörda'''" ;-) vad läsaren vill ha reda på det tror vi oss veta...

@salgo60
salgo60 / Swedish PM subs.html
Created April 7, 2023 22:57
Test Open Refine reconciliation
View Swedish PM subs.html
<html>
<head>
<title>Ersättare</title>
<meta charset="utf-8" />
</head>
<body>
<table>
<tr><th>enamn</th><th>namn</th><th>fnamn</th><th>Column 3</th><th>Column 4</th></tr>
<tr><td>Ahlinder</td><td><a href="https://www.wikidata.org/wiki/Q117378461">Lars-Erik Ahlinder</a></td><td> Lars-Erik</td><td> 2:495 </td><td></td></tr>
<tr><td>Ahlquist</td><td><a href="https://www.wikidata.org/wiki/Q5544145">Bengt Ahlquist</a></td><td> Bengt</td><td> 1:523 </td><td></td></tr>
View projekt.md

:::Jag har en [salgo60/DiggUptime#77 projektkyrkogård] med massa galenskap [salgo60/DiggUptime#77 (comment) DIGISAM] - 10 år och skapade 15 ord, [salgo60/DiggUptime#77 (comment) Europeana > 10 år strings not things] skickar runt textsträngar, [salgo60/DiggUptime#77 (comment) LIBRISXL > 10 år och massa "spretig data"] :::* det största underkännande är dock att 2023 skriver projektet [https://www.westac.se/ Välfärden analyseras] i sin [https://www.umu.se/nyheter/5-miljoner-till-forskning-om-lankad-parlamentariska-data_11678700/ pressrelease] Bristen på grundlig metadatastruktur och länkad parlamentariska data, samt lapptäcket av luckor och digitaliseringsbrister har resulterat i en tämligen primitiv forskningsinfrastruktur, något som projektet ska ta itu med. :::* nu 2023 sitter dom och skapar bra data och har samma som Wikidata inte Riksarkivet eller Kungliga bib

@salgo60
salgo60 / SHM.sparql
Created March 9, 2023 17:52
Check P1260
View SHM.sparql
# https://w.wiki/6RS9
SELECT ?item ?itemLabel ?shm (count(?id2) AS ?nr) (GROUP_CONCAT(DISTINCT ?id2; SEPARATOR=", ") AS ?x )WHERE {
?item wdt:P1260 ?id2.
?item wdt:P31 wd:Q5.
OPTIONAL {?item wdt:P9495 ?shm}
{
SELECT ?item ?id WHERE {
?item wdt:P1260 ?id.
FILTER(CONTAINS(?id, "LSH/agents"))
View Koommundiarie mha chatgpt.md

Fråga från dataverkstaden om förslag på datamodell diariehandlingar**

första testet - se även dialog med chatGPT vad behövs för att förvalta en KG och Linked data

Intressant är kopplingen till Eurovoc

View Söderala F.xml
<c level="otherlevel" otherlevel="volym" id="d2e361"><did><unitid countrycode="SE" repositorycode="HLA">2</unitid><unitdate type="inclusive">1991--1999</unitdate></did><odd><p>Arkivbox. Uttag ur det centrala kyrkobokföringssystemet. Häri även begravningsbok (F X) 1991-1999.</p></odd></c></c><c level="series" id="d2e362"><did><unitid countrycode="SE" repositorycode="HLA">F</unitid><unittitle>Död- och begravningsböcker</unittitle></did><odd><p>Serien inbunden.</p></odd><c level="otherlevel" otherlevel="volym" id="d2e363"><did><unitid countrycode="SE" repositorycode="HLA">- [H0001]</unitid><unitdate type="inclusive">1726--1744</unitdate></did><odd><p>Ingår i C: 1</p></odd></c><c level="otherlevel" otherlevel="volym" id="d2e364"><did><unitid countrycode="SE" repositorycode="HLA">- [H0002]</unitid><unitdate type="inclusive">1744--1782</unitdate></did><odd><p>Ingår i E: 1</p></odd></c><c level="otherlevel" otherlevel="volym" id="d2e365"><did><unitid countrycode="SE" repositorycode="HLA">- [H0003]</unitid><unitdate
View SE_HLA_1010201.xml
<?xml version='1.0' encoding='UTF-8'?>
<ead xmlns="http://xml.ra.se/EAD" xmlns:xlink="http://xml.ra.se/xlink" xmlns:xsi="http://www.w3.org/2001/XMLSchema-instance" xsi:schemaLocation="http://xml.ra.se/EAD http://xml.ra.se/EAD/RA_EAD.xsd"><eadheader langencoding="iso639-2b" dateencoding="iso8601" countryencoding="iso3166-1"><eadid countrycode="SE" mainagencycode="HLA">SE/HLA/1010201</eadid><filedesc><titlestmt><titleproper>Söderala kyrkoarkiv</titleproper></titlestmt></filedesc><profiledesc><creation>This document was generated automatically from data at Riksarkivet</creation></profiledesc><revisiondesc><change><date calendar="gregorian" era="ce">2022-12-16T17:35:49.528Z</date><item>Informationen kopierad ur Arkis</item></change><change><date calendar="gregorian" era="ce">2021-09-28T16:02:48.573Z</date><item>Senaste uppdatering i Arkis</item></change><change><date calendar="gregorian" era="ce">1997-11-25T23:00:00.000Z</date><item>Registrerat i Arkis</item></change></revisiondesc></eadheader><archdesc level="fo
@salgo60
salgo60 / schema Riksmöte-84-85.json
Created December 21, 2022 06:30
Schema Open Refine
View schema Riksmöte-84-85.json
{"entityEdits":[{"type":"wbitemeditexpr","subject":{"type":"wbentityvariable","columnName":"item"},"nameDescs":[],"statementGroups":[{"property":{"type":"wbpropconstant","pid":"P7727","label":"legislative committee","datatype":"wikibase-item"},"statements":[{"value":{"type":"wbentityvariable","columnName":"utskottLabel P7277"},"qualifiers":[],"references":[{"snaks":[{"prop":{"type":"wbpropconstant","pid":"P813","label":"retrieved","datatype":"time"},"value":{"type":"wbdateconstant","value":"2022-12-19"}},{"prop":{"type":"wbpropconstant","pid":"P8433","label":"Swedish Riksdag document ID","datatype":"external-id"},"value":{"type":"wbstringvariable","columnName":"RefProtokoll"}},{"prop":{"type":"wbpropconstant","pid":"P248","label":"stated in","datatype":"wikibase-item"},"value":{"type":"wbentityvariable","columnName":"P8433"}}]}],"mergingStrategy":{"type":"snak","valueMatcher":{"type":"lax"}},"mode":"add_or_merge"}]}]}],"siteIri":"http://www.wikidata.org/entity/","entityTypeSiteIRI":{"item":"http://www.wikidat
@salgo60
salgo60 / Python.py
Last active November 13, 2022 07:38
View Python.py
class Chatbot(object):
forum = []
def __init__(self, _botName: str):
self.botName = _botName # instance attribute
self.privateBoard = []
botmsg = "{0} entered the forum.".format(self.botName)
Chatbot.forum.append(botmsg)
#self.privateBoard.append(botmsg)