【E資格対策】情報理論

E資格対策としての「情報理論」の備忘録です。「自己情報量」「相互情報量」「エントロピー」「条件付きエントロピー」「結合エントロピー」「クロスエントロピー」「KLダイバージェンス」「JSダイバージェンス」などの内容を含んでいます。